Big data et systèmes de recommandation – bulles de filtres

InformatiqueDonnées, IA et apprentissage automatique17–18 ans

Utiliser avec ma classe

La moitié haute montre la chaîne de traitement des mégadonnées : les enregistrements bruts sont collectés, puis nettoyés (suppression des doublons, des champs manquants et des entrées mal formatées) avant l’analyse ; les élèves font varier le nombre d’enregistrements et le niveau de nettoyage pour voir évoluer le nombre d’enregistrements utilisables et la fiabilité du résultat. La moitié basse fait tourner un système de recommandation tour après tour : il propose sans cesse le thème que vous regardez le plus, votre intérêt pour ce thème grandit, la diversité mesurée par l’entropie diminue et une bulle de filtres se forme ; augmenter le taux d’exploration fait éclater la bulle.

Leçon : Big data et intelligence artificielle : collecte, nettoyage, analyse des données et systèmes de recommandation

Ce qu’elle montre

Le traitement des mégadonnées suit une chaîne : collecter les enregistrements bruts, les nettoyer, les analyser, puis agir sur les résultats. Les données des réseaux sociaux, capteurs, ventes ou plateformes d’apprentissage contiennent doublons, champs manquants et erreurs ; sans nettoyage, même un très grand jeu de données donne des résultats peu fiables. La seconde partie modélise un système de recommandation qui repropose ce que l’utilisateur regarde le plus. La diversité est mesurée par l’entropie normalisée, H = −Σ pᵢ·log pᵢ ÷ log(nombre de thèmes), qui tend vers 0 % quand un thème domine et qu’une bulle de filtre se forme. Le taux d’exploration ajoute des suggestions inédites.

Mode d’emploi

Choisissez une Source de données et faites glisser les curseurs Enregistrements et Nettoyage en comparant le nombre d’enregistrements exploitables et la fiabilité estimée. Réglez ensuite Exploration sur 0 %, cliquez sur Lancer ou avancez avec Pas à pas, et observez la courbe de diversité chuter. Cliquez sur Réinitialiser, augmentez le taux d’exploration et relancez pour comparer. Cliquer sur la barre d’un thème fait regarder ce thème à l’utilisateur et montre à quelle vitesse le système suit.

Paramètres modifiables

  • Source de données Publications sur les réseaux sociaux, Capteurs d’objets connectés, Transactions de vente, Journaux d’apprentissage en ligne
  • Nombre d’enregistrements bruts collectés 1–10000 milliers d’enregistrements
  • Niveau de nettoyage des données 0–100 %
  • Taux d’exploration du système de recommandation 0–50 %
  • Nombre de tours de recommandation 5–50 tours

Questions à explorer

  1. Pourquoi un très grand jeu de données non nettoyé peut-il quand même donner des résultats inexacts ?
  2. Que révèle une entropie en baisse sur les contenus vus par l’utilisateur ?
  3. À partir de quel taux d’exploration, environ, aucune bulle de filtre ne se forme en 20 tours ?