Big data y sistemas de recomendación – burbujas de filtro

InformáticaDatos, IA y aprendizaje automáticoEdades 17–18

Usar con mi clase

La mitad superior muestra el flujo de big data: se recopilan registros en bruto y luego se limpian (eliminando duplicados, campos vacíos y entradas mal formateadas) antes del análisis; los estudiantes mueven el número de registros y el nivel de limpieza para ver cómo cambian los registros utilizables y la fiabilidad del resultado. La mitad inferior ejecuta un sistema de recomendación ronda a ronda: sigue sugiriendo el tema que más ves, tu interés por él crece, la diversidad medida con la entropía no deja de bajar y se forma una burbuja de filtro; subir la tasa de exploración rompe la burbuja.

Lección: Big data e inteligencia artificial: recopilación, limpieza y análisis de datos, y sistemas de recomendación

Qué muestra

El trabajo con big data sigue una cadena: recoger registros en bruto, limpiarlos, analizarlos y actuar según los resultados. Los datos de redes sociales, sensores, ventas o plataformas de aprendizaje contienen duplicados, campos vacíos y errores, y sin limpieza hasta un conjunto enorme da resultados poco fiables. La segunda parte modela un recomendador que repite lo que el usuario más ve. La diversidad se mide con la entropía normalizada, H = −Σ pᵢ·log pᵢ ÷ log(número de temas), que cae hacia 0 % cuando un tema domina y se forma una burbuja de filtros. La tasa de exploración añade sugerencias nuevas.

Cómo usarla

Elige una Fuente de datos y arrastra los controles Registros y Limpieza, comparando el número de registros útiles y la fiabilidad estimada en la cadena. Luego pon Exploración en 0 %, pulsa Ejecutar o usa Paso para avanzar ronda a ronda, y observa cómo cae la curva de diversidad. Pulsa Restablecer, sube la tasa de exploración y vuelve a ejecutar para comparar. Hacer clic en una barra de tema hace que el usuario vea ese tema y muestra lo rápido que lo sigue el sistema.

Parámetros que puedes cambiar

  • Fuente de datos Publicaciones en redes sociales, Sensores de dispositivos inteligentes, Transacciones de venta, Registros de aprendizaje en línea
  • Número de registros en bruto recopilados 1–10000 miles de registros
  • Nivel de limpieza de datos 0–100 %
  • Tasa de exploración del recomendador 0–50 %
  • Número de rondas de recomendación 5–50 rondas

Preguntas para explorar

  1. ¿Por qué un conjunto de datos muy grande que no se ha limpiado puede dar resultados inexactos?
  2. ¿Qué indica una entropía que baja sobre el contenido que ve el usuario?
  3. ¿Qué tasa de exploración, aproximadamente, evita que se forme una burbuja de filtros en 20 rondas?