Big data e sistemas de recomendação – bolhas de filtro
ComputaçãoDados, IA e aprendizado de máquinaIdades 17–18
Use com a sua turma: os alunos abrem por um link ou QR code, sem precisar de conta.
Continue em Dados, IA e aprendizado de máquina
A metade de cima mostra o fluxo do big data: os registros brutos são coletados e depois limpos (removendo duplicatas, campos faltando e entradas mal formatadas) antes da análise; os alunos arrastam o número de registros e o nível de limpeza para ver como mudam a quantidade de registros aproveitáveis e a confiabilidade do resultado. A metade de baixo executa um sistema de recomendação rodada a rodada: ele continua sugerindo o tema que você mais assiste, seu interesse por ele cresce, a diversidade medida pela entropia cai e se forma uma bolha de filtro; aumentar a taxa de exploração rompe a bolha.
Aula: Big data e inteligência artificial: coleta, limpeza e análise de dados e sistemas de recomendação
O que mostra
O trabalho com big data segue um fluxo: coletar registros brutos, limpá-los, analisá-los e agir com base nos resultados. Dados de redes sociais, sensores, vendas ou plataformas de ensino trazem duplicatas, campos faltando e erros, e sem limpeza até um conjunto enorme dá resultados pouco confiáveis. A segunda parte modela um sistema de recomendação que continua sugerindo o que o usuário mais assiste. A diversidade é medida pela entropia normalizada, H = −Σ pᵢ·log pᵢ ÷ log(número de temas), que cai para perto de 0% quando um tema domina e se forma uma bolha de filtro. Uma taxa de exploração acrescenta sugestões novas de vez em quando.
Como usar
Escolha uma Fonte de dados e arraste os controles Registros e Limpeza, comparando o número de registros úteis e a confiabilidade estimada no fluxo. Depois coloque Exploração em 0%, clique em Executar recomendador ou use Passo para avançar rodada por rodada e observe a curva de diversidade cair. Clique em Reiniciar, aumente a taxa de exploração e execute de novo para comparar. Clicar em uma barra de tema faz o usuário assistir a esse tema e mostra a rapidez com que o sistema o segue.
Parâmetros que você pode mudar
- Fonte de dados Postagens em redes sociais, Sensores de dispositivos inteligentes, Transações de vendas, Registros de ensino on-line
- Número de registros brutos coletados 1–10000 mil registros
- Nível de limpeza dos dados 0–100 %
- Taxa de exploração do recomendador 0–50 %
- Número de rodadas de recomendação 5–50 rodadas
Perguntas para explorar
- Por que um conjunto de dados muito grande que não foi limpo ainda pode gerar resultados imprecisos?
- O que uma entropia em queda diz sobre o conteúdo que o usuário vê?
- Aproximadamente qual taxa de exploração impede que uma bolha de filtro se forme em 20 rodadas?
