Maschinelles Lernen aus Daten: mehr Beispiele, höhere Genauigkeit

InformatikDaten, KI und maschinelles LernenAlter 16–17

Mit meiner Klasse nutzen

Ein einfacher Klassifikator lernt aus beschrifteten Beispielen: Er berechnet den Schwerpunkt jeder Klasse und nutzt die Mittelsenkrechte zwischen den beiden Schwerpunkten als Entscheidungsgrenze. Die Lernenden stellen die Anzahl der Trainingsbeispiele, den Anteil falsch beschrifteter Daten und die Einseitigkeit der Datenerhebung ein; das Modell wird neu trainiert und seine Genauigkeit an einem festen Satz von 400 Testbeispielen gemessen. Stammen die Trainingsdaten überwiegend aus einer Gruppe, wirkt die Gesamtgenauigkeit noch hoch, doch für die unterrepräsentierte Gruppe sinkt sie stark – so zeigt sich Verzerrung (Bias) in Daten.

Lektion: Künstliche Intelligenz und maschinelles Lernen: Maschinen lernen aus Daten, und die Datenqualität bestimmt die Modellqualität

Was sie zeigt

Ein Modell des maschinellen Lernens hat keine eingebauten Regeln; es leitet sie aus beschrifteten Beispielen ab. Hier berechnet ein Nächster-Schwerpunkt-Klassifikator den Mittelpunkt jeder Klasse in den Trainingsdaten und nutzt die Mittelsenkrechte zwischen den beiden Schwerpunkten als Entscheidungsgrenze. Die Genauigkeit wird an 400 festen Testbeispielen gemessen, die das Modell beim Training nie gesehen hat. Bei wenigen Beispielen oder vielen falschen Beschriftungen weicht die gelernte Grenze von der wahren ab. Stammen die meisten Daten aus einer Gruppe, kann die Gesamtgenauigkeit hoch bleiben, während sie für die andere Gruppe sinkt: eine Verzerrung durch die Daten.

So funktioniert es

Wählen Sie eine Aufgabe, schalten Sie Wahre Grenze zum Vergleich zeigen ein und ändern Sie jeweils nur eine Einstellung: Anzahl der Trainingsbeispiele, Anteil falsch beschrifteter Beispiele und Anteil der Daten aus nur einer Gruppe. Vergleichen Sie nach jeder Änderung die gelernte mit der wahren Grenze und lesen Sie die Genauigkeit insgesamt sowie für Gruppe A und B ab. Mit Neu trainieren ziehen Sie eine neue Zufallsstichprobe; per Klick ins Diagramm fügen Sie eigene Beispiele hinzu.

Einstellbare Parameter

  • Aufgabe Spamfilter, Reifeerkennung
  • Anzahl der Trainingsbeispiele 10–500 Beispiele
  • Anteil falsch beschrifteter Beispiele 0–40 %
  • Anteil der Daten aus nur einer Gruppe 0–100 %
  • Wahre Grenze zum Vergleich zeigen

Fragen zum Erkunden

  1. Warum wird die Genauigkeit des Modells an 400 Beispielen gemessen, die nicht zum Training verwendet wurden?
  2. Wie verschiebt sich die Entscheidungsgrenze, wenn 30 % der Trainingsbeispiele falsch beschriftet sind?
  3. Kann das Modell trotz hoher Gesamtgenauigkeit für eine Gruppe schlecht abschneiden, wie die Werte für Gruppe A und B zeigen?