Pohon keputusan – mengklasifikasi data dengan pertanyaan ya/tidak

InformatikaData, AI, dan pembelajaran mesinUsia 17–18

Data dua kelas pada bidang yang ditentukan oleh dua fitur (cuaca dan keluar rumah, apel atau lemon, lulus ujian). Komputer membangun pohon keputusan dengan memilih di setiap simpul pertanyaan "fitur ≤ ambang?" yang paling menurunkan impuritas Gini atau entropi, atau siswa memotong wilayah sendiri sambil melihat pratinjau penurunan impuritas. Bidang terbagi menjadi persegi panjang dan pohonnya tampil di bawah; ubah kedalaman maksimum untuk membandingkan akurasi pada data latih dan data uji serta melihat overfitting dengan jelas.

Pelajaran: Pembelajaran mesin: pohon keputusan, impuritas Gini dan entropi, data latih dan data uji, overfitting

Yang ditunjukkan

Pohon keputusan mengklasifikasi sebuah contoh dengan rangkaian pertanyaan ya/tidak; setiap pertanyaan membandingkan satu fitur dengan sebuah ambang, sehingga bidang fitur terbagi menjadi persegi panjang. Data di sini berasal dari aturan tersembunyi dengan label yang ditukar secara acak (derau); 70% melatih pohon dan 30% disimpan untuk pengujian. Di setiap simpul komputer memilih secara rakus potongan yang paling menurunkan impuritas Gini atau entropi berbobot. Pohon yang lebih dalam makin cocok dengan data latih, tetapi bisa menghafal derau sehingga akurasi uji berhenti naik atau turun.

Cara menggunakan

Pada Komputer membangun pohon, geser Kedalaman maksimum dari 1 sampai 8 dan amati akurasi latih dan uji pada grafik. Beralih ke Ajukan pertanyaan sendiri, pilih Potong tegak atau Potong datar, arahkan kursor untuk melihat pratinjau, lalu klik sebuah wilayah. Bandingkan dengan Pertanyaan terbaik, batalkan dengan Gabungkan, dan tekan Data baru.

Parameter yang dapat diubah

  • Kumpulan data Keluar rumah? (suhu, kelembapan), Apel atau lemon? (massa, kemerahan kulit), Lulus ujian? (jam belajar, nilai latihan)
  • Jumlah data 40–200 titik
  • Derau (bagian label yang ditukar) 0–30 %
  • Kedalaman maksimum pohon 1–8
  • Kriteria pemisahan Impuritas Gini, Entropi (perolehan informasi)
  • Tampilkan data uji

Pertanyaan untuk dijelajahi

  1. Mengapa akurasi latih terus naik seiring kedalaman, sedangkan akurasi uji tidak?
  2. Mengapa data "Lulus ujian?" dengan batas diagonal memerlukan begitu banyak pertanyaan?
  3. Apa yang dikatakan pertanyaan pertama di akar tentang data tersebut?