Tutorial Belajar Rapidminer (Bagian 21) - Membandingkan Model secara Visual

Senin, 16 Oktober 2017 15:10:56 ,Oleh ,Dilihat : 64 x

Diasuh oleh Dr. Ir. Agus Wibowo, M.Kom, M.Si, M.M     

       Kurva Penerima Karakteristik Operasional Penerima (ROC) menunjukkan seberapa baik sebuah model pembelajaran mesin biner bekerja. Kurva ini menunjukkan tingkat positif sebenarnya (TPR: True Positive Rate ) terhadap False Positive Rate (FPR) untuk berbagai ambang keyakinan suatu model. Hasil kurvanya adalah garis yang merupakan diagonal lurus jika modelnya bekerja dengan tebakan, dan jika arah kurva bergerak menuju ke arah pojok kiri atas semakin baik modelnya. Tutorial ini akan menunjukkan kepada kita cara membuat kurva ROC untuk beberapa model dan bagaimana membandingkannya secara visual untuk mengidentifikasi dengan cepat model mana yang terbaik.

       Kurva ROC adalah cara yang umum untuk memvisualisasikan kinerja suatu model. Jangan khawatir jika kita tidak mengetahui persamaan matematika di dalamnya : Ingatlah bahwa kurva model yang lebih baik akan bergerak menuju ke kiri atas. Model yang sempurna menghasilkan garis yang lurus ke atas (vertikal) lalu lurus ke kanan (horizontal).

Langkah 1. Memuat data.

1. Seret data Titanic Training ke dalam proses. 

2. Tambahkan operator Compare ROCs ke proses dan menghubungkannya.

 

       Compare ROC adalah operator jenis bersarang. Kita dapat menempatkan sejumlah model terserah kita di dalam operator ini untuk menghasilkan satu grafik dengan satu kurva ROC untuk masing-masing model.

Langkah 2. Melatih dan menerapkan model.

1. Klik dua kali pada Compare ROCs. Proses yang sekarang menunjukkan sub-proses yang juga diberi nama Compare ROCs.

2. Tambahkan tiga operator ke sub-proses: Decision Tree, Naive Bayes, dan Rule Induction.


 


3. Sambungkan port input masing-masing operator pembelajaran dengan salah satu port data pelatihan di sebelah kiri. Setiap kali Anda menghubungkannya, port baru akan muncul.

4. Hubungkan port output dari operator pembelajaran dengan port model di sebelah kanan. 


       Compare ROC bertugas  melakukan validasi silang pada data masukan dengan masing-masing model yang ditentukan. Kita bahkan dapat mengubah jumlah skala pada parameter operator. Ingat bahwa skala lipatan lebih banyak membutuhkan lebih banyak waktu, biasanya 3 sampai 10 lipatan merupakan nilai yang baik untuk parameter ini.

Langkah 3. Sambungkan ke port hasil dan menjalankan proses.

1. Kembali ke proses utama dengan mengklik di sudut kiri atas panel Proses atau dengan mengklik link "Process". 


 2. Hubungkan port "roc" Bandingkan ROC dengan hasil proses di sebelah kanan.

 3.  Jalankan proses dan periksa hasilnya.

  

       Kurva tersebut menunjukkan ketiga model melengkung ke arah pojok kiri atas, jadi kita tahu semuanya lebih efektif daripada tebakan acak. Dalam kasus ini, Naïve-Bayes adalah yang terjauh dari pojok kiri atas, yang berarti kinerjanya terburuk dalam kasus ini. Namun, kinerja model mungkin berbeda untuk kumpulan data yang berbeda!


TOP