WELCOME CERMI WEEK 13

Alhamdulillah, Today. Selasa, 24 Desember 2024 terdapat perkuliahan melalui Luring dan Daring yaitu, BD107 Artificial Intelligence dari pukul 08.00 s/d selesai dihadiri dengan total 52 Mahasiswa, diantaranya 26 Mahasiswa hadir langsung, dan 28 mahasiswa zoom 🙏🏻🙏🏻

1. Diskusi Enroll Class iDu
2. ⁠Diskusi Bersama & Tanya Jawab
3. Tebar SC kepada mahasiswa aktif bertanya dan sharing🚀

🚀Enroll Code : DSBD107
✨iDu BD107 – Artificial Intelligence ✨

Pada pertemuan hari ini dengan berjalan sangat lancar 🤗🚀

Kesimpulan dari Materi tentang Evaluasi Model AI dalam Konteks Performa dan Akurasi adalah sebagai berikut:

1. Pengantar Evaluasi Model AI

Definisi: Evaluasi model AI adalah proses untuk menilai performa dan akurasi model berdasarkan data uji atau data aktual untuk memastikan bahwa model memenuhi tujuan penggunaannya.
Tujuan Evaluasi:
- Memastikan model memberikan hasil yang dapat diandalkan.
- Mengidentifikasi kekuatan dan kelemahan model.
- Memvalidasi bahwa model mampu bekerja pada data baru di luar data pelatihan.

2. Parameter Utama dalam Evaluasi Model

Akurasi (Accuracy):
- Mengukur persentase prediksi model yang benar dari total data uji.
- Cocok untuk dataset yang memiliki distribusi kelas yang seimbang.
Presisi (Precision):
- Mengukur tingkat keakuratan prediksi positif dari semua prediksi positif.
- Penting dalam kasus di mana false positives harus diminimalkan, seperti diagnosis penyakit.
Recall (Sensitivitas):
- Mengukur kemampuan model dalam mendeteksi semua kasus positif sebenarnya.
- Cocok untuk aplikasi di mana false negatives harus diminimalkan, seperti deteksi penipuan.
F1-Score:
- Kombinasi harmonis dari presisi dan recall.
- Berguna untuk dataset dengan distribusi kelas yang tidak seimbang.
AUC-ROC (Area Under the Curve – Receiver Operating Characteristic):
- Mengukur kemampuan model dalam membedakan antara kelas positif dan negatif pada berbagai ambang batas.

3. Teknik Evaluasi Model AI

1. Split Data

Train-Test Split:
- Dataset dibagi menjadi data pelatihan (training) dan data pengujian (testing).
- Rasio umum: 80% untuk pelatihan dan 20% untuk pengujian.
Cross-Validation:
- Dataset dibagi menjadi beberapa subset, dan model dilatih dan diuji pada subset yang berbeda secara bergantian.
- Metode ini membantu mengurangi risiko overfitting.

2. Metode Pengukuran Kesalahan

Mean Absolute Error (MAE):
- Mengukur rata-rata perbedaan absolut antara nilai prediksi dan nilai sebenarnya.
Mean Squared Error (MSE):
- Mengukur rata-rata kuadrat dari kesalahan.
Root Mean Squared Error (RMSE):
- Akar dari MSE untuk mengembalikan satuan ke skala aslinya.

3. Confusion Matrix

Matriks yang menunjukkan jumlah prediksi benar dan salah untuk setiap kelas.
Komponen utama:
- True Positive (TP), True Negative (TN), False Positive (FP), False Negative (FN).

4. Masalah Umum dalam Evaluasi Model

Overfitting:
- Model bekerja sangat baik pada data pelatihan tetapi buruk pada data pengujian.
- Solusi: Gunakan teknik regulasi seperti L1/L2 regularization atau dropout.
Underfitting:
- Model gagal menangkap pola penting dalam data.
- Solusi: Gunakan model yang lebih kompleks atau tambahkan fitur baru.
Bias dan Varians:
- Bias tinggi: Model terlalu sederhana dan tidak dapat menangkap pola (underfitting).
- Varians tinggi: Model terlalu kompleks dan sangat sensitif terhadap data (overfitting).
Imbalance Data:
- Dataset dengan distribusi kelas yang tidak merata dapat menyebabkan model bias terhadap kelas mayoritas.
- Solusi: Gunakan metode seperti oversampling kelas minoritas, undersampling kelas mayoritas, atau algoritma berbobot.

5. Strategi untuk Meningkatkan Evaluasi

Hyperparameter Tuning:
- Mengoptimalkan parameter model menggunakan teknik seperti grid search atau random search.
Feature Engineering:
- Memilih atau menciptakan fitur yang lebih relevan untuk meningkatkan performa model.
Model Ensemble:
- Menggabungkan beberapa model untuk meningkatkan akurasi dan stabilitas prediksi (misalnya, bagging dan boosting).

6. Studi Kasus Evaluasi Model AI

Model Klasifikasi:
- Evaluasi model deteksi email spam menggunakan metrik presisi dan recall untuk memastikan email yang salah klasifikasi diminimalkan.
Model Prediksi:
- Analisis hasil prediksi harga rumah dengan RMSE untuk menilai seberapa jauh prediksi dari nilai sebenarnya.

7. Kesimpulan

Evaluasi model AI adalah langkah penting untuk memastikan bahwa model memberikan hasil yang andal dan sesuai dengan kebutuhan. Dengan menggunakan berbagai metrik evaluasi, teknik validasi, dan pemahaman tentang tantangan seperti overfitting dan data imbalance, model AI dapat dioptimalkan untuk mencapai performa terbaik.