Makine öğrenmesinde eğitim, test ve veri sızıntısı: Modeli gerçekten ölçüyor muyuz?
Denetimli öğrenmenin okulda okutulan temel kavramlarını gerçek bir veri problemi üzerinden inceliyoruz: özellikler, etiketler, dağılım kayması ve doğru değerlendirme.
Tahmin edilecek değişkeni tanımlayın
Denetimli öğrenmede her örnek girdileri ve bilinen bir hedefi içerir. Bir otelin gelecekteki rezervasyon iptalini tahmin ettiğimizi varsayalım: rezervasyon süresi ve kanal gibi özellikler kullanılabilir, ancak iptalden sonra üretilen iade kaydı modele verilirse gerçek kullanıma uygun olmayan bir başarı görürüz. Bu durum veri sızıntısıdır; modelin iyi görünmesi doğru tahmin yaptığı anlamına gelmez.
Eğitim, doğrulama ve test ayrımı
Model parametreleri eğitim verisiyle öğrenilir; hiperparametre ve eşik seçimi doğrulama kümesi üzerinde yapılır. Test kümesi mümkün olduğunca sona saklanmalıdır. Tekrar tekrar test sonucuna bakarak özellik seçmek de testin bağımsızlığını zedeler. Zaman serisinde rastgele bölme yerine kronolojik ayırma gerekebilir; geleceğin örnekleri geçmişe sızmamalıdır.
Doğru metriği seçin
İptaller verinin yalnız küçük bölümünü oluşturuyorsa her rezervasyona 'iptal olmayacak' demek yüksek doğruluk gösterebilir. Precision, recall, F1 ve gerektiğinde PR eğrisi gibi metrikler, yanlış alarm ve kaçırılan olay maliyetini daha iyi yansıtır. Tek bir skor yerine sınıf dağılımını, hata matrisi ve karar eşiğini birlikte raporlayın.
Üretimde model izleme
Veri kaynakları, kullanıcı davranışı ve sezonlar değişebilir. Başlangıç testinde iyi çalışan model birkaç ay sonra eski doğruluğunu korumayabilir. Özellik dağılımını, etiket gecikmesini ve performans düşüşünü düzenli gözlemleyin. Yeni veriyle yeniden eğitim planı oluştururken eski test kümesini sonsuza kadar tekrar kullanmayın; yeni bağımsız değerlendirmeler hazırlayın.
Yorumlar
0 gerçek yorumHenüz gerçek okuyucu yorumu yok.
✎ Yorum yaz