M10 · Makine Öğrenmesine Giriş
Veri Sızıntısı ve Model Güvenilirliği
Neden bu konu?
Veri sızıntısı, modelin tahmin anında erişemeyeceği bilgiyi eğitimde veya değerlendirmede kullanmasıdır. Sonuç genellikle şaşırtıcı derecede iyi offline metrik, ardından üretimde sert düşüştür; algoritma bozuk değildir, ona geleceğin cevabı gösterilmiştir. NovaCommerce'te gerçek teslim tarihi, teslim sonrası durum kodu, mevcut siparişin gecikmesinden türetilen alanlar ve o anda henüz tamamlanmamış önceki siparişlerin sonuçları özellik olamaz. Sızıntı yalnız sütunda olmaz: tüm veride imputation/scaling yapmak, test sonucuna göre model/eşik seçmek veya aynı olayı iki kümeye taşımak da değerlendirme sınırını kirletir.
Benzetme: kavramın günlük karşılığı
Veri sızıntısı, saat 08.00'de yayımlanan hava tahminine öğleden sonra ölçülen yağışı ekleyip tahmini kusursuz ilan etmeye benzer. Dürüst arşiv her tahminin bir yayın zamanını ve o anda erişilebilir veri fotoğrafını saklar. Daha sonra oluşan gözlem hedef olarak değerlendirilebilir, fakat 08.00 tahmininin girdisine geri taşınamaz.
Bu işin sırrı: kalıplar
- Tahmin zamanı sınırı: Her özellik için `available_at <= prediction_at` kanıtlanır; isim güvenilirlik kanıtı değildir.
- As-of özellik: Geçmiş ortalama yalnız mevcut tahmin anından önce sonucu gerçekten tamamlanmış olaylardan hesaplanır; `shift(1)` tek başına gecikmeli etiketlerde yeterli olmayabilir.
+ 3 kalıp daha tam derste
İlk uygulama adımı
1. Özellik zaman manifesti oluştur
`feature_manifest = pd.DataFrame` ile özellik, kaynak, available_at ve prediction_at sütunlarını yaz; `kullanilabilir = available_at <= prediction_at` hesapla ve False satırları listele.
Kontrol noktası: Gerçek teslim tarihi ve teslim sonrası durum False; mesafe ve sipariş anındaki ürün adedi True görünür. Her final özellik için kaynak ve zaman alanı doludur.
+ 4 adım daha tam derste
Dersin devamı erken erişimde
Tam derste seni bekleyenler: 5 kontrol noktalı uygulama adımı, gerçek dünya kullanımı (analist + scientist + AI perspektifi), 4 yaygın tuzak, mülakat sorusu ve model cevabı, 5 soruluk quiz, 7 tekrar kartı ve NovaCommerce proje görevi.