M4 · Veri Temizleme ve Hazırlık
Aykırı Değerler: Bulmak ve Karar Vermek
Neden bu konu?
NovaCommerce sipariş tablosunda bir satırda -50 TL, dört satırda 1800-2500 TL görüyorsun; ekipten biri 'aykırıları temizleyelim' deyip hepsini silerse şirketin en değerli kurumsal siparişleri rapordan kaybolur ve ciro tahmini gerçeğin altında kalır. Tersine, -50 gibi imkânsız bir değeri 'uç ama olur' diye tutarsan iade sürecindeki bir sistem hatası aylarca fark edilmez. Aykırı değerlerde asıl iş tespit değil karardır: hangi değer ölçüm hatası, hangisi geçerli iş sinyali? Bu ayrımı gerekçeli yapamayan analist ya sinyali siler ya hatayı korur; iki durumda da yanlış karar maliyeti doğrudan rapora ve modele yansır.
Benzetme: kavramın günlük karşılığı
Aykırı değer analizi bir havaalanı güvenlik sistemine benzer: kapıdaki metal dedektörü (IQR) yalnız alarm verir; çantayı açıp bakan görevli (sen) neyin tehlikeli, neyin masum olduğuna karar verir. Dedektör kemer tokasına da öter, gerçek soruna da; alarm sayısı suç sayısı değildir. Alarmı otomatik cezaya çevirmek, kemer takan herkesi uçaktan indirmek gibidir: IQR aday işaretler, silme kararını asla kendisi vermez.
Bu işin sırrı: kalıplar
- Global IQR maskesi — sınırı hesapla, adayı işaretle, silme: q1=s.quantile(0.25); q3=s.quantile(0.75); iqr=q3-q1; maske=(s < q1-1.5*iqr) | (s > q3+1.5*iqr)
- Segment bazlı sınır — her satıra kendi grubunun eşiğini yaz: df.groupby('musteri_tipi')['tutar'].transform(lambda s: s.quantile(0.25)) satır sayısını korur ve segmentle hizalar.
+ 3 kalıp daha tam derste
İlk uygulama adımı
1. Veriyi kur ve merkez ölçülerini karşılaştır
Tek hücrede pd.DataFrame ile 25 satırlık NovaCommerce sipariş tablosunu kur: siparis_id S001-S025, bireysel tutarlar 210'dan 495'e 15'er artan 20 değer artı -50, kurumsal tutarlar 1800, 2000, 2200, 2500. musteri_tipi ilk 21 satırda 'bireysel', son 4 satırda 'kurumsal' olsun. Ardından df['tutar'].describe() çalıştır ve mean ile %50 (medyan) satırlarını yan yana yaz.
Kontrol noktası: describe() çıktısında count=25, mean=620.0 ve %50=375.0 görüyorsun; ortalama ile medyan arasındaki 245'lik farkın kurumsal segment karışımından geldiğini bir yorum satırında açıkladın.
+ 4 adım daha tam derste
Dersin devamı erken erişimde
Tam derste seni bekleyenler: 5 kontrol noktalı uygulama adımı, gerçek dünya kullanımı (analist + scientist + AI perspektifi), 4 yaygın tuzak, mülakat sorusu ve model cevabı, 4 soruluk quiz, 6 tekrar kartı ve NovaCommerce proje görevi.