M4 · Veri Temizleme ve Hazırlık
Kirli Veri Türleri: Eksik, Tekrarlı, Tutarsız
Neden bu konu?
NovaCommerce'in sipariş tablosunda eksik tutarlar toplam ciroyu olduğundan düşük gösterir, tekrarlı satırlar aynı siparişi iki kez sayarak büyümeyi şişirir, İstanbul/istanbul gibi yazım varyantları şehir kırılımını yapay biçimde böler. Bu sorunları saymadan analize girersen yönetime giden rapor yanlış çıkar; hata sonradan fark edildiğinde yalnızca sayılar değil, ekibin raporlarına duyduğu güven de yeniden inşa edilmek zorunda kalır. Bu ders, düzeltmeye başlamadan önce sorunları sistematik biçimde bulup ölçmeyi öğretir.
Benzetme: kavramın günlük karşılığı
Kirli veriyle çalışmak acil servis triyajına benzer: hemşire hiçbir hastayı doğrudan ameliyata göndermez; önce kimlik bilgisini kaydeder, şikâyeti sınıflandırır ve aciliyeti ölçer. Veri kalite triyajında da önce tablonun grain'ini (bir satır neyi temsil ediyor?) yazarsın, sonra eksik, tekrarlı ve tutarsız vakaları ayrı ayrı sayarsın. Tedavi, yani silme ve doldurma, triyaj raporu bittikten sonra ve bilinçli kararlarla yapılır.
Bu işin sırrı: kalıplar
- Önce grain cümlesi: "Bu tabloda bir satır = bir sipariş" gibi tek cümle yaz; tekrarın hata mı doğal mı olduğuna bu cümleyle karar verilir.
- Eksikleri sütun bazında say: df.isna().sum() her sütundaki boş sayısını verir; örneğin tutar sütununda 1 eksik görmek, ciro hesabına başlamadan seni uyarır.
+ 3 kalıp daha tam derste
İlk uygulama adımı
1. Mini sipariş tablosunu kur
Tek hücrede önce import pandas as pd yaz. Alt satırda df = pd.DataFrame({"siparis_id": ["S001", "S002", "S003", "S003", "S004", "S005"], "sehir": ["İstanbul", "istanbul", "Ankara", "Ankara", None, "İzmir"], "durum": ["Teslim", "teslim", "Teslim", "Teslim", "Kargoda", None], "tutar": [250, None, 180, 180, 90, 320]}) kodunu çalıştır; son satırda df yazdır. S003 satırı bilinçli olarak birebir kopyadır.
Kontrol noktası: df.shape çıktısı (6, 4) olmalı; df yazdırıldığında S003'ün iki kez, üç sütunda birer boş değerin göründüğünü gözle doğrula.
+ 5 adım daha tam derste
Dersin devamı erken erişimde
Tam derste seni bekleyenler: 6 kontrol noktalı uygulama adımı, gerçek dünya kullanımı (analist + scientist + AI perspektifi), 4 yaygın tuzak, mülakat sorusu ve model cevabı, 4 soruluk quiz, 7 tekrar kartı ve NovaCommerce proje görevi.