M9 · İstatistik ve Belirsizlik
A/B Testi ve Deney Tasarımı
Neden bu konu?
Ürün ekibi 'butonu yeşil yapalım, dönüşüm artar' der ve canlıya alır; iki hafta sonra satış yükselmiştir, herkes yeşil butonu kutlar. Oysa o iki haftaya maaş günü, bir indirim kampanyası ve okulların açılması da denk gelmiştir — yükselişin butonla ilgisi olmayabilir. A/B testi, 'değişiklik işe yaradı mı' sorusunu tahminden çıkarıp ÖLÇÜME bağlayan tek dürüst yöntemdir: aynı anda, aynı kitlede, sadece tek şeyi değiştirip iki grubu yan yana karşılaştırır. Bu disiplin olmadan şirket, işe yaramayan değişiklikleri 'başarı' sanıp yıllarca yanlış yöne kürek çeker. Bu ders hipotez testinin (p-değeri) mantığını gerçek bir deneye dönüştürür: soruyu kurmaktan sonucu yorumlamaya kadar tam döngü.
Benzetme: kavramın günlük karşılığı
A/B testi kontrollü bir mutfak deneyidir. Aynı keki iki kez pişirirsin: her şey birebir aynı — aynı fırın, aynı süre, aynı un — sadece BİRİNE bir çay kaşığı vanilya eklersin. İkisi farklı çıkarsa farkın tek olası sebebi vanilyadır, çünkü değişen tek şey oydu. Ama iki keki farklı fırınlarda, farklı günlerde, farklı unla pişirirsen fark çıksa bile sebebini asla bilemezsin. A/B testinin bütün sanatı 'tek değişken' kuralını korumaktır: A ve B grubu her şeyde aynı, yalnızca test ettiğin o tek şeyde farklı olmalı.
Bu işin sırrı: kalıplar
- Tek değişken kuralı: A ve B arasında SADECE test ettiğin şey farklı olmalı. Aynı anda hem butonu hem fiyatı değiştirirsen, fark çıksa bile hangisinin sebep olduğunu bilemezsin — deneyin okunmaz hale gelir.
- Randomizasyon karıştırıcıları eritir: Kullanıcıları A/B'ye rastgele atarsın (ör. kullanıcı ID'sinin son hanesi tek/çift). Böylece sadık müşteriler, mobil kullanıcılar, akşam alışverişçileri iki gruba da eşit dağılır; grup farkı senin değişkeninden gelir, kitleden değil.
+ 3 kalıp daha tam derste
İlk uygulama adımı
1. Hipotezi yönlü ve ölçülebilir kur
NovaCommerce senaryosu: ürün sayfasındaki 'Sepete Ekle' butonunun yazısını 'Hemen Al' yapmak dönüşümü artırır mı? Bir cümlelik test hipotezini (H1) ve sıkıcı senaryoyu (H0) yaz. İpucu: hipotez ölçülebilir bir metriğe değmeli, 'daha iyi olur' gibi belirsiz olmamalı.
Kontrol noktası: H1: 'Hemen Al butonu (B), Sepete Ekle butonuna (A) göre satın alma dönüşüm oranını artırır.' H0: 'İki buton yazısının dönüşüm oranı aynıdır; gözlenecek fark tesadüftür.' İkisi de tek bir metrikten (dönüşüm oranı) bahsediyorsa doğru yoldasın.
+ 4 adım daha tam derste
Dersin devamı erken erişimde
Tam derste seni bekleyenler: 5 kontrol noktalı uygulama adımı, gerçek dünya kullanımı (analist + scientist + AI perspektifi), 4 yaygın tuzak, mülakat sorusu ve model cevabı, 5 soruluk quiz, 8 tekrar kartı ve NovaCommerce proje görevi.