⚡ Bu Yazıda Ne Öğreneceksiniz?
- A/B testin istatistiksel temelleri (p-value, güven aralığı, statistical power)
- Minimum örneklem büyüklüğü nasıl hesaplanır
- E-ticaret A/B testlerinde en sık yapılan 5 hata
- Test süresi ve trafik hesaplama formülleri
- Reklam yaratıcılarında A/B test metodolojisi
1. A/B Testin İstatistiksel Temelleri
A/B test, iki varyantı (A ve B) rastgele bölünmüş kitlelere gösterip hangisinin daha iyi performans gösterdiğini istatistiksel olarak kanıtlama yöntemidir. Ama "kanıtlama" kelimesi burada kritiktir — hissetmek veya tahmin etmek yetmez.
📊
P-Value
Gözlemlenen farkın şans eseri olma olasılığı. p < 0.05 ise sonuç 'istatistiksel olarak anlamlı' kabul edilir. Yani farkın rastgele oluşma ihtimali %5'ten azdır.
⚡
Statistical Power
Gerçek bir farkı tespit etme gücü. Standart hedef %80'dir. Düşük güçlü testler gerçek iyileşmeleri bile kaçırır (false negative).
🎯
Güven Aralığı
Gerçek etkinin düşme olasılığının yüksek olduğu aralık. %95 güven aralığı negatife geçiyorsa, iyileşme garanti değildir.
2. Minimum Örneklem Büyüklüğü Nasıl Hesaplanır?
E-ticaret sitelerinde ortalama dönüşüm oranı %2-3 civarındadır. Bu oranla %10'luk bir iyileşmeyi (örneğin %2.0'den %2.2'ye) tespit edebilmek için gereken örneklem büyüklüğü şaşırtıcı derecede yüksektir:
%10 İyileşme Tespiti
~25.000
ziyaretçi / grup
%20 İyileşme Tespiti
~6.000
ziyaretçi / grup
%50 İyileşme Tespiti
~1.000
ziyaretçi / grup
Pratik sonuç: Günde 500 ziyaretçisi olan bir site, %10'luk bir iyileşmeyi tespit etmek için testi en az 100 gün çalıştırmalıdır. Bu gerçekçi olmadığında daha büyük etki arayın veya mikro dönüşümleri test edin.
3. En Sık Yapılan 5 A/B Test Hatası
1. Erken Durdurma (Peeking Problem)
İlk birkaç günde pozitif sonuç görüp testi sonlandırmak. Küçük örneklemlerde şans eseri %200 artış görebilirsiniz. Minimum örneklem tamamlanmadan asla karar vermeyin.
2. Çoklu Değişken Testi (Tek Seferde)
Başlığı, görseli, butonu ve fiyatı aynı anda değiştirip hangi değişikliğin etkili olduğunu bilememe. Her testte tek bir değişken değiştirin.
3. Mevsimselliği Göz Ardı Etme
Pazartesi trafiği ile Cuma trafiği farklıdır. Testi en az 1-2 tam hafta çalıştırın, hafta içi/sonu etkisini eşitleyin.
4. Yanlış Metrik Seçimi
Tıklama oranını optimize ederken dönüşüm oranını düşürmek. Her zaman nihai iş metriğini (gelir, kâr) birincil metrik yapın.
5. Segment Etkisini İhmal Etme
Genel sonuç negatif olabilir ama mobil kullanıcılarda veya yeni ziyaretçilerde pozitif olabilir. Segment bazlı analiz yapın.
4. Reklam Yaratıcılarında A/B Test
Meta ve Google Ads'de yaratıcı testleri farklı dinamiklere sahiptir:
Meta Ads Creative Testing
Aynı kampanyada farklı yaratıcıları ayrı ad set'lere koyun. Bütçeyi eşit dağıtın ve en az 5.000 gösterim / yaratıcı sonrasında karşılaştırın. Hook rate (3 saniyelik izleme oranı) ve ThruPlay oranını birincil metrik olarak kullanın.
Google Ads Ad Variations
Google Ads'in yerleşik "Ad Variations" özelliğini kullanın. Başlık veya açıklama değişikliklerini otomatik olarak test eder. Minimum 2 hafta ve 5.000 gösterim bekleyin. İstatistiksel güven yüzdesi panelde gösterilir.
Sonuç: İstatistik Bilmeden Optimizasyon Yapamazsınız
A/B test, dijital pazarlamanın en güçlü araçlarından biridir — ama yanlış kullanıldığında en tehlikelisidir. Yetersiz örneklemle alınan kararlar, gerçek iyileşmeleri geri alabilir ve kötü değişiklikleri kalıcı hâle getirebilir.
Kural: Minimum örnekleme ulaşmadan sonuç ilan etmeyin. %95 güven seviyesine ulaşmadan kazanan seçmeyin. Ve her zaman nihai iş metriğini (gelir) birincil başarı kriteri olarak kullanın.