A/B Testing Sonuçları Nasıl Okunmalı?

Growth Hacking İstanbul’un ilk etkinliğinin üzerinden yaklaşık bir ay kadar bir süre geçti. Etkinlikten hemen sonra büyüme sürecini işinizin bir parçası haline nasıl getirebilirsiniz başlıklı konuşmamı SlideShare üzerinden paylaştım. O gün konuştuğumuz konuları parça parça ele alıp, katılamayanların da erişebilecekleri bir formata dönüştürmek istedim. İlk yazım büyüme süreciyle ilgili sık yapılan hatalardan biri olan A/B testing sonuçlarını okuma konusunda yanılgılarımız.

Sayfalarımızın veya mobil uygulamalarda ekranlarımızın performansını artırmak istediğimizde yaptığımız değişikliğin etkisini net olarak ölçümlemek, fikirlerimizin gerçekten işe yarayıp yaramadığını görmek isteriz. Bunun için değişiklikleri kalıcı bir şekilde ortaya çıkartmak yerine bir deneme yaparak nasıl bir performans gösterdiklerini keşfetmek isteriz. A/B testing bu aşamada yardımımıza koşar.

A/B testing nasıl yapılmalı konusunda sürekli olarak karşımıza çıkan örneklerden dolayı bazı hatalar sık sık karşımıza çıkıyor. Bu hatalara yönelik daha önce başarılı bir A/B testing süreci için neler yapılması gerektiğini paylaşmıştım. Son dönemlerde dikkatimi çeken bir diğer konu ise sadece A/B testingin gerçekleştirilme süreci için değil aynı zamanda sonuçların analiz edilmesi aşamasında da bazı hatalar olduğunu görüyorum.

Bu yazımda örnek bir analiz ile bir test yaptığınızda sonuçlarını nasıl analiz etmeniz gerektiği konusunu ele alacağım. Öncelikle Google Analytics aracılığıyla yapmış olduğumuz örnek bir A/B testi sonucuna bir bakalım.

Sonuç fena gözükmüyor gibi? Yaptığımız test normal sayfaya %43 daha iyi performans göstermiş. Acaba gerçekten öyle mi? Şimdi birazcık araştıralım.

Bir anda sonuçlarımız değişti! Testimiz aslında başarılı değil! Testimiz normal sayfamıza göre %4.84 oranında daha düşük dönüşüm oranına sahip görünüyor. Neden bu sonuçları gördük? Çünkü şu an testimizi değerlendirirken testimize katılan kitleyi belirli kitlelere göre sınırladık. Nedir bu kitleler? Sayfamızı bilgisayarı aracılığı ile kullanan kullanıcılar, Google reklam kaynağı ile gelen kullanıcılar ve sayfamıza yeni olarak gelen kullanıcıların kesişim kümesini ele aldık. Peki bu şekilde araştırmaya devam edersek başka neler göreceğiz? Bir kez daha bakalım.

Şimdi çok daha farklı bir sonuç görüyoruz! Dönüşüm oranımız normal sayfaya göre %79.44 oranında artmış görünüyor! Sonuçlara şimdi bakarken sayfamıza mobil cihazlardan gelmiş, Google reklam kaynağı ile gelmiş ve yine sayfamızı ilk defa ziyaret eden kullanıcıları ele aldık. Biraz daha araştırmaya devam edelim.

Şimdi çok daha iyi bir sonuç görüyoruz! Dönüşüm oranımız tamı tamına %96.84’lük bir artış göstermiş! Neden %96.84? Çünkü sonucu analiz ederken kullandığımız kitle şimdi yine mobil cihazlardan gelen, yine Google reklam kaynakları ile gelen ama sayfamıza yeni olarak gelen değil, tekrarlı olarak gelen kullanıcılar olduğu için.

Nelere Dikkat Edilmeli?

Her gün yeni bir optimizasyon hikayesi dinliyoruz. Bu hikayeleri dinlerken biraz dikkatli olmamız gerekiyor. Bütün analizlerde olduğu gibi A/B testingte de veriler manipüle edilmeye çok açık. Tahmin edebileceğiniz gibi manipüle ediliyorda.

Yapılan testlerin sonuçları kitlelere göre farklılık gösteriyor. Testin gerçek başarısı teste başlanırken tespit edilen probleme sahip kitle olmalıdır.

Normal şartlarda sayfanıza yeni olarak gelen ziyaretçilerle, tekrarlı gelen ziyaretçilerin oranları birbiriyle aynı olmaz. Bilgisayardan sayfanızı ziyaret eden kullanıcılar ile mobil cihazlardan gelen kullanıcılar yine çok farklı dönüşüm oranlarına sahiptir. Kullanıcıları kazandığınız kaynaklar ve hangi kampanya ile kazandığınız bile dönüşüm oranında büyük farklar olabilir. Test bir kitle için %100 artış gösterirken diğer taraftan başka bir kitle için %20 düşüş göstermiş olabilir. Testinizin başarısı başlangıç aşamasında tespit ettiğiniz probleme geliştirdiğiniz probleme getirdiği çözüm kadar önemlidir. Kendi çalışmalarınızı yaparken sonuçları doğru okumak için öncelikle çıkış noktanız olan probleme bakmayı, başarı hikayelerini okurken de test sonucunun hangi kitle için geçerli olduğunu incelemeyi unutmayın.

A/B test süreci ve CRO hakkında daha detaylı bilgi için rehberimizi inceleyin.