A/B Testing Nasıl Yapılır?

A/B testing büyüme süreci boyunca en sık ihtiyaç duyduğumuz yönemlerden bir tanesi. Gerek karşılama sayfalarında dönüşümü artırmak gerekse kullanıcının ürün içerisinde etkinliğini artırmak için neler yapmamız gerektiği önemli bir sorundur. A/B testing en basit haliyle, kullanıcıları gruplara ayırarak, iki farklı kurguyla karşıladığımız ve bunun sonucunda hangi kurgunun ürünümüz için daha iyi sonuç verdiğini ölçümlediğimiz temel bir süreçtir.A/B testing için hem teknik kısımda çalışmalara hem de ürün ve pazarlama kısmında önemli çalışmalara ihtiyaç duyuyoruz. Optimizely gibi araçlar sayesinde teknik kısımdaki çalışmaları hızla aşabilsekte, ürün ve pazarlama kısmında yapılan hatalar, doğru testleri yapmamızı ve çalışmalarımızı iyileştirmemizi önemli ölçüde zorlaştırıyor. Bu yazıda A/B testing yapmak isteyen birinin adım adım neler yapması gerektiği ve her aşamada dikkat etmesi gereken noktaların neler olduğunu paylaşmak istedim.

A/B testing yapmaya başlamadan önce, ilk olarak ürün ve pazarlamayla ilgili problemimizin ne olduğuna karar vermemiz gerekiyor. Karşılama sayfalarımızın dönüşüm oranını artırmak istiyoruz, yeni kullanıcıların aktifleşme oranını artırmak istiyoruz, emaillerin açılma oranlarını artırmak istiyoruz gibi gibi örneklerini artırabileceğimiz ilk problem tespitinin yapılması gerekiyor.

Problem keşfettikten sonra ikinci aşama olarak araştırma aşamasına geliyoruz. Çözmek istediğimiz problemle ilgili hem kullanıcılarımızla hem de dünyadaki uygulamalarla birlikte bir araştırma aşamasına giriyoruz. Araştırma aşamasında problemimiz ve olası çözümle ilgili olabildiğince fazla öngörüyü toplamayı amaçlıyoruz.

Araştırma aşamasında olası çözümle ilgili verileri topladıktan sonra hipotez geliştirme aşamasına geliyoruz. Hipotez geliştirme aşamasında, yaptığımız araştırmalara dayanarak, problemin çözümü konusunda bir fikir geliştiriyoruz. Örneğin problemimiz karşılama sayfalarının dönüşüm oranlarını artırmak ise, hipotez geliştirme aşamasında, karşılama sayfamızın dönüşüm oranını nelerin artıracağını ortaya çıkarmış oluyoruz. Sayfa mesajlarının değişmesi, görsel öğelerinin değişmesi, CTA değişmesi, üyelik akışının değişmesi gibi gibi değişik aksiyon alınabilecek net bir çözümü ortaya atılması gerekiyor.

Hipotez geliştirdikten sonra aşama olarak test aşamasına geliyoruz. Test aşamasında kullanıcılarımızı, herhangi bir araçla iki gruba ayırarak davranışlarını ölçümlememiz gerekiyor. Hangi aracı kullandığımızın hiçbir önemi yok. Bu aşamada tek önemli konu test yaparken istatiksel ve akış olarak hata yapmadığımızdan emin olmalıyız.

İstatiksel olarak anlamlı testler yapabilmek için, test yaptığımız akışın anlamlı bir hacimde olması gerekiyor. Örneğin karşılama sayfanıza 100 kişi gelirken bu kişileri farklı iki teori arasında test yapamazsınız.Sonuçların anlamlı olması için test havuzunun belirli bir büyüklükte ve olgunlukta olması gerekiyor.

Kullanıcı akışınında ayrıca dikkat edilmesi gereken bir konu. Örnek olarak yine karşılama sayfasını ele alalım. Sayfamızdaki mesajları test ederek, hangi mesajın en etkili olabileceğini araştırıyoruz. Bu kurguda testi sayfamıza yeni olarak gelen ziyaretçilere yaparak, mesajın etkinliğini sadece yeni kullanıcılar üzerinde ne kadar olduğunu ölçümlememiz gerekiyor. Tekrarlı ziyaret eden kullanıcılarla, yeni ziyaret eden kullanıcıları aynı sayfaya alarak yaptığımız testte mesajımızın etkinliğini ölçümleme şansımızı kaçırmış oluruz.

Artık testimizi yaptıktan sonra sıra sonuçları okumaya ve değerlendirme aşamasına geliyor. Sonuçları okurken dikkat etmemiz gereken temel bir konu yaptığımız testin ne için yaptığımız konusu. Günlük milyonlarca işlem gerçekleşen bir uygulamada yapacağımız küçük bir iyileştirme ile %0.1’lik bir iyileştirme dahi güçlü bir sonuç yaratabilir. Fakat yeni başlayan bir girişim, ürün/pazar uyumu öncesi karşılama sayfasındaki mesajı test ediyorsa, normalde %2 olan dönüşüm oranını test ile %5’e çıkarırsa başarılı bir test geliştirmiş olur.

Yapılan test başarılı olduğunda gerekli gelişmeler yapılarak, uygulama üzerinde iyileştirmeleri gerçekleştiririz. Test sonuçlarında aradığımız sonucu bulamadığımızda hipotez geliştirme aşamasına tekrar dönmemiz gerekiyor. Probleme çözüme yönelik yeni bir hipotez geliştirerek, test sürecine tekrar hazırlanmamız gerekiyor.

Teknik araçlar A/B testing yapmamız konusunda bize büyük kolaylık sağlasa da, testin başarısı büyük ölçüde geliştirilen hipotez ve yaptığımız ölçümlemeyi ne kadar doğru okuduğumuza bağlı. A/B testingten başarılı bir şekilde faydalanabilmek için bütün süreci doğru bir şekilde kurgulamamız ve yönetmemiz gerekiyor.