Dönüşüm optimizasyonu ve A/B testing konusuyla ilgili sizlerle daha önce yeni konular paylaşmaya devam edeceğimizden bahsetmiştim. Bu yazımızda Türkiye’nin önde gelen girişimlerinden olan Yemeksepeti’nden çok değerli iki arkadaşımız Sercan ve Emre ile yaptığımız röportaja ulaşacaksınız.
Sercan Akkaş
– Bize kısaca kendinden bahseder misin? Neler yapıyorsun?
Sercan: 5 yıldır analytics ve dönüşüm optimizasyonu üzerine çalışıyorum, son 3 yıldır Yemeksepeti’ndeyim , analytics ve dönüşüm optimizasyonu yöneticisi olarak görev alıyorum.
Emre: 1 yıldır Yemeksepeti bünyesinde web, mobil ve uygulama kanallarının analitik ölçümleme ve dönüşüm optimizasyonu alanlarında çalışıyorum.
– Yemek Sepeti üzerinde A/B testleri ve dönüşüm optimizasyonu çalışmalarına nasıl ve neden başladınız?
Sercan: 2014 yılında Yemeksepeti’ne analytics altyapısını ve anlamlı raporlarla şirketin tamamen analytics ile beslenen ürünlerimizi geliştirmek amacıyla başladım. Daha sonrasında bu raporlar ışığı altında, geliştirmemiz gereken yerleri A/B test çalışmaları ile desteklemeyi amaçladık.
Emre: Web ve mobil site tarafında yaptığımız testlerin etkilerini keskin bir şekilde gördükten ve A/B testi hayatımızın büyük bir parçası olarak konumlandırabildikten sonra gelişmeyi her kanala yaymak adına mobil uygulamalarda da A/B testlere başladık.
– Bugünkü operasyonunuzda A/B testleri ve dönüşüm optimizasyonunun yeri ve önemi nedir?
Emre Gerçek
Sercan: Son 2 yılda, site ve mobil site taraflarında çok fazla sayıda testi canlıya aldık, yakın zamanda artık mobil uygulamalarımızda da A/B testleri arttıracağız. 2018 sonuna geldiğimizde ilk hedefimiz şirkette var olan AB Test DNA’sını site, mobil site, iOS ve Android kanallarımızda daha da yoğunlaştırarak, son 2 yılda canlıya aldığımız toplam test sayısını 2 katına çıkararak yılı tamamlamak.
Emre: Şu an A/B testin farkındalığını her departmanda sağlamış durumdayız. Yeni çıkacak her feature’ı A/B testler ile çıkıyoruz ve çıktıktan sonra da en iyiyi aramaya farklı testlerle devam ediyoruz. Ayrıca yeni oluşturulacak feature’lar için benzer feature’ların A/B test sonuçlarından faydalanıyoruz. Kısaca canlıya çıkacak her ürün A/B sürecinden mutlaka geçiyor diyebilirim.
– Dönüşüm optimizasyon sürecinden elde etmiş olduğunuz en önemli çıktılar neler oldu?
Sercan: Bence sadece bizim tarafta değil, bütün sitelerde en önemli çıktılarından biri şirketlerin edindiği know-how ile geliştirdiği sayfalar, tasarımlar ya da akışların kullanıcılar tarafından ne denli kabul edilip edilmediğinin sorgulaması. A/B test kültürü oturmamış şirketlerde, yapılan geliştirmelerin kullanıcılar üzerindeki etkisi, büyük peak’ler olmadığı sürece gözlemlenemiyor (özellikle ufak etkilerde). Fakat A/B testler sayesinde bu sonuçları istatiksel güven aralığında elde edebilirler. Ayrıca şirket olarak yeni büyük özellikleri artık A/B test ile canlıya alıp, kullanıcılarımıza soruyoruz ve onlardan aldığımız cevaplar doğrultusunda akışlarımızı veya sayfalarımızı geliştiriyoruz. Bir diğer en önemli nokta, kaybeden testlerimizin analizini yapıp neden kaybettiklerini anlamaya çalışarak iterasyon testler ile yeni testlerin temelini oluşturuyor ve böylece bir A/B test akışı sağlıyoruz. Ayrıca kazanan testlerimizin de mutlaka iterasyonlarını deneyerek daha da iyi nasıl geliştirebileceğimizi araştırıyor ve sonucunda A/B test ile sürekli gelişim, şirketin bir parçası oluyor. Kısaca dönüşüm optimizasyonunda sadece kazanan testlerin sonuçları ile değil, kaybeden testlerin analizlerini yorumlayarak da çok önemli çıktılar elde ediyoruz. Ayrıca en ufak değişiklik bile çok büyük çıktılara sebep olabilir, bir wording değişimi ya da bir buton rengi değişimi bile hiç beklemeyeceğiniz sonuçlar doğurabiliyor.
Emre: Doğru bildiğimiz yanlışlar! Benim için en etkili ve önemli çıktılar beklenmeyeni veren test sonuçları oldu. Bu tarz sonuçların kullanıcıyı tanıma bölümünde etkisi olduğunu ve sonraki testlerimizi kurgularken gerçekten önemli bir kaynak olduğunu düşünüyorum.
– Dönüşüm optimizasyonu konusunda çalışmalara henüz başlamamış veya bu konuda profesyonel olarak başlamamış kişilere önerin neler olur?
Sercan: Dönüşüm optimizasyonu yukarıda da belirttiğim gibi sadece kazanan testlerden oluşmuyor, kaybeden testleri de analytics ve data yardımıyla destekleyerek yeni fikirlere ve geliştirmelere zemin hazırlamak gerekiyor. Ayrıca planlama ve süreklilik çok önemli, özellikle A/B testlere alışık olmayan şirketlerde süreklilik A/B test kültürünün temelini oluşturuyor . Başlarda dönüşüm optimizasyonu hem teknik tarafta hem ürün tarafında ekstra bir geliştirme olarak görülebilir fakat dönüşüm optimizasyonunu gelişimin bir parçası yapıp, rutine oturttuğunuzda artık yapının bir parçası olacaktır, böylece sürekli gelişimi sağlamış olursunuz. Şunu da eklemek istiyorum, testleri kurgularken size en saçma gelen fikri bile bazen varyasonlardan birine eklemeniz gerekebilir çünkü ne size ne de ekibinizdeki insanlara mantıklı gelmeyen geliştirmeler, çok enteresan sonuçlar doğurabilir. Bence data analizi & optimizasyon aynı veya benzer ekiplerin çok iç içe çalışmasını gerektiren bir yapı. Türkiye’de bu tarz ekipler kurulmayıp genelde bir ekibin yan işi ya da ekstra işi olarak konumlandırılıyor fakat çok yakın zamanda artık olmazsa olmaz departmanlardan biri olacağına inanıyorum.
Emre: Dönüşüm Optimizasyonlarında en önemli hususlardan biri sorunlu bir adımı tespit edip, bu adımı optimize edebilmektir. Bunu yapabilmek için iyi kurulmuş bir analytics yapınız olsun ve sürekli verileri konuşturmaya çalışın. Implementasyon yaparken alınacak en ufak veri bile ileride bir çıkmaza girildiğinde anahtar görevi görebiliyor; alabileceğiniz bütün verileri elde etmeye çalışın. Yanlış veri akışı hatalı kararlar almanıza sebep olabilir; verilerinizin doğru olduğundan emin olun. A/B test yaparken aceleci davranmayın; doğru sonuçları elde etmesi için testinize yeterli zamanı tanıyın. Bir adım için aynı anda birden fazla test yapmak verinizi yanıltabilir; bir adım için aynı anda sadece bir tane test yapın. Bir kazanım başka metrikler ile bakıldığında büyük kayıplara sebep olabilir; testlerinizi sonuçlandırırken etkilenebilecek bütün kırılımlara ve metriklere bakmaya çalışın. En küçük bir değişiklik bile hiç beklenmeyecek ölçekte sonuçlar doğurabiliyor; ufak testler yapmaktan kaçınmayın.
Sercan ve Emre’ye röportajımıza katıldıkları ve bizlerle paylaşmış oldukları detaylı şefaf yanıtları için çok teşekkür ediyorum. Eğer A/B testing ve CRO süreci hakkında daha detaylı bilgi sahibi olmak isterseniz 5 günlük ücretsiz email kursumuza buraya tıklayarak kayıt olabilirsiniz.
