[caption id="attachment_16383" align="aligncenter" width="883"] Sumber: Mobile Marketing[/caption]

A/B Testing

A/B Testing merupakan salah satu metode yang dipakai terutama pada periode validasi sebuah inovasi. Secara definisi A/B Testing dapat didefinisikan sebagai eksperimen acak dengan dua varian, A dan B. Ini mencakup penerapan pengujian hipotesis statistik atau "pengujian hipotesis dua sampel" seperti yang digunakan dalam bidang statistik. A/B Testing adalah cara untuk membandingkan dua versi variabel tunggal, biasanya dengan menguji respons subjek terhadap varian A terhadap varian B, dan menentukan mana dari dua varian yang lebih efektif. Diambil dari sumber Wikipedia

Pada tahun 1920-an ahli statistik dan biologi Ronald Fisher menemukan prinsip terpenting di balik pengujian A/B dan eksperimen terkontrol acak secara umum. Ronald Fisher bukanlah orang pertama yang menjalankan eksperimen seperti ini. Tapi Fisher adalah orang pertama yang menemukan prinsip dasar dan matematikanya dan menjadikannya sebagai sains. 

Fisher melakukan eksperimennya di dunia pertanian. Dengan mengajukan pertanyaan seperti : “Apa yang akan terjadi jika saya memberikan lebih banyak pupuk ke area pertanian ini?” Prinsip-prinsip sederhana ini berjalan pada awal 1950-an. Para ilmuwan lain juga menggunakan prinsip ini pada uji klinis kedokteran. Pada tahun 1960-an dan 1970-an, konsep ini kemudian diadopsi oleh dunia marketing untuk menghitung validitas program pemasaran langsung (misalnya: apakah kartu pos atau surat untuk pelanggan tertarget akan menghasilkan lebih banyak penjualan?)

Untuk memulai A/B Testing, Anda dapat memulai dengan memutuskan apa yang ingin Anda uji. Contoh sederhana di dunia marketing digital adalah dengan menguji ukuran tombol subscribe di situs web Anda. Agar dapat berhasil, Anda perlu mengetahui bagaimana Anda ingin mengevalusi kinerjanya. Dalam hal ini misalnya metrik Anda adalah jumlah pengunjung yang mengklik tombol subscribe. Untuk melakukan uji ini, Anda perlu menunjukkan dua set 

Anda memulai pengujian A/B dengan memutuskan apa yang ingin Anda uji. Fung memberikan contoh sederhana: ukuran tombol berlangganan di situs web Anda. Maka Anda perlu tahu bagaimana Anda ingin mengevaluasi kinerjanya. Dalam hal ini, katakanlah metrik Anda adalah jumlah pengunjung yang mengklik tombol. Untuk menjalankan pengujian, Anda menunjukkan dua set pengguna (ditugaskan secara acak ketika mereka mengunjungi situs) versi yang berbeda (di mana satu-satunya yang berbeda adalah ukuran tombol) dan menentukan mana yang paling memengaruhi metrik keberhasilan Anda. Dalam hal ini, ukuran tombol mana yang menyebabkan lebih banyak pengunjung mengklik?

Dalam kehidupan nyata, ada banyak hal yang akan mempengaruhi seorang konsumen untuk mengklik. Misalnya, seorang pengguna yang menggunakan perangkat seluler mungkin cenderung akan mengklik ukuran tombol subscribe tertentu. Sedangkan yang menggunakan desktop bisa tertarik untuk menekan tombol dengan ukuran yang berbeda. Di sinilah pengacakan dapat membantu sekaligus juga sangat penting. Dengan mengacak pengguna mana, berada di grup mana, Anda akan meminimalkan kemungkin factor-faktor yang tidak dominan dan menghasilkan hasil uji yang lebih valid. 

Dalam melakukan A/B test, terdapat beberapa faktor yang dapat memengaruhi hasilnya.

1. Sampel

Dalam pengujian apapun, sampel memang selalu menjadi hal penting. Demikian pula dalam A/B Testing ini. Sampel sebaiknya memenuhi ukuran jumlah minimum agar data bisa dianggap valid. Untuk sebuah pengujian validitas inovasi, angka 100 responden biasanya bisa dianggap cukup untuk memenuhi penelitian awal. Yang tak kalah penting adalah bagaimana Anda memilih sampelnya. Apakah dipilih secara acak (random sampling) atau dengan kriteria tertentu (purposive sampling). Pastikan bahwa calon responden dipilih sesuai dengan kebutuhan data penelitiannya. 

2. Waktu

Waktu juga menjadi hal yang penting dalam A/B Testing. Apakah rentang waktu yang diperlukan saat pengujian sudah tepat maupun pemilihan waktunya. Selain itu, A/B Testing juga tidak dapat dilakukan jika waktunya tumpang tindih. Maksudnya, bila dalam satu periode ada pengujian A/B Testing, maka Anda tidak bisa melakukan A/B testing pada komponen lain yang dapat berpengaruh langsung. Misalkan dalam desain website, bila Anda sedang menguji komponen metode pembayaran, maka akan menjadi kurang baik apabila pada waktu yang bersamaan, Anda melakuan A/B testing untuk komponen checkout. Waktu juga perlu diperhatikan bila berkaitan dengan mobilitas. Pengujian saat peak season, bisa jadi akan berbeda hasil dengan pengujian saat low season. 

3. Sensitivitas

Dalam melakukan pengujian A/B, tentu Anda harus mengetahui terlebih dahulu seperti ukuran efek apa yang bisa diukur.

Hal ini bisa kamu ukur setelah mengetahui sampel dan waktu yang akan kamu gunakan untuk melakukan pengujian.

Melalui kedua hal itu, kamu dapat mengukur bagaimana akurasi dalam pengukurannya.

4. Metrik dan hipotesis

Faktor lain yang dapat memengaruhi A/B test adalah seperti metrik apa yang akan Anda gunakan dalam melakukannya.

Berkaitan dengan itu, hipotesis awal terhadap suatu permasalahan juga akan menjadi faktor yang memengaruhi hasil pengujian.

Penting untuk mengetahui hipotesis apa yang ingin diuji dari pengujian A/B dan menentukan metrik yang tepat untuk mencapai tujuan pengujian A/B tersebut.

Dalam melakukan A/B test, terdapat tiga tahapan yang harus kamu lewati, yaitu pre-A/B test, while A/B test, dan post-A/B test.

Tiap-tiap tahapan tersebut memiliki komponen yang berbeda yang perlu kamu perhatikan.

Tahap pra-A/B test

Pada tahapan pre-A/B test atau sebelum melakukan A/B test, terdapat beberapa hal yang perlu kamu persiapkan.

Hal pertama adalah bagaimana komunikasi dengan pemangku kepentingan. Maksudnya, pada tahapan ini kamu harus bisa mengetahui apa sebenarnya tujuan atau tujuan dari adanya pengujian A/B tersebut.

Setelah mengetahui tujuan, selanjutnya kamu dapat melakukan pra-analisis.

Pada fase ini, kamu akan menggunakan metode statistik untuk menentukan durasi yang dibutuhkan, siapa saja audiens yang sampel, serta seberapa besar ukuran efek yang dihasilkan.

Selain itu, pada pra-analisis juga ditentukan hipotesis seperti apa berdasarkan objektif yang diinginkan.

Tahap selama pengujian A/B

Selanjutnya pada saat pelaksanaan A/B test, kamu perlu mempersiapkan dashboard yang dibutuhkan untuk melaksanakannya pengujian ini.

Dashboard ini digunakan untuk mengatasi apakah tes A/B berjalan dengan baik.

Selain itu, hal tersebut berguna untuk menyatukan saat melakukan splitting sampel apakah splitting yang dilakukan sesuai dengan yang diharapkan.

Tahap setelah tes A/B

Pasca-analisis atau menganalisis hasil setelah dilakukan pengujian adalah bagian yang perlu diperhatikan dalam proses pengujian A/B.

Dengan ini, kamu akan mendapatkan data sebenarnya dari hasil yang diuji.

Analisis yang digunakan ini bisa berbeda dengan pra-analisis, mengandalkan pada besaran sampel yang diuji.

Jika sampel yang diuji kecil, saya biasanya menggunakan frequentist. Namun, jika sampel yang diuji besar, dapat digunakan metode Bayesian.

Kapan melakukan Pengujian A/B?

Uji A/B umumnya dilakukan ketika terdapat perubahan pada produk yang sudah ada.

Namun, hal tersebut tentu saja bergantung pada kebutuhan bisnis dan perkembangan timeline-nya.

Pastikan kamu tidak melakukan A/B test pada kampanye besar yang terjadi, atau menjelang libur panjang.

Setelah Anda melakukan pengujian A/B, Anda tidak perlu melakukan pengujian lanjutan apabila telah mendapatkan hasil yang signifikan.

Akan tetapi, jika muncul keraguan di tengah-tengah proses, kamu dapat melakukan pengujian ulang A/B.

Tips ini dapat berguna baik bagi perusahaan, maupun pelaku pengujian A/B.

1. Harus memiliki cara merumuskan hipotesis

Tak hanya bagi yang melakukan pengujian A/B, seseorang yang meminta tes tersebut juga harus memahami bagaimana perumusan suatu hipotesis.

Karena hipotesis dalam pengujian A/B merupakan faktor yang penting, mengetahui dasar perumusan hipotesis akan mempermudah komunikasi antara kedua pihak tersebut.

2. Harus mengetahui tujuan

Dengan mengetahui tujuan atau tujuan dari pengujian A/B, hipotesis yang dibuat serta hasil akhirnya akan terpengaruh.

3. Memahami metode statistika

Pengetahuan metode statistik adalah suatu keharusan, terutama bagi pengguna teknis.

Hal ini karena metode statistik merupakan hal yang menentukan bagaimana proses pengujian A/B dilakukan.

4. Memahami kesimpulan

Hal terakhir adalah kamu harus mengetahui bagaimana cara membuat kesimpulan terhadap hasil dari pengujian A/B tersebut.

Umum yang Sering Terjadi

Dalam pelaksanaannya, ternyata masih sering terjadi kesalahan-kesalahan umum dalam pengujian A/B.

Beberapa kesalahan yang sering ditemui dalam melakukan pengujian A/B adalah:

1. Waktu

Seperti yang disampaikan sebelumnya, pemilihan waktu ini akan memengaruhi hasil akhir.

Contoh dari hal ini adalah pemilihan waktu jelang liburan.

Pada saat liburan, tentu orang-orang akan mengunjungi situs penyedia layanan wisata.

Hal ini akan berdampak pada lalu lintas di situs web yang ujungnya akan memengaruhi perhitungan menjadi kurang akurat.

Selain itu, kesalahan pemilihan waktu ini bisa berupa pelaksanaan A/B test saat sedang dilakukan pengujian untuk komponen yang berkaitan.

Intinya, jangan melakukan A/B test saat ada event atau promo besar yang akan memengaruhi traffic.

Untuk itu, pastikan komunikasi dengan divisi lain agar tidak terjadi tumpang tindih.

2. Sampel yang dipilih

kesalahan umum yang menjadi tips dalam melakukan pengujian A/B lainnya adalah pemilihan sampel.

Perlu diingat bahwa syarat utama dalam memilih sampel dalam A/B test adalah sampel yang acak atau acak.

Oleh karena itu, pastikan sampel yang kamu pilih adalah hasil dari proses tersebut.

3. Mengakhiri pengujian terlalu cepat

Dalam banyak kasus, stakeholder sering kali menyelesaikan proses pengujian karena dianggap terlalu lama atau telah melihat hasil sementara yang memuaskan.

Padahal, uji coba A/B harus dilakukan sesuai periode waktu yang ditentukan sejak awal.

Oleh karena itu, pada tahap pre-A/B testing, perlu dilakukan analisis yang tepat mengenai waktu yang dibutuhkan.

4. tidak dilakukan secara bersamaan

Pada dasarnya, pengujian A/B bertujuan untuk mengetahui aset yang paling menunjukan tingkat konversi tertinggi.

Oleh karena itu, prosesnya harus dilakukan secara bersamaan.

5. Perumusan hipotesis

Kamu harus lebih berhati-hati dalam merumuskan hipotesis agar tidak terjadi kesalahan.

Jika terjadi kesalahan dalam merumuskan hipotesis, kamu harus mengulang proses tersebut untuk mendapatkan hasil yang akurat.

6. Adanya komponen yang overlapping

Tak hanya masalah waktu, overlapping juga tidak boleh terjadi saat pengujian suatu komponen.

Misal, tim marketing akan menguji mengenai penempatan banner, dan tim accommodation akan melakukan pengujian terhadap tampilan halaman awal.

Kedua hal tersebut melibatkan komponen pada landing page. Hal ini tentu harus dihindari dengan meningkatkan komunikasi antar divisi.