Aplikasi: Cara Menjalankan Uji Multivariat (Kalkulator Ukuran Sampel MVT)

Dua metodologi pengujian pemasaran digital dan pengoptimalan pengalaman pengguna adalah Pengujian A / B dan pengujian multivariat (MVT). Kedua pendekatan tersebut bertujuan untuk meningkatkan kinerja situs web, tetapi berbeda dalam hal kompleksitas dan cakupan. Artikel ini akan menjelaskan masing-masing metode, membandingkan kekuatan dan kelemahan, serta memandu penerapan pengujian multivariat.

Jika Anda mencari cara menjalankan pengujian A/B, kami telah menerbitkan artikel tersebut dan kalkulator yang diperlukan juga.

Cara Menjalankan Pengujian A/B

Skenario Dunia Nyata: MVT Mengungguli Pengujian A/B

Mari kita pertimbangkan a B2B perusahaan perangkat lunak yang menawarkan alat manajemen proyek. Perusahaan ingin mengoptimalkan halaman permintaan demo untuk meningkatkan jumlah pendaftaran demo. Mereka memutuskan untuk menguji elemen-elemen berikut:

1. Membintangi
2. Gambar
3. Ajakan Bertindak (CTA) Tombol

Pendekatan Pengujian A/B

Perusahaan pertama-tama melakukan pengujian A/B terpisah untuk setiap elemen:

Berdasarkan pengujian A/B ini, perusahaan akan menerapkan versi pemenang: “Meningkatkan Produktivitas Tim hingga 30%” judul, tangkapan layar dasbor perangkat lunak, dan tombol CTA “Minta Demo”. Efek gabungan tersebut dapat menghasilkan peningkatan pendaftaran demo sebesar 10%.

Pendekatan Pengujian Multivariat

Sekarang, mari kita lihat bagaimana pengujian multivariat dapat menghasilkan hasil yang berbeda. Perusahaan menyiapkan MVT dengan variasi berikut:

Ini menciptakan delapan kemungkinan kombinasi (2 x 2 x 2). Setelah menjalankan pengujian, berikut hasilnya:

Sampel

MVT mengungkapkan bahwa kombinasi Meningkatkan Produktivitas Tim hingga 30% (H2), citra tim bisnis (I2), dan Mulai Uji Coba Gratis (C2) menghasilkan hasil terbaik, dengan 18% meningkat dalam pendaftaran demo. Hasil ini berbeda dari apa yang disarankan pengujian A/B dalam dua hal utama:

• Citra tim bisnis tampil lebih baik jika dipadukan dengan tajuk utama yang berfokus pada produktivitas meskipun kalah dalam pengujian A/B individual. Hal ini menunjukkan adanya efek interaksi antara tajuk utama dan citra yang tidak tertangkap dalam pengujian A/B.
• The Mulai Uji Coba Gratis CTA berfungsi paling baik dalam kombinasi ini, meskipun kalah dalam pengujian A/B individual.

Peningkatan keseluruhan (18%) secara signifikan lebih tinggi daripada yang mungkin diharapkan dari sekadar menggabungkan elemen pemenang dari pengujian A/B (sekitar 10%).

Penjelasan

Sinergi antara elemen-elemen dalam kombinasi yang unggul dapat dijelaskan sebagai berikut:

• The Meningkatkan Produktivitas Tim hingga 30% Judul berita memberikan janji yang kuat dan terukur yang menarik bagi para pengambil keputusan bisnis.
• Citra tim bisnis memperkuat gagasan peningkatan produktivitas dan kerja sama tim, membuat janji lebih nyata dan dapat diterima.
• The Mulai Uji Coba Gratis CTA menurunkan hambatan masuk dibandingkan dengan Hubungi Kami, yang memungkinkan calon pelanggan merasakan peningkatan produktivitas secara langsung tanpa harus menjadwalkan demo.

Kombinasi ini secara efektif menceritakan kisah yang kohesif: berikut ini adalah peningkatan produktivitas yang signifikan (judul) yang dapat Anda lihat bermanfaat bagi tim Anda (gambar), dan Anda dapat mulai mengalaminya segera tanpa komitmen apa pun (CTA).

Skenario ini menunjukkan bagaimana pengujian multivariat dapat mengungkap kombinasi elemen yang kuat yang mungkin terlewatkan dengan pengujian A/B saja. Dengan menguji elemen-elemen ini bersama-sama, perusahaan menemukan efek sinergis yang menghasilkan hasil yang lebih baik daripada mengoptimalkan setiap elemen secara individual. Hal ini menggarisbawahi nilai MVT dalam mengidentifikasi bagaimana berbagai elemen halaman bekerja sama untuk memengaruhi perilaku pengguna dan mendorong konversi dalam konteks B2B.

Kompleksitas Pengujian Multivariat

Pengujian multivariat pada hakikatnya lebih rumit daripada pengujian A/B karena beberapa alasan:

• Beberapa Variabel: MVT menguji beberapa perubahan secara bersamaan, yang meningkatkan jumlah kemungkinan kombinasi secara eksponensial.
• Ukuran Sampel yang Lebih Besar: Karena meningkatnya jumlah variasi, MVT memerlukan ukuran sampel yang lebih besar untuk mencapai signifikansi statistik.
• Durasi Lebih Panjang: Pengujian MVT biasanya berjalan lebih lama daripada pengujian A/B karena persyaratan ukuran sampel yang lebih signifikan.
• Analisis yang Lebih Kompleks:Menafsirkan hasil MVT dapat menjadi tantangan, karena Anda perlu memahami bagaimana berbagai elemen berinteraksi satu sama lain.
• Sumber Daya Intensif:Membuat dan mengelola banyak variasi memerlukan lebih banyak waktu, upaya, dan seringkali memerlukan alat khusus.

Keuntungan Pengujian Multivariat

Meskipun rumit, pengujian multivariat menawarkan beberapa keuntungan signifikan:

• Optimasi Holistik: MVT memungkinkan Anda mengoptimalkan beberapa elemen halaman secara bersamaan, memberikan tampilan yang lebih komprehensif tentang apa yang mendorong kinerja.
• Efek Interaksi: Salah satu manfaat utama MVT adalah kemampuannya untuk mengungkap bagaimana berbagai elemen bekerja bersama. Hal ini dapat mengungkap sinergi antara elemen yang mungkin tidak terlihat dalam pengujian A/B yang terpisah.
• Pengujian yang Efisien:Meskipun pengujian MVT individual mungkin memakan waktu lebih lama, pengujian tersebut berpotensi menggantikan beberapa pengujian A/B berurutan, sehingga menghemat waktu dalam jangka panjang.
• Wawasan Bernuansa: MVT dapat memberikan wawasan lebih rinci tentang preferensi dan perilaku pengguna, membantu Anda menyempurnakan desain dan strategi konten.

Proses untuk Pengujian Multivariat

Berikut adalah proses langkah demi langkah untuk melakukan pengujian multivariat:

1. Mengidentifikasi Variabel: Tentukan elemen mana di halaman yang ingin Anda uji. Elemen umum meliputi judul, gambar, ajakan bertindak, dan tata letak.
2. Buat Variasi: Untuk setiap elemen, buat versi alternatif. Ingat, jumlah total kombinasi akan menjadi hasil perkalian jumlah variasi setiap elemen.
3. Siapkan Tes: Gunakan alat pengujian multivarian untuk menyiapkan pengujian Anda. Ini melibatkan pembuatan berbagai kombinasi dan pengaturan aturan untuk alokasi lalu lintas.
4. Tentukan Ukuran Sampel: Hitung ukuran sampel yang dibutuhkan untuk mencapai signifikansi statistik. Hal ini akan bergantung pada jumlah variasi dan tingkat keyakinan yang Anda inginkan.

Kalender Ukuran Sampel Pengujian Multivariat

5. Jalankan Tes: Luncurkan pengujian Anda dan biarkan berjalan hingga mencapai ukuran sampel yang diperlukan atau batas waktu yang telah ditentukan sebelumnya.
6. Analisis Hasil: Gunakan alat pengujian Anda untuk menganalisis kinerja berbagai kombinasi. Cari kombinasi yang unggul dan wawasan tentang interaksi elemen.
7. Implementasi dan Iterasi: Terapkan kombinasi pemenang pada halaman aktif Anda dan gunakan wawasan yang diperoleh untuk menginformasikan pengujian mendatang.

Alat untuk Pengujian Multivariat

Beberapa alat dapat membantu pengujian multivariat:

• Target Adobe: Bagian dari Adobe Experience Cloud, menyediakan fitur pengujian dan personalisasi yang tangguh.
• Optimizely: Platform eksperimen komprehensif yang mendukung pengujian multivariat tingkat lanjut.
• Unbounce:Meskipun utamanya dikenal untuk halaman arahan, Unbounce juga menawarkan fitur pengujian multivariasi.
• VWO (Pengoptimal Situs Web Visual): Menawarkan antarmuka yang mudah digunakan untuk menyiapkan dan menganalisis pengujian multivariat.

Meskipun pengujian A/B lebih mudah dan cepat diterapkan, pengujian multivarian menawarkan pendekatan pengoptimalan yang lebih komprehensif. Dengan memahami kekuatan dan keterbatasan masing-masing metode, Anda dapat memilih strategi pengujian yang tepat untuk kebutuhan dan sumber daya spesifik Anda.