Optimizely Intelligence Cloud: Cara Menggunakan Stats Engine Untuk Menguji A/B Lebih Cerdas, Dan Lebih Cepat

Mesin Statistik Optimal dan Strategi Pengujian A/B

Jika Anda ingin menjalankan program eksperimen untuk membantu bisnis Anda menguji & belajar, kemungkinan besar Anda menggunakan Optimalkan Intelijen Cloud – atau setidaknya Anda pernah melihatnya. Optimizely adalah salah satu alat paling kuat dalam permainan, tetapi seperti alat semacam itu, Anda mungkin salah menggunakannya jika tidak memahami cara kerjanya. 

Apa yang membuat Optimizely begitu kuat? Inti dari rangkaian fiturnya terletak pada mesin statistik yang paling informatif dan intuitif dalam alat pihak ketiga, memungkinkan Anda lebih fokus untuk mendapatkan tes penting secara langsung – tanpa perlu khawatir bahwa Anda salah mengartikan hasil Anda. 

Sama seperti studi buta tradisional dalam kedokteran, Pengujian A / B akan secara acak menunjukkan berbeda perawatan situs Anda ke pengguna yang berbeda untuk kemudian membandingkan kemanjuran setiap pengobatan. 

Statistik kemudian membantu kami membuat kesimpulan tentang seberapa efektif pengobatan itu dalam jangka panjang. 

Sebagian besar alat pengujian A/B mengandalkan salah satu dari dua jenis inferensi statistik: Statistik Frequentist atau Bayesian. Setiap sekolah memiliki berbagai pro dan kontra – Statistik frequentist memerlukan ukuran sampel untuk ditetapkan sebelum menjalankan eksperimen, dan statistik Bayesian terutama peduli tentang membuat keputusan terarah yang baik daripada menentukan satu angka untuk dampak, untuk menyebutkan dua contoh. Kekuatan super Optimizely adalah satu-satunya alat yang ada di pasaran saat ini untuk digunakan terbaik dari kedua dunia Pendekatan.

Hasil akhirnya? Optimizely memungkinkan pengguna menjalankan eksperimen lebih cepat, lebih andal, dan lebih intuitif.

Namun, untuk memanfaatkannya sepenuhnya, penting untuk memahami apa yang terjadi di balik layar. Berikut adalah 5 wawasan dan strategi yang akan membuat Anda menggunakan kemampuan Optimizely seperti seorang profesional.

Strategi #1: Pahami Bahwa Tidak Semua Metrik Dibuat Sama

Di sebagian besar alat pengujian, masalah yang sering diabaikan adalah semakin banyak metrik yang Anda tambahkan dan lacak sebagai bagian dari pengujian Anda, semakin besar kemungkinan Anda melihat beberapa kesimpulan yang salah karena peluang acak (dalam statistik, ini disebut "masalah pengujian ganda). ”). Agar hasilnya tetap dapat diandalkan, Optimizely menggunakan serangkaian kontrol dan koreksi untuk menjaga kemungkinan hal itu terjadi serendah mungkin. 

Kontrol dan koreksi tersebut memiliki dua implikasi saat Anda menyiapkan pengujian di Optimizely. Pertama, metrik yang Anda tetapkan sebagai Metrik Utama akan mencapai signifikansi statistik tercepat, semua hal lainnya konstan. Kedua, semakin banyak metrik yang Anda tambahkan ke eksperimen, semakin lama waktu yang dibutuhkan metrik Anda selanjutnya untuk mencapai signifikansi statistik.

Saat merencanakan percobaan, pastikan Anda tahu metrik mana yang akan menjadi Utara Sejati Anda dalam proses pengambilan keputusan, jadikan itu sebagai Metrik Utama Anda. Kemudian, jaga agar sisa daftar metrik Anda tetap ramping dengan menghapus apa pun yang terlalu berlebihan atau tangensial.

Strategi #2: Bangun Atribut Kustom Anda Sendiri

Optimizely sangat bagus dalam memberi Anda beberapa cara menarik dan bermanfaat untuk mengelompokkan hasil eksperimen Anda. Misalnya, Anda dapat memeriksa apakah perawatan tertentu berperforma lebih baik di desktop vs. seluler, atau mengamati perbedaan di seluruh sumber lalu lintas. Namun, saat program eksperimen Anda matang, Anda akan segera menginginkan segmen baru – segmen ini mungkin khusus untuk kasus penggunaan Anda, seperti segmen untuk pembelian satu kali vs. langganan, atau secara umum seperti “pengunjung baru vs. kembali” (yang, terus terang, kami masih tidak tahu mengapa itu tidak disediakan di luar kotak).

Kabar baiknya adalah bahwa melalui bidang Javascript Proyek Optimizely, insinyur yang akrab dengan Optimizely dapat membuat sejumlah atribut khusus menarik yang dapat ditetapkan dan disegmentasikan oleh pengunjung. Di Cro Metrics, kami telah membuat sejumlah modul stok (seperti "pengunjung baru vs. kembali") yang kami pasang untuk semua klien kami melalui Javascript Proyek mereka. Memanfaatkan kemampuan ini adalah pembeda utama antara tim matang yang memiliki sumber daya teknis yang tepat untuk membantu mereka mengeksekusi, dan tim yang berjuang untuk mewujudkan potensi penuh eksperimen.

Strategi #3: Jelajahi Akselerator Statistik Optimizely

Salah satu fitur alat pengujian yang sering dilebih-lebihkan adalah kemampuan untuk menggunakan "bandit multi-senjata", sejenis algoritme pembelajaran mesin yang secara dinamis mengubah tempat lalu lintas Anda dialokasikan selama eksperimen, untuk mengirim sebanyak mungkin pengunjung ke "pemenang" variasi mungkin. Masalah dengan bandit multi-bersenjata adalah bahwa hasilnya bukan indikator kinerja jangka panjang yang dapat diandalkan, jadi kasus penggunaan untuk jenis eksperimen ini terbatas pada kasus yang sensitif terhadap waktu seperti promosi penjualan.

Namun, secara optimal, memiliki jenis algoritme bandit berbeda yang tersedia untuk pengguna dengan paket yang lebih tinggi – Stats Accelerator (sekarang dikenal sebagai opsi “Mempercepat Pembelajaran” di dalam Bandit). Dalam penyiapan ini, alih-alih mencoba mengalokasikan lalu lintas secara dinamis ke variasi berperforma tertinggi, Secara dinamis mengalokasikan lalu lintas ke variasi yang paling mungkin mencapai signifikansi statistik paling cepat. Dengan cara ini, Anda dapat belajar lebih cepat, dan mempertahankan replikabilitas hasil pengujian A/B tradisional.

Strategi #4: Tambahkan Emoji ke Nama Metrik Anda

Sekilas, ide ini mungkin terdengar tidak pada tempatnya, bahkan tidak masuk akal. Namun, aspek kunci untuk memastikan Anda membaca hasil eksperimen yang benar dimulai dengan memastikan bahwa audiens Anda dapat memahami pertanyaannya. 

Terkadang terlepas dari upaya terbaik kami, nama metrik dapat membingungkan (tunggu – apakah metrik tersebut aktif saat pesanan diterima, atau saat pengguna membuka halaman terima kasih?), atau eksperimen memiliki begitu banyak metrik yang menggulir ke atas dan ke bawah hasilnya halaman mengarah ke total kognitif yang berlebihan.

Menambahkan emoji ke nama metrik Anda (target, tanda centang hijau, bahkan kantong uang besar dapat berfungsi) dapat menghasilkan halaman yang jauh lebih dapat dipindai. 

Percayalah pada kami – membacakan hasil akan terasa jauh lebih mudah.

Strategi #5: Pertimbangkan kembali Tingkat Signifikansi Statistik Anda

Hasil dianggap konklusif dalam konteks eksperimen Optimizely jika sudah tercapai signifikansi statistik. Signifikansi statistik adalah istilah matematika yang sulit, tetapi pada dasarnya probabilitas bahwa pengamatan Anda adalah hasil dari perbedaan nyata antara dua populasi, dan bukan hanya kebetulan acak. 

Tingkat signifikansi statistik yang dilaporkan Optimizely adalah "selalu valid" berkat konsep matematika yang disebut pengujian berurutan – ini sebenarnya membuatnya jauh lebih andal daripada alat pengujian lainnya, yang rentan terhadap segala macam masalah "mengintip" jika Anda membacanya terlalu cepat.

Sebaiknya pertimbangkan tingkat signifikansi statistik yang Anda anggap penting untuk program pengujian Anda. Sementara 95% adalah konvensi di komunitas ilmiah, kami sedang menguji perubahan situs web, bukan vaksin. Pilihan umum lainnya di dunia eksperimental: 90%. Namun, apakah Anda bersedia menerima sedikit ketidakpastian untuk menjalankan eksperimen lebih cepat dan menguji lebih banyak ide? Bisakah Anda menggunakan signifikansi statistik 85% atau bahkan 80%? Menjadi disengaja tentang saldo risiko-hadiah Anda dapat membayar dividen eksponensial dari waktu ke waktu, jadi pikirkan ini dengan hati-hati.

Baca Lebih Lanjut Tentang Optimizely Intelligence Cloud

Lima prinsip dan wawasan singkat ini akan sangat membantu untuk diingat saat menggunakan Optimizely. Seperti halnya alat apa pun, intinya adalah memastikan bahwa Anda memiliki pemahaman yang baik tentang semua penyesuaian di balik layar, sehingga Anda dapat memastikan bahwa Anda menggunakan alat tersebut secara efisien dan efektif. Dengan pemahaman ini, Anda bisa mendapatkan hasil andal yang Anda cari, saat Anda membutuhkannya. 

Bagaimana menurut Anda?

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.