Penilaian Marcom: Sebuah Alternatif untuk Pengujian A / B
Jadi kami selalu ingin tahu caranya marcom (komunikasi pemasaran) dilakukan, baik sebagai kendaraan maupun untuk kampanye individu. Dalam mengevaluasi marcom, biasanya menggunakan pengujian A / B sederhana. Ini adalah teknik di mana pengambilan sampel acak mengisi dua sel untuk perlakuan kampanye.
Satu sel mendapatkan tes dan sel lainnya tidak. Kemudian tingkat respons atau pendapatan bersih dibandingkan antara dua sel. Jika sel pengujian mengungguli sel kontrol (dalam parameter pengujian peningkatan, keyakinan, dll.), Kampanye dianggap signifikan dan positif.
Mengapa Melakukan Sesuatu yang Lain?
Namun, prosedur ini kurang menghasilkan wawasan. Ini tidak mengoptimalkan apa pun, dilakukan dalam ruang hampa, tidak memberikan implikasi untuk strategi dan tidak ada kontrol untuk rangsangan lain.
Kedua, terlalu sering, pengujian tercemar karena setidaknya satu sel secara tidak sengaja menerima tawaran lain, pesan merek, komunikasi, dll. Berapa kali hasil pengujian dianggap tidak meyakinkan, bahkan tidak masuk akal? Jadi mereka menguji lagi dan lagi. Mereka tidak belajar apa-apa, kecuali bahwa pengujian tidak berhasil.
Itu sebabnya saya merekomendasikan menggunakan regresi biasa untuk mengontrol semua rangsangan lainnya. Pemodelan regresi juga memberikan wawasan tentang penilaian marcom yang dapat menghasilkan ROI. Ini tidak dilakukan dalam kekosongan, tetapi memberikan opsi sebagai portofolio untuk mengoptimalkan anggaran.
Sebuah Contoh
Katakanlah kita sedang menguji dua email, tes vs. kontrol dan hasilnya kembali tidak masuk akal. Kemudian kami menemukan bahwa departemen merek kami secara tidak sengaja mengirim potongan surat langsung ke (kebanyakan) grup kontrol. Bagian ini tidak direncanakan (oleh kami) atau diperhitungkan dalam memilih sel uji secara acak. Artinya, grup bisnis-seperti-biasa mendapat surat langsung biasa tetapi grup uji-yang diadakan-tidak. Ini sangat khas dalam sebuah perusahaan, di mana satu kelompok tidak bekerja atau berkomunikasi dengan unit bisnis lain.
Jadi, alih-alih menguji di mana setiap baris adalah pelanggan, kami menggulung data berdasarkan periode waktu, misalnya mingguan. Kami menambahkan, berdasarkan minggu, jumlah email uji, email kontrol, dan email langsung yang dikirim. Kami juga menyertakan variabel biner untuk memperhitungkan musim, dalam hal ini setiap triwulan. TABEL 1 menunjukkan daftar sebagian dari agregat dengan pengujian email yang dimulai pada minggu 10. Sekarang kami melakukan model:
Model regresi biasa seperti yang dirumuskan di atas menghasilkan keluaran TABEL 2. Sertakan variabel independen lain yang menarik. Perhatian khusus harus diperhatikan bahwa harga (bersih) dikecualikan sebagai variabel independen. Ini karena pendapatan bersih adalah variabel dependen dan dihitung sebagai (bersih) harga * kuantitas.
TABEL 1
minggu | em_test | em_cntrl | dir_mail | net_rev | |||
---|---|---|---|---|---|---|---|
9 | 0 | 0 | 55 | 1 | 0 | 0 | $1,950 |
10 | 22 | 35 | 125 | 1 | 0 | 0 | $2,545 |
11 | 23 | 44 | 155 | 1 | 0 | 0 | $2,100 |
12 | 30 | 21 | 75 | 1 | 0 | 0 | $2,675 |
13 | 35 | 23 | 80 | 1 | 0 | 0 | $2,000 |
14 | 41 | 37 | 125 | 0 | 1 | 0 | $2,900 |
15 | 22 | 54 | 200 | 0 | 1 | 0 | $3,500 |
16 | 0 | 0 | 115 | 0 | 1 | 0 | $4,500 |
17 | 0 | 0 | 25 | 0 | 1 | 0 | $2,875 |
18 | 0 | 0 | 35 | 0 | 1 | 0 | $6,500 |
Untuk memasukkan harga sebagai variabel independen berarti memiliki harga di kedua sisi persamaan, yang tidak tepat. (Buku saya, Analisis Pemasaran: Panduan Praktis untuk Ilmu Pemasaran Nyata, memberikan contoh ekstensif dan analisis masalah analitik ini.) R2 yang disesuaikan untuk model ini adalah 64%. (Saya menjatuhkan q4 untuk menghindari jebakan dummy.) Emc = control email dan emt = test email. Semua variabel signifikan pada tingkat 95%.
TABEL 2
dm | dll. | EMT | const | ||||
---|---|---|---|---|---|---|---|
kopi | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
st salah | 474.1 | 487.2 | 828.1 | 2.5 | 22.4 | 30.8 | |
rasio-t | -2 | -2.88 | -2.77 | 4.85 | 1.97 | 2.49 |
Dalam hal pengujian email, email pengujian mengungguli email kontrol dengan 77 vs 44 dan jauh lebih signifikan. Jadi, memperhitungkan hal-hal lain, email uji berfungsi. Wawasan ini datang bahkan saat datanya tercemar. Tes A / B tidak akan menghasilkan ini.
TABEL 3 mengambil koefisien untuk menghitung penilaian marcomm, kontribusi masing-masing kendaraan dalam hal pendapatan bersih. Artinya, untuk menghitung nilai direct mail, koefisien 12 dikalikan dengan mean jumlah direct mail yang dikirim 109 untuk mendapatkan $ 1,305. Pelanggan membelanjakan rata-rata $ 4,057. Jadi $ 1,305 / $ 4,057 = 26.8%. Artinya, direct mail menyumbang hampir 27% dari total pendapatan bersih. Dalam hal ROI, 109 surat langsung menghasilkan $ 1,305. Jika katalog harganya $ 45 maka ROI = ($ 1,305 - $ 55) / $ 55 = 2300%!
Karena harga bukan variabel bebas, biasanya disimpulkan bahwa dampak harga terkubur dalam konstanta. Dalam hal ini konstanta 5039 termasuk harga, variabel lain yang hilang dan kesalahan acak, atau sekitar 83% dari pendapatan bersih.
TABEL 3
dm | dll. | EMT | const | ||||
---|---|---|---|---|---|---|---|
koefisien | -949 | -1,402 | -2,294 | 12 | 44 | 77 | 5,039 |
berarti | 0.37 | 0.37 | 0.11 | 109.23 | 6.11 | 4.94 | 1 |
$4,875 | - $ 352 | - $ 521 | - $ 262 | $1,305 | $269 | $379 | $4,057 |
nilai | -7.20% | -10.70% | -5.40% | 26.80% | 5.50% | 7.80% | 83.20% |
Kesimpulan
Regresi biasa menawarkan alternatif untuk memberikan wawasan dalam menghadapi data kotor, seperti yang sering terjadi dalam skema pengujian perusahaan. Regresi juga memberikan kontribusi terhadap pendapatan bersih serta kasus bisnis untuk ROI. Regresi biasa adalah teknik alternatif dalam hal penilaian marcomm.