Penilaian Marcom: Sebuah Alternatif untuk Pengujian A / B

lingkup dimensi

Jadi kami selalu ingin tahu caranya marcom (komunikasi pemasaran) dilakukan, baik sebagai kendaraan maupun untuk kampanye individu. Dalam mengevaluasi marcom, biasanya menggunakan pengujian A / B sederhana. Ini adalah teknik di mana pengambilan sampel acak mengisi dua sel untuk perlakuan kampanye.

Satu sel mendapatkan tes dan sel lainnya tidak. Kemudian tingkat respons atau pendapatan bersih dibandingkan antara dua sel. Jika sel pengujian mengungguli sel kontrol (dalam parameter pengujian peningkatan, keyakinan, dll.), Kampanye dianggap signifikan dan positif.

Mengapa Melakukan Sesuatu yang Lain?

Namun, prosedur ini kurang menghasilkan wawasan. Ini tidak mengoptimalkan apa pun, dilakukan dalam ruang hampa, tidak memberikan implikasi untuk strategi dan tidak ada kontrol untuk rangsangan lain.

Kedua, terlalu sering, pengujian tercemar karena setidaknya satu sel secara tidak sengaja menerima tawaran lain, pesan merek, komunikasi, dll. Berapa kali hasil pengujian dianggap tidak meyakinkan, bahkan tidak masuk akal? Jadi mereka menguji lagi dan lagi. Mereka tidak belajar apa-apa, kecuali bahwa pengujian tidak berhasil.

Itu sebabnya saya merekomendasikan menggunakan regresi biasa untuk mengontrol semua rangsangan lainnya. Pemodelan regresi juga memberikan wawasan tentang penilaian marcom yang dapat menghasilkan ROI. Ini tidak dilakukan dalam kekosongan, tetapi memberikan opsi sebagai portofolio untuk mengoptimalkan anggaran.

Sebuah Contoh

Katakanlah kita menguji dua email, test vs. control dan hasilnya tidak masuk akal. Kemudian kami menemukan bahwa departemen merek kami secara tidak sengaja mengirim potongan surat langsung ke (kebanyakan) grup kontrol. Bagian ini tidak direncanakan (oleh kami) atau diperhitungkan dalam memilih sel uji secara acak. Artinya, grup bisnis-seperti-biasa mendapat surat langsung biasa tetapi grup uji-yang diadakan-tidak. Ini sangat khas dalam sebuah perusahaan, di mana satu kelompok tidak bekerja atau berkomunikasi dengan unit bisnis lain.

Jadi, alih-alih menguji di mana setiap baris adalah pelanggan, kami menggulung data berdasarkan periode waktu, misalnya mingguan. Kami menambahkan, berdasarkan minggu, jumlah email uji, email kontrol, dan email langsung yang dikirim. Kami juga menyertakan variabel biner untuk memperhitungkan musim, dalam hal ini setiap triwulan. TABEL 1 menunjukkan daftar sebagian dari agregat dengan pengujian email yang dimulai pada minggu 10. Sekarang kami melakukan model:

net \ _rev = f (em \ _test, em \ _cntrl, dir \ _mail, q_1, q_2, q_3, dll.)

Model regresi biasa seperti yang dirumuskan di atas menghasilkan keluaran TABEL 2. Sertakan variabel independen lain yang menarik. Perhatian khusus harus diperhatikan bahwa harga (bersih) dikecualikan sebagai variabel independen. Ini karena pendapatan bersih adalah variabel dependen dan dihitung sebagai (bersih) harga * kuantitas.

TABEL 1

minggu em_test em_cntrl dir_mail q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

Untuk memasukkan harga sebagai variabel independen berarti memiliki harga di kedua sisi persamaan, yang tidak tepat. (Buku saya, Analisis Pemasaran: Panduan Praktis untuk Ilmu Pemasaran Nyata, memberikan contoh ekstensif dan analisis masalah analitik ini.) R2 yang disesuaikan untuk model ini adalah 64%. (Saya menjatuhkan q4 untuk menghindari jebakan dummy.) Emc = control email dan emt = test email. Semua variabel signifikan pada tingkat 95%.

TABEL 2

q_3 q_2 q_1 dm emc EMT const
kopi -949 -1,402 -2,294 12 44 77 5,039
st err 474.1 487.2 828.1 2.5 22.4 30.8
rasio-t -2 -2.88 -2.77 4.85 1.97 2.49

Dalam hal pengujian email, email pengujian mengungguli email kontrol dengan 77 vs 44 dan jauh lebih signifikan. Jadi, memperhitungkan hal-hal lain, email uji berfungsi. Wawasan ini datang bahkan saat datanya tercemar. Tes A / B tidak akan menghasilkan ini.

TABEL 3 mengambil koefisien untuk menghitung penilaian marcomm, kontribusi masing-masing kendaraan dalam hal pendapatan bersih. Artinya, untuk menghitung nilai direct mail, koefisien 12 dikalikan dengan mean jumlah direct mail yang dikirim 109 untuk mendapatkan $ 1,305. Pelanggan membelanjakan rata-rata $ 4,057. Jadi $ 1,305 / $ 4,057 = 26.8%. Artinya, direct mail menyumbang hampir 27% dari total pendapatan bersih. Dalam hal ROI, 109 surat langsung menghasilkan $ 1,305. Jika katalog harganya $ 45 maka ROI = ($ 1,305 - $ 55) / $ 55 = 2300%!

Karena harga bukan variabel independen, maka biasanya disimpulkan bahwa pengaruh harga terkubur dalam konstanta. Dalam hal ini, konstanta 5039 mencakup harga, variabel lain yang hilang, dan kesalahan acak, atau sekitar 83% dari pendapatan bersih.

TABEL 3

q_3 q_2 q_1 dm emc EMT const
koefisien -949 -1,402 -2,294 12 44 77 5,039
berarti 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $ 352 - $ 521 - $ 262 $ 1,305 $ 269 $ 379 $ 4,057
nilai -7.20% -10.70% -5.40% 26.80% 5.50% 7.80% 83.20%

Kesimpulan

Regresi biasa menawarkan alternatif untuk memberikan wawasan dalam menghadapi data kotor, seperti yang sering terjadi dalam skema pengujian perusahaan. Regresi juga memberikan kontribusi terhadap pendapatan bersih serta kasus bisnis untuk ROI. Regresi biasa adalah teknik alternatif dalam hal penilaian marcomm.

ir? t = blog pemasaran 20 & l = as2 & o = 1 & a = 0749474173

2 Komentar

  1. 1

    Alternatif yang bagus untuk masalah praktis, Mike.
    Seperti yang telah Anda lakukan, saya kira tidak ada komunikator target yang tumpang tindih dalam beberapa minggu sebelumnya. Jika tidak, apakah Anda akan memiliki komponen auto-regresif dan / atau jeda waktu?

  2. 2

Bagaimana menurut Anda?

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.