“Mari kita berhenti menggunakan NPS”

“Mari kita berhenti menggunakan NPS”

Daftar Isi

Apa postingan ini?

Dalam postingan ini, saya berharap dapat meyakinkan perusahaan dan investor untuk berhenti menggunakan Net Promoter Score (NPS) sebagai KPI. NPS pada dasarnya gagal pada dua dimensi: pertama, tidak banyak bicara. Kedua, ia menderita jumlah varians yang tidak masuk akal, yang membuat interpretasi berpotensi menyesatkan.

NPS tidak mengatakan sesuatu yang sangat berguna.

Untuk memahami apa yang membuat metrik bisnis buruk, saya merasa terbantu dengan menetapkan dua prinsip pengorganisasian yang mencirikan metrik bisnis yang efektif.

    Metrik bisnis yang efektif adalah masukan (bahkan secara tidak langsung) ke arus kas bebas.

Saya suka membayangkan semua metrik bisnis diatur dalam piramida. Di bagian atas piramida terdapat arus kas bebas. Itu karena, tidak termasuk inisiatif tanggung jawab sosial, generasi arus kas bebas jangka panjang adalah hasil akhir. Itu sebabnya bisnis ada. Segala sesuatu yang lain adalah input atau tidak relevan.Di bawah arus kas bebas, kita dapat membayangkan input diatur secara hierarkis. Misalnya, mungkin lapisan pertama memiliki “hal-hal yang memasukkan uang tunai ke dalam bisnis” dan kemudian “hal-hal yang mengeluarkan uang tunai dari bisnis.” Kemudian saat kita masuk ke lapisan yang lebih dalam, kita menemukan metrik operasional yang lebih familiar, misalnya CAC, churn, harga jual rata-rata, tingkat lampiran, dll. Sangat mudah untuk dilupakan — satu-satunya alasan hal-hal ini penting karena mereka membantu menentukan arus kas bebas (bahkan jika FCF ditangguhkan selama bertahun-tahun!).Anda harus menyipitkan mata untuk melihat bagaimana peta NPS untuk menghasilkan arus kas bebas lebih ketat daripada metrik alternatif.Pertahanan NPS yang paling masuk akal yang saya dapatkan secara kasar mematuhi dua tema. Pertama: bahwa NPS penting karena itu adalah berkorelasi pertumbuhan, kedua: bahwa itu adalah ukuran kepuasan pelanggan yang membantu, yang pada gilirannya memprediksi retensi.Dalam kedua kasus, saya tergoda untuk bertanya-tanya mengapa perusahaan tidak melakukan pekerjaan untuk menemukan metrik internal yang dirancang khusus untuk produk mereka sendiri dan pelanggan mereka sendiri paling tidak, Anda dapat menguraikan dimensi kepuasan pelanggan dalam berbagai pertanyaan. (Alasan yang paling menjengkelkan — dan sejauh ini yang paling umum — perusahaan tampaknya mengukur NPS adalah karena standar, tetapi yang lebih penting adalah semua orang melakukannya

    . Yang bagus untuk benchmarking sekali pakai, tapi bukan dasar yang baik untuk KPI internal.)

      Metrik bisnis yang efektif memiliki interpretasi yang jelas yang menginformasikan keputusan.Sebagian besar metrik bisnis memiliki interpretasi yang cukup jelas. Misalnya, kita dapat memodelkan konsekuensi dari peningkatan 10% dalam CAC, dan kita dapat menebak secara intuitif mengapa hal itu bisa terjadi. Sangat sulit untuk menebak apa yang terjadi ketika NPS Anda meningkat dari +0 menjadi +10. Apakah pertumbuhan Anda akan meningkat? Berapa banyak? Kapan? Apakah itu berbeda dengan peningkatan NPS Anda dari +10 menjadi +20? Jika demikian, berapa banyak? Metrik apa lagi — jika ada — yang biasanya akan bergerak saat itu terjadi?Ambiguitas NPS membuatnya sangat sulit untuk memahami inputnya. Jika NPS berkurang dari +10 menjadi +0, Anda pasti bertanya-tanya mengapa. Apakah itu benar-benar mewakili pengalaman pengguna yang berkurang? Yang terpenting, tidak realistis untuk menetapkan tujuan NPS. Jika saya tidak dapat memberi tahu Anda implikasi bisnis dari +25 NPS , dan jika saya tidak dapat mengetahui input yang relevan (yaitu sumber daya) untuk mencapainya, atas dasar apa saya dapat menetapkan +25 NPS sebagai tujuan? Jika saya tidak dapat menetapkan tujuan yang bijaksana untuk NPS, menggunakannya sebagai KPI membuat saya secara ambigu menuntut agar itu bergerak ke atas dan ke kanan dari waktu ke waktu. Akibatnya, kita memiliki interpretasi biner yang kabur — entah itu semakin buruk atau semakin baik dari waktu ke waktu — yang tidak cocok untuk organisasi berkinerja tinggi.

      NPS tidak praktis sensitif.

      Kita bisa bolak-balik tentang manfaat teoretis NPS, tetapi saya pikir akan lebih membantu untuk menunjukkan contoh simulasi tentang bagaimana kesalahannya. (Saya telah melihat banyak dari ini secara langsung, sebagian besar dalam waktu saya sebagai konsultan uji tuntas ekuitas swasta. Tapi saya pikir cara terbaik untuk menunjukkannya adalah melalui simulasi.)

      Saya mensimulasikan NPS menggunakan struktur umum berikut:

        Asumsikan distribusi dasar untuk kecenderungan pelanggan untuk merekomendasikan produk atau layanan Anda kepada teman atau kolega.

      Mensimulasikan survei NPS sebagai responden yang mengambil sampel secara acak dari distribusi yang mendasari .

    Untuk setiap responden survei NPS, asumsikan mereka memberikan jawaban yang rata-rata benar, tetapi tetap diambil sampelnya dengan beberapa varians.

Ubah jawaban responden pada setiap survei NPS menjadi skor NPS tunggal.

Simulasikan beberapa survei NPS dan bandingkan hasil skor satu NPS mereka (ingat bahwa setiap survei akan mengambil sampel dari distribusi dasar yang sama).

1. Distribusi yang mendasari

Sebagai titik awal, saya menganggap distribusi yang mendasarinya adalah (pada dasarnya) distribusi beta, kecuali saya mengonversinya ke distribusi diskrit untuk kesederhanaan. Perhatikan bahwa saya menetapkan probabilitas untuk setiap nilai dalam himpunan {0.00, 0.01 … 9.98, 9.99, 10.0} yang ditentukan oleh parameter bentuk dari distribusi beta.build_truncated_distribution

2. Pengambilan sampel dari distribusi

Mengingat distribusi itu, saya mengambil sampel beberapa undian. Sekali lagi, masing-masing akan memiliki 3 digit signifikan sehingga kami mempertahankan beberapa bentuk distribusi yang mendasarinya dalam sampel besar.

draw_sample_from_distribution  
3. Mengonversi ke respons survei

Kemudian, untuk setiap sampel dari distribusi yang mendasarinya, saya mensimulasikan respons survei NPS yang akan terjadi . Dalam hal ini, saya hanya menambahkan istilah kesalahan terdistribusi normal dengan rata-rata 0. Intinya, saya berasumsi orang secara akurat melaporkan kemungkinan mendasar mereka untuk merekomendasikan produk pada survei rata-rata, tetapi dengan sedikit keacakan untuk seorang individu. Saya juga mengatakan bahwa kesalahan acak tidak berkorelasi dengan kemungkinan mendasar responden untuk merekomendasikan.Kami harus menyadari pada titik ini bahwa kami telah memperkenalkan dua sumber varians : pertama, kesalahan pengambilan sampel; dan kedua, kesalahan pelaporan di tingkat individu.

convert_sample_to_survey_score  10) { new_val 
3. Mengkonversi ke skor NPS

Lalu saya cukup menghitung skor NPS.
convert_sample_to_NPS_score =9){ count_promoters 
3. Simulasikan undian yang berbeda

Lalu saya ulangi prosesnya beberapa kalipull_n_NPS_draws 
Ini memberi kita beberapa hasil yang berguna.

Pertama, mari kita lihat ini seperti kebanyakan perusahaan, dalam praktiknya.  Disini saya ambil 24 undian dari 50 responden;  ingat bahwa masing-masing dari 24 mengambil sampel distribusi yang sama (distribusi beta di mana alfa adalah 5 dan beta adalah 2 — dengan kesalahan respons survei ~N(0, 9/16)).  Sekarang bayangkan Anda seorang eksekutif.  Anda telah meminta tim untuk melacak NPS dari bulan ke bulan sebagai KPI pengalaman pelanggan Anda.  Anda melihat grafik seperti ini.  Anda mungkin tergoda untuk mengatakan sesuatu seperti “pelanggan kami semakin tidak puas!”  Tapi tentu saja, tren apa pun di sini adalah tren hantu.  Di setiap bulan ini, distribusi yang mendasarinya persis sama.  Namun kita melihat rentang nilai radikal dari sekitar -20 hingga sekitar +40.
NPS_draws 

Anda mungkin tergoda untuk mengatakan bahwa varians sepenuhnya merupakan konsekuensi dari ukuran sampel yang rendah, karena jika perusahaan tidak akan pernah melaporkan NPS pada ukuran sampel 50 (Untuk apa nilainya, saya telah diminta beberapa kali dalam karir saya untuk melaporkan NPS pada N

Mari kita ulangi latihan yang sama dengan sampel besar.

Perhatikan bahwa besarnya dikompresi dengan ukuran sampel 250. (Omong-omong … semoga berhasil ge mendapatkan 250 tanggapan terhadap survei NPS jika Anda bukan perusahaan yang sangat besar!)Tetapi kami masih memiliki masalah. Ada beberapa perubahan yang sangat besar. Misalnya, dari bulan ke 6 hingga 7, kita mengalami penurunan drastis dari lebih dari +20 menjadi hanya +10. Bayangkan bertanggung jawab atas NPS. Seorang eksekutif menyeret Anda ke sebuah ruangan untuk menjelaskan penurunan 10 poin. “Skor kami turun 50%! Kami menyurvei 250 orang bulan ini dan bulan lalu! Ini harus signifikan secara statistik,” kata mereka. Anda menyarankan bahwa itu mungkin artefak acak dari data. Tentu saja, itu persis seperti ini.

    Tapi tidak ada yang akan menganggap Anda serius jika Anda mengatakannya. NPS adalah standar industri. Ini KPI Anda. Itu tugas Anda untuk membuatnya naik. Tapi itu juga sangat fluktuatif.

    NPS_draws 

    Masuk akal untuk bertanya-tanya berapa jumlah varians yang realistis dari bulan ke bulan. Itu akan membantu Anda memahami apa itu noise dalam data.Saya menggambar 1.000 skor NPS yang berbeda, yang masing-masing didasarkan pada 75 tanggapan.

    Harap diingat bahwa ini sepenuhnya tergantung pada distribusi yang mendasari kemungkinan pelanggan t o rekomendasikan dalam populasi (yang tidak akan pernah dapat Anda amati secara langsung)

      dan sampel ukuran, yang cenderung bervariasi dari bulan ke bulan dan memperumit banyak hal.

    Namun, ini adalah bagian yang saya lihat sebagai alasan berlimpah untuk menghindari NPS.

    Sekitar 10%, skor NPS negatif

    25% dari waktu, skor NPS kurang dari +5

  • 25% dari waktu, skor NPS lebih dari +20

    Tentu saja, Anda mungkin tidak akan pernah mengambil sampel 1.000 survei NPS dengan 75 responden untuk urusanmu. Jadi, kemungkinan besar Anda mendapatkan data sampah dan tidak pernah mengetahuinya.

    NPS_draws 

Beberapa pemikiran terakhir

NPS tidak jelas dan berisik; itu KPI yang buruk. Mari kita lacak operasi bisnis yang sebenarnya. Dan jika kita ingin mendalami kepuasan pelanggan, kita dapat mengajukan beberapa pertanyaan mendetail kepada panel kecil pelanggan. Ini akan memunculkan wawasan dan benar-benar menginformasikan keputusan strategis.

Baca selengkapnya