Net Promoter Score överskattar mängden negativa rekommendationer med nästan 300 %
Net promoter score överskattar kraftigt mängden kunder som ger negativa rekommendationer enligt en intressant artikel från ForeSee där de jämfört Net promoter score med sitt Word of mouth index.
Oavsett vilket nyckeltal som man väljer att använda är det dock hur man använder den feedback som samlas in som är avgörande för att utveckla företaget. Men det finns ändå all anledning att se till att man mäter på ett sätt som ger relevanta och pålitliga nyckeltal att ta beslut och agera utifrån.
Eftersom Net promoter score både i Sverige och utomlands är så otroligt hypat som nyckeltal trots dess många brister som nyckeltal (läs mer om bristerna här) för kundundersökningar och kundlojalitet så var det intressant läsning. ForeSee presenterar en enkel och bättre lösning för att mäta attityden till att ge negativa respektive positiva rekommendationer.
Vad är NPS? Om du inte redan känner till NPS (Net promoter score) så föreslår att ni börjar med att besöka wikipedia för en introduktion:. http://en.wikipedia.org/wiki/Net_Promoter.
I den senaste mätningen från ForeSee (Augusti 2013) som bygger på 21000 svar så menar ForeSee att Net promoter score överskattar negativa rekommendationer med hela 270 % (jämfört med ForeSees eget Word of mouth index) sett till de 90 största företagen i mätningen
ForeSee utvecklar NPS till WoMI för att bättre mäta negativa rekommendationer
ForeSee ville hitta ett bättre mått på rekommendationer / Word of mouth än Net promoter score och gjorde därför en studie för att validera sitt nya nyckeltal WoMI (Word of Mouth Index). Deras WoMI bygger på att man förutom att fråga hur troligt det är att man skulle rekommendera något (NPS- frågan) även frågar hur troligt det är att man skulle rekommendera emot samma sak (alltså ge negativa rekommendationer). Genom att lägga till en fråga som mäter hur benägen man är att ge en negativ rekommendation blir WoMI ett bättre mått på hur många som kan betraktas som detractors.
”ForeSee tested and refined WoMI over a two-year period with more than 300 companies and through nearly 1.5 million customer surveys.”
”ForeSee spent 18 months testing the WoMI methodology with nearly 300 companies, including more than 50 clients across multiple industries, the top 100 worldwide brands, the top 100 retailers and the top 10 financial services companies. ForeSee’s extensive research found that NPS overstates detractors by 270% on average because it doesn’t distinguish between positive and negative word-of-mouth. This overstatement can be a costly and misleading mistake for businesses that are either spending resources pursuing detractors in an attempt to convert them to promoters or compensating their executives based on what can now be seen as a flawed measure.
In addition, ForeSee’s research found that NPS is not an accurate measure because it does not distinguish between passive and active word-of-mouth. Demonstrating satisfaction with a brand and actively promoting it are two different things. There are brands that customers love and will recommend to a friend, but there are certain products and services that do not inspire enthusiastic and proactive word-of-mouth recommendations, and people with certain personality types who never recommend anything.”
Problem med Net promotor score
Även om vi inte vet om studien från ForeSee och dess resultat inte skulle ha granskats och ”godkänts” av oberoende forskare (det finns det dock andra studier som är) så finns det tecken hur i Net promoter score beräknas som indikerar att Net promoter score överskattar mängden sk. detracors. Detractors är alltså de som alltså enligt teorin för NPS skulle ge negativa rekommendationer. Men så som frågan ställs innebär ett lågt betyg bara det inte är troligt att man skulle rekommendera och det är ju inte samma sak som att det är troligt att man rekommenderar emot. WoMI erbjuder en enkel lösning för att få ett bättre mått på hur troligt det är att man ger negativa rekommendationer (enligt ovan).
1. NPS-frågan fångar inte negativa rekommendationer.
Låt oss börja med att titta på hur frågan ställs: Hur troligt är det att du skulle rekommendera oss till en vän eller en kollega? 0= Inte alls troligt och 10 = Mycket/extremt troligt. Som man kan se så finns det inget svarsalternativ som kan tolkas som att det är troligt att man skulle ge en negativ rekommendation/rekommendera emot. Betyg noll betyder ju att det inte är troligt att man skulle ge en positiv rekommendation och det är något helt annat än att ge en negativ rekommendation.
ForeSees WoMI erbjuder en enkel lösning på problemet genom att helt enkelt lägga till en fråga. Den extra frågan är nästan den samma men frågar hur troligt det är att man skulle ge en negativ rekommendation för att på ett bättre sätt fånga mängden kunder som skulle ge negativa rekommendationer.
2. Skev indelning av skalan.
På skalan 0-10 så betraktas de som svarat betyg 0-6 som detractors enligt formeln för Net promoter score. Om vi tar den elvagradiga skalan (skala 0-10) så blir mittenvärdet betyg fem. Fem bör anses vara den neutrala punken där det varken är ”inte alls troligt” eller ”mycket/extremt troligt” att man skulle ge en rekommendation till någon. Är det då inte lite märkligt att de som ger betyg fem anses som detractors dvs. personer som sprider negativa rekommendationer? Ännu märkligare är det att även de som satt betyg 6 (de som positiva över medel på skalan) anses som detractors. Det verkar ju inte helt rimligt att de som ger betyg 5 eller 6 skulle vara en källa till främst negativa rekommendationer. Rimligare vore att de sågs som neutrala.
De som sätter betyg sju och åtta anses inte bidra till vare sig negativa eller negativa rekommendationer enligt beräkningen för Net promoter score. En person som ger betyg åtta anser nog själv att den svarar att det är hög sannolikhet att den kommer lämna en rekommendation. Trots detta så behandlas personens svar (betyg åtta) enligt formeln för NPS som om personen inte har någon avsikt att ge en rekommendation, vilket förmodligen leder till att NPS underskattar mängden promoters.
Stämmer dåligt med den faktiska mängden rekommendationer
En kvalificerad forskningsstudie som är granskad av andra forskare och som publicerades i International Journal of marketing (som man kan läsa via denna länk) visar också hur Net promoter score överskattar detractors negativa effekt på WoM (word of mouth) genom att jämföra med hur ofta respondenterna själv angivit att man givit en positiv eller negativ rekommendation senaste halvåret.
”……promoters are responsible for less than half the total PWOM, but they give little NWOM so promoters numbers indicate the scale of PWOM. However, when we turn to detractors, we find that they are responsible for both NWOM and PWOM. In the case of the supermarkets, 31% of the total NWOM and 13% of the total PWOM comes from detractors and, for the other two categories (café och hudvård reds) , detractors give more PWOM than NWOM, so detractor numbers cannot be regarded as a measure of NWOM. We conclude that the NPS provides some measure of PWOM but does not reflect NWOM.”
Denna studien visar alltså också att Net promoter score inte alls ger en rättvisande bild av mängden negativa rekommendationer utan överskattar negativ rekommendationer samtidigt som det underkattar mängden positiva rekommendationer.
Forskarna är kritiska till Net promoter score
Enligt Tim Keiningham som gjort flera studier kring Net promoter score har ingen lyckats visa i någon riktigt forskningsstudie som granskats av andra oberoende forskare, (Harvard Business Review där NPS lanserades hör inte till den typen av forskningstidsskrifter) att Net promoter score skulle vara kopplat till tillväxt på det sätt som det ofta påstås. Den studie som använde för att presenterade NPS har bevisats av Tim Keningham med flera vara helt felaktigt utförd och missvisande.
Det finns gott om seriös forskning kring att mäta kundlojalitet och kundnöjdhet som visar att NPS som nyckeltal inte har den utlovade kopplingen till att förutspå tillväxt och inte alls är bättre än tex. NKI på att förutspå tillväxt.
Den som är intresserad kan läsa mer om kritiken kring Net promoter score som nyckeltal via länkarna nedan. Jag ska försöka summera ihop det och andra problem och tankar kring Net Promoter Score i kommande inlägg.
http://blog.verint.com/net-promoter-score-nps-criticisms-and-best-practices
http://byronsharp.wordpress.com/2008/08/08/net-promoter-score-nps-does-not-predict-growth-its-fake-science/
En sökningen på Google scholar ger också mycket intressant läsning.
http://scholar.google.se/scholar?q=net+promoter+score&btnG=&hl=sv&as_sdt=0%2C5
Trots alla bristerna med Net Promoter Score är det många svenska företag som använder Net promoter score. De verkar vara omedvetna om bristerna eller som helt enkelt inte bryt sig om att kontrollera vilket stöd det egentligen finns för att Net promoter score som nyckeltal för ett företags tillväxt och implementerat det på det egna företaget.
Många mäter även Net promoter score på fel sätt genom att använda det för uppföljning på enskilda touchpoints och interaktionstillfällen som tex. samtal med kundservice. Net Promoter Score är dock ett relationsmått och det ska mätas för hela relationen och är inte avsett att använda för enskilda interaktioner.
Fråga om rekommendationer men strunta gärna i NPS som nyckeltal
Jag vill poängtera att jag gillar Net promoter system som arbetssätt och användandet av en rekommendationsfråga (men inte som enda fråga), dock är jag mycket kritisk till användandet av nyckeltalet Net promotor score som huvudsaklig nyckeltal för kundlojalitet/ kundnöjdhet utifrån de brister som finns i hur Net promotor score är konstruerat (frågan, skala, nettovärden). NPS erbjuder inga egentliga fördelar mot tex. en fråga om nöjdhet eller ett nyckeltal kombinerat av flera olika frågor som mäter kundlojalitet som tex. Nexts Lojalitetsindex).
Argumentet att NPS skulle vara starkt knutet till ett företags tillväxt eller bättre än NKI eller en fråga om kundnöjdhet saknar som sagt stöd i den oberoende forskningen. Om man ska jobba med Net promotor system som arbetssätt för kundundersökningar finns det all anledning att använda andra nyckeltal så som NKI, eller medelvärdet på en vanlig kundnöjdhetsfråga snarare än NPS som huvudsakligt nyckeltal.
Net promoter score kan för all del vara ett av flera nyckeltal som man använder men det bör inte vara de enda man använder, och om man använder rekommendationsfråga så är det bättre att använda sig av medelvärdet än det nettovärde som formeln för NPS ger (även om NPS-värdet och medelvärdet ofta korrelerar). Medelvärdet använder alla information i svaren (alla betyg räknas) medan NPS helst utesluter betyg 7 och 8 samt dessutom skapar ett helt nytt värde mellan -100 till +100 vilket faktiskt blir mer svårtolkat än medelvärdet. Medelvärde är trots allt något som alla kan relatera till.
Att använda ett nettovärde gör även att felmarginalen blir dubbelt så stor som om man använder ett medelvärde eller ett indexvärde.
