Blogg

Senaste inläggen

11 mar 2014

Net Promoter Score överskattar mängden negativa rekommendationer med nästan 300 %

Skriven av Sven-Tore Bengtsson Kommentera

Net promoter score överskattar kraftigt mängden kunder som ger negativa rekommendationer enligt en intressant artikel från ForeSee där de jämfört Net promoter score med sitt Word of mouth index.

Oavsett vilket nyckeltal som man väljer att använda är det dock hur man använder den feedback som samlas in som är avgörande för att utveckla företaget. Men det finns ändå all anledning att se till att man mäter på ett sätt som ger relevanta och pålitliga nyckeltal att ta beslut och agera utifrån.

Eftersom Net promoter score både i Sverige och utomlands är så otroligt hypat som nyckeltal trots dess många brister som nyckeltal (läs mer om bristerna här) för kundundersökningar och kundlojalitet så var det intressant läsning. ForeSee presenterar en enkel och bättre lösning för att mäta attityden till att ge negativa respektive positiva rekommendationer.

Vad är NPS? Om du inte redan känner till NPS (Net promoter score) så föreslår att ni börjar med att besöka wikipedia för en introduktion:. http://en.wikipedia.org/wiki/Net_Promoter.

I den senaste mätningen från ForeSee (Augusti 2013) som bygger på 21000 svar så menar ForeSee att Net promoter score överskattar negativa rekommendationer med hela 270 % (jämfört med ForeSees eget Word of mouth index) sett till de 90 största företagen i mätningen

 

ForeSee utvecklar NPS till WoMI för att bättre mäta negativa rekommendationer

ForeSee ville hitta ett bättre mått på rekommendationer / Word of mouth än Net promoter score och gjorde därför en studie för att validera sitt nya nyckeltal WoMI (Word of Mouth Index).  Deras WoMI bygger på att man förutom att fråga hur troligt det är att man skulle rekommendera något (NPS- frågan) även frågar hur troligt det är att man skulle rekommendera emot samma sak (alltså ge negativa rekommendationer). Genom att lägga till en fråga som mäter hur benägen man är att ge en negativ rekommendation blir WoMI ett bättre mått på hur många som kan betraktas som detractors.

WoMI-Word-of-Mouth-Index-and-NPS- Net-promoter-score

”ForeSee tested and refined WoMI over a two-year period with more than 300 companies and through nearly 1.5 million customer surveys.”

”ForeSee spent 18 months testing the WoMI methodology with nearly 300 companies, including more than 50 clients across multiple industries, the top 100 worldwide brands, the top 100 retailers and the top 10 financial services companies. ForeSee’s extensive research found that NPS overstates detractors by 270% on average because it doesn’t distinguish between positive and negative word-of-mouth. This overstatement can be a costly and misleading mistake for businesses that are either spending resources pursuing detractors in an attempt to convert them to promoters or compensating their executives based on what can now be seen as a flawed measure.

In addition, ForeSee’s research found that NPS is not an accurate measure because it does not distinguish between passive and active word-of-mouth. Demonstrating satisfaction with a brand and actively promoting it are two different things. There are brands that customers love and will recommend to a friend, but there are certain products and services that do not inspire enthusiastic and proactive word-of-mouth recommendations, and people with certain personality types who never recommend anything.”

 

Problem med Net promotor score

Även om vi inte vet om studien från ForeSee och dess resultat inte skulle ha granskats och ”godkänts” av oberoende forskare (det finns det dock andra studier som är) så finns det tecken hur i Net promoter score beräknas som indikerar att Net promoter score överskattar mängden sk. detracors. Detractors är alltså de som alltså enligt teorin för NPS skulle ge negativa rekommendationer. Men så som frågan ställs innebär ett lågt betyg bara det inte är troligt att man skulle rekommendera och det är ju inte samma sak som att det är troligt att man rekommenderar emot. WoMI erbjuder en enkel lösning för att få ett bättre mått på hur troligt det är att man ger negativa rekommendationer (enligt ovan).

 

1. NPS-frågan fångar inte negativa rekommendationer.

Låt oss börja med att titta på hur frågan ställs: Hur troligt är det att du skulle rekommendera oss till en vän eller en kollega? 0= Inte alls troligt och 10 = Mycket/extremt troligt. Som man kan se så finns det inget svarsalternativ som kan tolkas som att det är troligt att man skulle ge en negativ rekommendation/rekommendera emot. Betyg noll betyder ju att det inte är troligt att man skulle ge en positiv rekommendation och det är något helt annat än att ge en negativ rekommendation.

ForeSees WoMI erbjuder en enkel lösning på problemet genom att helt enkelt lägga till en fråga. Den extra frågan är nästan den samma men frågar hur troligt det är att man skulle ge en negativ rekommendation för att på ett bättre sätt fånga mängden kunder som skulle ge negativa rekommendationer.

 

2. Skev indelning av skalan.

På skalan 0-10 så betraktas de som svarat betyg 0-6 som detractors enligt formeln för Net promoter score. Om vi tar den elvagradiga skalan (skala 0-10) så blir mittenvärdet betyg fem. Fem bör anses vara den neutrala punken där det varken är ”inte alls troligt” eller ”mycket/extremt troligt” att man skulle ge en rekommendation till någon. Är det då inte lite märkligt att de som ger betyg fem anses som detractors dvs. personer som sprider negativa rekommendationer?  Ännu märkligare är det att även de som satt betyg 6 (de som positiva över medel på skalan) anses som detractors. Det verkar ju inte helt rimligt att de som ger betyg 5 eller 6 skulle vara en källa till främst negativa rekommendationer. Rimligare vore att de sågs som neutrala.

De som sätter betyg sju och åtta anses inte bidra till vare sig negativa eller negativa rekommendationer enligt beräkningen för Net promoter score.  En person som ger betyg åtta anser nog själv att den svarar att det är hög sannolikhet att den kommer lämna en rekommendation. Trots detta så behandlas personens svar (betyg åtta) enligt formeln för NPS som om personen inte har någon avsikt att ge en rekommendation, vilket förmodligen leder till att NPS underskattar mängden promoters.

 

Stämmer dåligt med den faktiska mängden rekommendationer

En kvalificerad forskningsstudie som är granskad av andra forskare och som publicerades i International Journal of marketing (som man kan läsa via denna länk) visar också hur Net promoter score överskattar detractors negativa effekt på WoM (word of mouth) genom att jämföra med hur ofta respondenterna själv angivit att man givit en positiv eller negativ rekommendation senaste halvåret.

”……promoters are responsible for less than half the total PWOM, but they give little NWOM so promoters numbers indicate the scale of PWOM. However, when we turn to detractors, we find that they are responsible for both NWOM and PWOM. In the case of the supermarkets, 31% of the total NWOM and 13% of the total PWOM comes from detractors and, for the other two categories (café och hudvård  reds) , detractors give more PWOM than NWOM, so detractor numbers cannot be regarded as a measure of NWOM. We conclude that the NPS provides some measure of PWOM but does not reflect NWOM.”

Denna studien visar alltså också att Net promoter score inte alls ger en rättvisande bild av mängden negativa rekommendationer utan överskattar negativ rekommendationer samtidigt som det underkattar mängden positiva rekommendationer.

Forskarna är kritiska till Net promoter score

Enligt Tim Keiningham som gjort flera studier kring Net promoter score har ingen lyckats visa i någon riktigt forskningsstudie som granskats av andra oberoende forskare, (Harvard Business Review där NPS lanserades hör inte till den typen av forskningstidsskrifter) att Net promoter score skulle vara kopplat till tillväxt på det sätt som det ofta påstås. Den studie som använde för att presenterade NPS har bevisats av Tim Keningham med flera vara helt felaktigt utförd och missvisande.

Det finns gott om seriös forskning kring att mäta kundlojalitet och kundnöjdhet som visar att NPS som nyckeltal inte har den utlovade kopplingen till att förutspå tillväxt och inte alls är bättre än tex. NKI på att förutspå tillväxt.

Den som är intresserad kan läsa mer om kritiken kring Net promoter score som nyckeltal via länkarna nedan. Jag ska försöka summera ihop det och andra problem och tankar kring Net Promoter Score i kommande inlägg.

http://blog.verint.com/net-promoter-score-nps-criticisms-and-best-practices
http://byronsharp.wordpress.com/2008/08/08/net-promoter-score-nps-does-not-predict-growth-its-fake-science/

En sökningen på Google scholar ger också mycket intressant läsning.
http://scholar.google.se/scholar?q=net+promoter+score&btnG=&hl=sv&as_sdt=0%2C5

Trots alla bristerna med Net Promoter Score är det många svenska företag som använder Net promoter score. De verkar vara omedvetna om bristerna eller som helt enkelt inte bryt sig om att kontrollera vilket stöd det egentligen finns för att Net promoter score som nyckeltal för ett företags tillväxt och implementerat det på det egna företaget.

Många mäter även Net promoter score på fel sätt genom att använda det för uppföljning på enskilda touchpoints och interaktionstillfällen som tex. samtal med kundservice. Net Promoter Score är dock ett relationsmått och det ska mätas för hela relationen och är inte avsett att använda för enskilda interaktioner.

 

Fråga om rekommendationer men strunta gärna i NPS som nyckeltal

Jag vill poängtera att jag gillar Net promoter system som arbetssätt och användandet av en rekommendationsfråga (men inte som enda fråga), dock är jag mycket kritisk till användandet av nyckeltalet Net promotor score som huvudsaklig nyckeltal för kundlojalitet/ kundnöjdhet utifrån de brister som finns i hur Net promotor score är konstruerat (frågan, skala, nettovärden). NPS erbjuder inga egentliga fördelar mot tex. en fråga om nöjdhet eller ett nyckeltal kombinerat av flera olika frågor som mäter kundlojalitet som tex. Nexts Lojalitetsindex).

Argumentet att NPS skulle vara starkt knutet till ett företags tillväxt eller bättre än NKI eller en fråga om kundnöjdhet saknar som sagt stöd i den oberoende forskningen. Om man ska jobba med Net promotor system som arbetssätt för kundundersökningar finns det all anledning att använda andra nyckeltal så som NKI, eller medelvärdet på en vanlig kundnöjdhetsfråga snarare än NPS som huvudsakligt nyckeltal.

Net promoter score kan för all del vara ett av flera nyckeltal som man använder men det bör inte vara de enda man använder, och om man använder rekommendationsfråga så är det bättre att använda sig av medelvärdet än det nettovärde som formeln för NPS ger (även om NPS-värdet och medelvärdet ofta korrelerar). Medelvärdet använder alla information i svaren (alla betyg räknas) medan NPS helst utesluter betyg 7 och 8 samt dessutom skapar ett helt nytt värde mellan -100 till +100 vilket faktiskt blir mer svårtolkat än medelvärdet. Medelvärde är trots allt något som alla kan relatera till.

Att använda ett nettovärde gör även att felmarginalen blir dubbelt så stor som om man använder ett medelvärde eller ett indexvärde.

 

 

Relaterade tjänster från Next:
Kundundersökning

24 feb 2014

Fem tips på frågor till en kundundersökning

Skriven av Sven-Tore Bengtsson Kommentera

Funderar du på att göra en kundundersökning men vet inte vilka frågor du ska ställa? Här kommer några tips på frågor att använda i er kundundersökning.

Det finns ingen magisk eller ultimat fråga som ger dig den kundinsikt du behöver för att utveckla verksamheten men det finns ändå några grunder man man kan utgå från.

Vi rekommendera dock att ni inte gör er kundundersökning på egen hand om ni inte kan ”hantverket” när det gäller att utforma en bra undersökning från frågor, insamling av svar till analys.

Klicka här för att läs om vårt erbjudande för kundundersökningar.

 

Anpassa frågorna i kundundersökningen till just er verksamhet

Om ni hittar en färdig mall med frågor för en kundundersökning så måste ni ändå troligtvis på ett eller annat sätt anpassa frågorna för att passa in på er verksamhet.

Olika frågor lämpar sig olika bra i olika branscher då det gäller att mäta kundnöjdhet och kundlojalitet.

Ska man mäta en enskild interaktion eller en enskild transaktion (mellan er och kunden) som bara utgör en del i en större relation så lämpar det sig tex. bra med frågor kring kundnöjdhet men inte med frågor som är avsedda för att mäta kundlojalitet eftersom kundlojalitet ska mätas på relationsnivå för att vara relevant).

Framförallt är det valet av frågor som mäter olika kvalitetsfaktorer måste man tänka igenom (helst undersöka med en förstudie) vilka faktorer det är som är de mest relevanta för kunderna. Det kan även vara bra att se till att följa upp faktorer kopplat till er eget kundlöfte och värdegrund.

Enkätmallar kan sällan användas rakt av och min erfarenhet att mallarna man kan hitta generellt är ganska bristfälliga i sin utformning (och säkerligen inte anpassade till er verksamhet).

Den ultimata frågan

 

Fem tips på frågor att ställa

1. Fråga hur nöjda kunderna är totalt sett och fråga även hur troligt det är att de skulle vända sig till er nästa gång de har behov av det ni erbjuder. Dessa frågor ger er både ett mått på kundnöjdhet och kundlojalitet. Att fråga om kunderna är villiga att rekommendera er till andra, är också en vanlig fråga i kundundersökningar.

 

2. Fråga hur de hur nöjda kunderna är med varan eller tjänsten utifrån olika kvalitetsaspekter. Det är naturligtvis viktigt att ni då frågar utifrån de aspekter vad som är viktigt ur kundernas perspektiv och inte utifrån ert eget perspektiv. Det finns en del forskning kring vad som generellt sett är viktigt för hög tjänstekvalitet och produktkvalitet som är bra att ha i åtanke när man utformar undersökningar och detta är en av de saker som vi på Next kan hjälpa er med vid utformningen av frågorna till en kundundersökning.

 

3. För att knyta an till ovanstående (vad som generellt viktigt) så är det alltid bra att följa upp kundernas upplevelse av er personal. Personalens bemötande, servicegrad och kompetens är avgörande faktorer i många fall. Detta är även viktigt feedback för att motivera och vidareutveckla medarbetarna utifrån kundernas perspektiv.

 

4. Fråga vad kunderna skulle vilja att ni gjorde annorlunda, vad de vill att ni ska försöka förbättra. Detta kommer att ger er mycket bra feedback kring vad kunderna själva anser att behöver förbättras och ofta kommer de även med en förklaring till varför och ger förslag på hur de skulle vilja att saker och ting fungerade istället.

 

5. Fråga gärna om ni får kontakta kunden. På så vis kan ni följa upp en kund som visar sig vara missnöjd och ni kan därmed öka er möjlighet att omvända en missnöjd kund till en nöjd kund. Ju bättre ni är på att återkoppla på kundernas feedback ju troligare är det att ni kommer att nå ökad kundnöjdhet.

 

Att även samla in kommentarer och inte bara betyg är en viktig del i att kunna få fram vad som tex. skapar missnöjda respektive nöjda kunder. Bristen på insamling av kvalitativ information är en väldigt vanlig brist i många kundundersökningar.

Det finns så klart massor mer att skriva då det gäller frågor för kundundersökningar och vi kanske kommer tillbaka till detta ämne en annan gång.

Behöver ni hjälp att granska eller utforma frågorna för en kundundersökning så hjälper vi gärna till.

 

Relaterade tjänster från Next:
Kundundersökning

Taggar: