Blogg - Inlägg i kategori:

Latest Posts

11 mar 2014

Net Promoter Score överskattar mängden negativa rekommendationer med nästan 300 %

Skriven av Sven-Tore Bengtsson Kommentera

Net promoter score överskattar kraftigt mängden kunder som ger negativa rekommendationer enligt en intressant artikel från ForeSee där de jämfört Net promoter score med sitt Word of mouth index.

Oavsett vilket nyckeltal som man väljer att använda är det dock hur man använder den feedback som samlas in som är avgörande för att utveckla företaget. Men det finns ändå all anledning att se till att man mäter på ett sätt som ger relevanta och pålitliga nyckeltal att ta beslut och agera utifrån.

Eftersom Net promoter score både i Sverige och utomlands är så otroligt hypat som nyckeltal trots dess många brister som nyckeltal (läs mer om bristerna här) för kundundersökningar och kundlojalitet så var det intressant läsning. ForeSee presenterar en enkel och bättre lösning för att mäta attityden till att ge negativa respektive positiva rekommendationer.

Vad är NPS? Om du inte redan känner till NPS (Net promoter score) så föreslår att ni börjar med att besöka wikipedia för en introduktion:. http://en.wikipedia.org/wiki/Net_Promoter.

I den senaste mätningen från ForeSee (Augusti 2013) som bygger på 21000 svar så menar ForeSee att Net promoter score överskattar negativa rekommendationer med hela 270 % (jämfört med ForeSees eget Word of mouth index) sett till de 90 största företagen i mätningen

 

ForeSee utvecklar NPS till WoMI för att bättre mäta negativa rekommendationer

ForeSee ville hitta ett bättre mått på rekommendationer / Word of mouth än Net promoter score och gjorde därför en studie för att validera sitt nya nyckeltal WoMI (Word of Mouth Index).  Deras WoMI bygger på att man förutom att fråga hur troligt det är att man skulle rekommendera något (NPS- frågan) även frågar hur troligt det är att man skulle rekommendera emot samma sak (alltså ge negativa rekommendationer). Genom att lägga till en fråga som mäter hur benägen man är att ge en negativ rekommendation blir WoMI ett bättre mått på hur många som kan betraktas som detractors.

WoMI-Word-of-Mouth-Index-and-NPS- Net-promoter-score

”ForeSee tested and refined WoMI over a two-year period with more than 300 companies and through nearly 1.5 million customer surveys.”

”ForeSee spent 18 months testing the WoMI methodology with nearly 300 companies, including more than 50 clients across multiple industries, the top 100 worldwide brands, the top 100 retailers and the top 10 financial services companies. ForeSee’s extensive research found that NPS overstates detractors by 270% on average because it doesn’t distinguish between positive and negative word-of-mouth. This overstatement can be a costly and misleading mistake for businesses that are either spending resources pursuing detractors in an attempt to convert them to promoters or compensating their executives based on what can now be seen as a flawed measure.

In addition, ForeSee’s research found that NPS is not an accurate measure because it does not distinguish between passive and active word-of-mouth. Demonstrating satisfaction with a brand and actively promoting it are two different things. There are brands that customers love and will recommend to a friend, but there are certain products and services that do not inspire enthusiastic and proactive word-of-mouth recommendations, and people with certain personality types who never recommend anything.”

 

Problem med Net promotor score

Även om vi inte vet om studien från ForeSee och dess resultat inte skulle ha granskats och ”godkänts” av oberoende forskare (det finns det dock andra studier som är) så finns det tecken hur i Net promoter score beräknas som indikerar att Net promoter score överskattar mängden sk. detracors. Detractors är alltså de som alltså enligt teorin för NPS skulle ge negativa rekommendationer. Men så som frågan ställs innebär ett lågt betyg bara det inte är troligt att man skulle rekommendera och det är ju inte samma sak som att det är troligt att man rekommenderar emot. WoMI erbjuder en enkel lösning för att få ett bättre mått på hur troligt det är att man ger negativa rekommendationer (enligt ovan).

 

1. NPS-frågan fångar inte negativa rekommendationer.

Låt oss börja med att titta på hur frågan ställs: Hur troligt är det att du skulle rekommendera oss till en vän eller en kollega? 0= Inte alls troligt och 10 = Mycket/extremt troligt. Som man kan se så finns det inget svarsalternativ som kan tolkas som att det är troligt att man skulle ge en negativ rekommendation/rekommendera emot. Betyg noll betyder ju att det inte är troligt att man skulle ge en positiv rekommendation och det är något helt annat än att ge en negativ rekommendation.

ForeSees WoMI erbjuder en enkel lösning på problemet genom att helt enkelt lägga till en fråga. Den extra frågan är nästan den samma men frågar hur troligt det är att man skulle ge en negativ rekommendation för att på ett bättre sätt fånga mängden kunder som skulle ge negativa rekommendationer.

 

2. Skev indelning av skalan.

På skalan 0-10 så betraktas de som svarat betyg 0-6 som detractors enligt formeln för Net promoter score. Om vi tar den elvagradiga skalan (skala 0-10) så blir mittenvärdet betyg fem. Fem bör anses vara den neutrala punken där det varken är ”inte alls troligt” eller ”mycket/extremt troligt” att man skulle ge en rekommendation till någon. Är det då inte lite märkligt att de som ger betyg fem anses som detractors dvs. personer som sprider negativa rekommendationer?  Ännu märkligare är det att även de som satt betyg 6 (de som positiva över medel på skalan) anses som detractors. Det verkar ju inte helt rimligt att de som ger betyg 5 eller 6 skulle vara en källa till främst negativa rekommendationer. Rimligare vore att de sågs som neutrala.

De som sätter betyg sju och åtta anses inte bidra till vare sig negativa eller negativa rekommendationer enligt beräkningen för Net promoter score.  En person som ger betyg åtta anser nog själv att den svarar att det är hög sannolikhet att den kommer lämna en rekommendation. Trots detta så behandlas personens svar (betyg åtta) enligt formeln för NPS som om personen inte har någon avsikt att ge en rekommendation, vilket förmodligen leder till att NPS underskattar mängden promoters.

 

Stämmer dåligt med den faktiska mängden rekommendationer

En kvalificerad forskningsstudie som är granskad av andra forskare och som publicerades i International Journal of marketing (som man kan läsa via denna länk) visar också hur Net promoter score överskattar detractors negativa effekt på WoM (word of mouth) genom att jämföra med hur ofta respondenterna själv angivit att man givit en positiv eller negativ rekommendation senaste halvåret.

”……promoters are responsible for less than half the total PWOM, but they give little NWOM so promoters numbers indicate the scale of PWOM. However, when we turn to detractors, we find that they are responsible for both NWOM and PWOM. In the case of the supermarkets, 31% of the total NWOM and 13% of the total PWOM comes from detractors and, for the other two categories (café och hudvård  reds) , detractors give more PWOM than NWOM, so detractor numbers cannot be regarded as a measure of NWOM. We conclude that the NPS provides some measure of PWOM but does not reflect NWOM.”

Denna studien visar alltså också att Net promoter score inte alls ger en rättvisande bild av mängden negativa rekommendationer utan överskattar negativ rekommendationer samtidigt som det underkattar mängden positiva rekommendationer.

Forskarna är kritiska till Net promoter score

Enligt Tim Keiningham som gjort flera studier kring Net promoter score har ingen lyckats visa i någon riktigt forskningsstudie som granskats av andra oberoende forskare, (Harvard Business Review där NPS lanserades hör inte till den typen av forskningstidsskrifter) att Net promoter score skulle vara kopplat till tillväxt på det sätt som det ofta påstås. Den studie som använde för att presenterade NPS har bevisats av Tim Keningham med flera vara helt felaktigt utförd och missvisande.

Det finns gott om seriös forskning kring att mäta kundlojalitet och kundnöjdhet som visar att NPS som nyckeltal inte har den utlovade kopplingen till att förutspå tillväxt och inte alls är bättre än tex. NKI på att förutspå tillväxt.

Den som är intresserad kan läsa mer om kritiken kring Net promoter score som nyckeltal via länkarna nedan. Jag ska försöka summera ihop det och andra problem och tankar kring Net Promoter Score i kommande inlägg.

http://blog.verint.com/net-promoter-score-nps-criticisms-and-best-practices
http://byronsharp.wordpress.com/2008/08/08/net-promoter-score-nps-does-not-predict-growth-its-fake-science/

En sökningen på Google scholar ger också mycket intressant läsning.
http://scholar.google.se/scholar?q=net+promoter+score&btnG=&hl=sv&as_sdt=0%2C5

Trots alla bristerna med Net Promoter Score är det många svenska företag som använder Net promoter score. De verkar vara omedvetna om bristerna eller som helt enkelt inte bryt sig om att kontrollera vilket stöd det egentligen finns för att Net promoter score som nyckeltal för ett företags tillväxt och implementerat det på det egna företaget.

Många mäter även Net promoter score på fel sätt genom att använda det för uppföljning på enskilda touchpoints och interaktionstillfällen som tex. samtal med kundservice. Net Promoter Score är dock ett relationsmått och det ska mätas för hela relationen och är inte avsett att använda för enskilda interaktioner.

 

Fråga om rekommendationer men strunta gärna i NPS som nyckeltal

Jag vill poängtera att jag gillar Net promoter system som arbetssätt och användandet av en rekommendationsfråga (men inte som enda fråga), dock är jag mycket kritisk till användandet av nyckeltalet Net promotor score som huvudsaklig nyckeltal för kundlojalitet/ kundnöjdhet utifrån de brister som finns i hur Net promotor score är konstruerat (frågan, skala, nettovärden). NPS erbjuder inga egentliga fördelar mot tex. en fråga om nöjdhet eller ett nyckeltal kombinerat av flera olika frågor som mäter kundlojalitet som tex. Nexts Lojalitetsindex).

Argumentet att NPS skulle vara starkt knutet till ett företags tillväxt eller bättre än NKI eller en fråga om kundnöjdhet saknar som sagt stöd i den oberoende forskningen. Om man ska jobba med Net promotor system som arbetssätt för kundundersökningar finns det all anledning att använda andra nyckeltal så som NKI, eller medelvärdet på en vanlig kundnöjdhetsfråga snarare än NPS som huvudsakligt nyckeltal.

Net promoter score kan för all del vara ett av flera nyckeltal som man använder men det bör inte vara de enda man använder, och om man använder rekommendationsfråga så är det bättre att använda sig av medelvärdet än det nettovärde som formeln för NPS ger (även om NPS-värdet och medelvärdet ofta korrelerar). Medelvärdet använder alla information i svaren (alla betyg räknas) medan NPS helst utesluter betyg 7 och 8 samt dessutom skapar ett helt nytt värde mellan -100 till +100 vilket faktiskt blir mer svårtolkat än medelvärdet. Medelvärde är trots allt något som alla kan relatera till.

Att använda ett nettovärde gör även att felmarginalen blir dubbelt så stor som om man använder ett medelvärde eller ett indexvärde.

 

 

Relaterade tjänster från Next:
Kundundersökning

24 feb 2014

Fem tips på frågor till kundundersökningar

Skriven av Sven-Tore Bengtsson Kommentera

Här kommer några tips och exempel på frågor att använda i kundundersökningar som kan ni kan använda som inspiration. Det finns ingen magisk eller ultimat fråga som ger dig alla svar du behöver men med några få frågor kan man ändå komma ganska långt och få in grundläggande feedback från kunderna.

 

Anpassa frågorna i kundundersökningen till just er verksamhet

Om ni hittar en färdig mall med frågor för en kundundersökning så måste ni ändå troligtvis på ett eller annat sätt anpassa frågorna för att passa in på er verksamhet.

Olika frågor lämpar sig olika bra i olika branscher då det gäller att mäta kundnöjdhet och kundlojalitet.

Ska man mäta en enskild interaktion eller en enskild transaktion som bara utgör en del i en större relation så lämpar det sig tex. bra med frågor kring kundnöjdhet men inte med frågor som är avsedda för att mäta kundlojalitet eftersom kundlojalitet ska mätas på relationsnivå för att vara relevant).

Framförallt är det valet av frågor som mäter olika kvalitetsfaktorer måste man tänka igenom (helst undersöka med en förstudie) vilka faktorer det är som är de mest relevanta för kunderna samt till er eget kundlöfte och värdegrund.

Enkätmallar kan sällan användas rakt av och min erfarenhet att ofta är de generellt är ganska bristfälliga i sin utformning.

Den ultimata frågan

 

Fem tips på frågor att ställa

1. Fråga hur nöjda kunderna är totalt sett och fråga även hur troligt det är att de skulle vända sig till er nästa gång de har behov av det ni erbjuder. Dessa frågor ger er både ett mått på kundnöjdhet och kundlojalitet. Att fråga om kunderna är villiga att rekommendera er till andra, är också en vanlig fråga i kundundersökningar (men det är dock inte en ultimat fråga, någon sådan finns inte: Se mer här https://en.wikipedia.org/wiki/Net_Promoter).

 

2. Fråga hur de hur nöjda kunderna är med varan eller tjänsten utifrån olika kvalitetsaspekter. Det är naturligtvis viktigt att ni då frågar utifrån de aspekter vad som är viktigt ur kundernas perspektiv och inte utifrån ert eget perspektiv. Det finns en del forskning kring vad som generellt sett är viktigt för hög tjänstekvalitet och produktkvalitet som är bra att ha i åtanke när man utformar undersökningar och detta är en av de saker som vi på Next kan hjälpa er med vid utformningen av frågorna till en kundundersökning.

 

3. För att knyta an till ovanstående (vad som generellt viktigt) så är det alltid bra att följa upp kundernas upplevelse av er personal. Personalens bemötande, servicegrad och kompetens är avgörande faktorer i många fall. Detta är även viktigt feedback för att motivera och vidareutveckla medarbetarna utifrån kundernas perspektiv.

 

4. Fråga vad kunderna skulle vilja att ni gjorde annorlunda, vad de vill att ni ska försöka förbättra. Detta kommer att ger er mycket bra feedback kring vad kunderna själva anser att behöver förbättras och ofta kommer de även med en förklaring till varför och ger förslag på hur de skulle vilja att saker och ting fungerade istället.

 

5. Fråga gärna om ni får kontakta kunden. På så vis kan ni följa upp en kund som visar sig vara missnöjd och ni kan därmed öka er möjlighet att omvända en missnöjd kund till en nöjd kund. Ju bättre ni är på att återkoppla på kundernas feedback ju troligare är det att ni kommer att nå ökad kundnöjdhet.

 

Att även samla in kommentarer och inte bara betyg är en viktig del i att kunna få fram vad som tex. skapar missnöjda respektive nöjda kunder. Bristen på insamling av kvalitativ information är en väldigt vanlig brist i många kundundersökningar.

Det finns så klart massor mer att skriva då det gäller frågor för kundundersökningar och vi kanske kommer tillbaka till detta ämne en annan gång.

Behöver ni hjälp att granska eller utforma frågorna för en kundundersökning så hjälper vi gärna till.

 

Relaterade tjänster från Next:
Kundundersökning

Taggar:
6 nov 2013

En mindre bra kundundersökning

Skriven av Sven-Tore Bengtsson Kommentera

Nyligen råkade jag ut för en riktigt dålig kundundersökning. Jag blev uppringd av ett av de försäkringsbolag jag har försäkringar via. De ville göra en ”årlig avstämning” av mina försäkringar, dvs. kolla om det kan sälja någon mer försäkring till mig (inget fel i det). Det resulterade i att de skulle återkomma nästa dag så att jag skulle hinna ta fram några uppgifter för deras offertunderlag på hemförsäkring. Samtalet varade i 2- 3 minuter.

Det som händer sen är dock att jag blir uppringd av en automatiserad kundundersökning med en inspelad röst som ber mig svara på några frågor på skalan 1-5 med knapparna på telefonen.

 

Händelsestyrd undersökning

En händelsestyrd undersökning som på detta sätt är kopplad till att triggas av en specifik interaktion är ett mycket bra sätt att genomföra kundundersökningar. Det ger direkt återkoppling till personalen på deras beteende. Att undersökningen sker i nära anslutning till kontakten de haft med kunden gör att medarbetarna tydligt ska kunna se vilka effekter deras beteende har på kundupplevelsen och kundnöjdheten.

 

Tvingad att svara

Jag fick några frågor om säljarens bemötande och kompetens (vilket var helt ok), men även några frågor som inte var anpassade för vårt korta samtal. Tex. frågades det om de kunde erbjuda en försäkringslösning som passade mina behov och en fråga om jag på kände mig rätt försäkrad efter samtalet med försäkringsrådgivaren på skalan 1-5. Dessutom avslutades det hela med att fråga hur troligt det är att jag skulle rekommendera försäkringsbolaget till vänner och bekanta på skalan 1-11 (dvs. en sorts net promoter score, NPS dock brukar dock ha en skala som går från 0-10 inte 1-11 om man ska vara petig).

Generellt sett så kanske det kan funka att fråga om man erbjudits en försäkringslösning som passar mina behov, men nu har jag ju inte ens fått ett erbjudande, det skulle vi ju ta senare. Jag skulle vilja svara ” ingen åsikt” men det svarsalternativet fanns inte tillgängligt. Försäkringsrådgivaren hade ju inte gjort ett dåligt jobb så jag ville ju inte ge ett dåligt betyg heller men jag kunde ju inte heller instämma i att jag blivit erbjuden en försäkring som passade mig.

Och sen så var det frågan om jag kände mig rätt försäkrad efter samtalet. Jag tänkte för mig själv att samtalet med försäkringsrådgivaren hade ju egentligen inget att göra med att jag känner mig rätt försäkrad men samtidigt ville jag ju inte ge ett dåligt betyg till säljarens insats. Säljaren hade ju inte gjort något fel, men heller inte gjort något som gjorde att jag kände mig mer rätt försäkrad.

Eftersom jag inte kunde svara ”ingen åsikt” så som undersökningen var utformad så gav jag en trea i betyg. Problemet är dock att jag blev tvingad att avge ett svar trots att jag inte egentligen kunden svara på.

Hur många andra tvingas egentligen svara på samma frågor utan att egentligen ha ett underlag för att svara? Detta har ju en oöverskådlig negativ inverkan på tillförlitligheten på resultatet på de frågorna.

Den som ska svara på undersökningen bör ju får möjlighet att ange  ”ingen åsikt” på de får frågor som de inte kan svara på. Jag som respondent blir dessutom irriterad på att jag tvingas svara felaktigt. Jag vill ju svara ärligt och inte tvingas avge svar på frågor som jag inte har underlag för att svara på.

Och sen så kom då frågan om hur troligt det är att jag kommer att rekommendera försäkringsbolaget till vänner och bekanta dvs. den fråga som ligger till grund för Net promoter score (NPS).

 

Jag rekommenderar inte försäkringsbolag

Hur relevant är egentligen frågan om hur troligt det är att jag ger en rekommendation då det gäller att förstå lojaliteten och word of mouth hos kunder till försäkringsbolag?

Generellt sett så är viljan att rekommendera en bra fråga att ha med i kundundersökningar. Men om man bara ska välja en enda fråga så kanske man tänka till lite (och kanske även överväga att ställa fler frågor). Då det gäller försäkringsbolag finns det betydligt bättre frågor att ställa för att får fram en indikator på kundnöjdhet och/eller kundlojalitet och ska man bara ställa en enda fråga så bör man så klart välja en fråga som återspeglar kundupplevelsen så bra som möjligt.

Jag och säkert de flesta andra ger nämligen inte rekommendationer till vänner och bekanta om vilket försäkringsbolag de ska använda. Du kan ju fråga dig själv hur ofta du brukar rekommendera försökningsbolag. Frågan om att rekommendera blir därför inget bra mått på huruvida jag gillar försäkringsbolaget.

Ett av problemen är att försäkringsbolag sällan skapar någon påtaglig kundupplevelse, det finns liksom inte så mycket att prata om, ingen grund för at rekommendera. Så länge en kund inte behöver utnyttja försäkringen har försäkringsbolag små möjligheter att ge kunden en kundupplevelser att bedöma och därmed även rekommendera försäkringsbolaget utifrån. Samma sak med en massa andra tjänster och produkter. Det är inget man pratar om helt enkelt och då rekommendationer från andra är sällsynta har de även endast mycket liten inverkan på köpbesluten för den stora massan.

Försäkringsbolaget hade fått samma betyg på frågan om att rekommendera även om de varit det försäkringsbolag jag gillar mest eller det jag gillar sämst eftersom det ändå inte är troligt att jag rekommenderar ett försäkringsbolag till någon. Frågan så som den ställdes mäter alltså inte hur jag känner för just detta försäkringsbolag, utan frågan säger bara något om hur (o)sannolikt det är att jag skulle rekommendera ett försäkringsbolag överhuvudtaget.

Upphovsmannen till Net promoter score som har själv sagt att rekommendationer är ett irrelevant mått i en del branscher. Försäkringsbranschen bör nog anses som en sådan bransch. När bytte du senast försäkringsbolag pga. att du fått en rekommendation, eller när rekommenderade du senast ett försäkringsbolag till någon?

Min kundupplevelse påverkas negativt när jag får en undersökning som ställer frågor som inte är relevanta. Extra irriterad blir jag när jag dessutom inte kan svara ”ingen åsikt” på frågor jag faktiskt inte kan besvara.

 

Exempel på bättre frågor

Frågan om viljan att rekommendera (vilket indirekt påverkas av att kunden är nöjd, eller av andra orsaker har en positiv image som gör att man kan rekommendera) är ofta en högst relevant fråga. Men i branscher där det är osannolikt att rekommendationer förekommer eller där rekommendationer inte är en viktig källa till att skaffa nya kunder behöver kundundersökningarna omfatta andra frågor. för att på ett bra sätt mäta kundnöjdhet och kundlojalitet.

Frågan om att rekommendera borde ha omformulerats, ersatts eller kompletterats med andra frågor om kundnöjdhet och kundlojalitet som på varit bättre ett mått på vad jag tycker om försäkringsbolaget och hur troligt det är att jag kommer fortsätta som kund.

Exempel på frågor som hade varit lämpliga är:  hur nöjd jag ät totalt sett, hur benägen jag är att fortsätta vara kund, om de är det försäkringsbolag jag föredrar framför andra eller vilket förtroende jag känner för dem. Faktorer som alla är viktiga för att bedöma graden av kundlojalitet.

 

Relaterade tjänster:

Kundundersökning

24 okt 2013

Kundnöjdhet påverkar aktiekursen positivt

Skriven av Sven-Tore Bengtsson Kommentera

Kundnöjdhet är lönsamt. Det finns dock de som menar att kundnöjdhet inte är vidare eftersträvansvärt och att hur nöjda kunderna är saknar betydelse för företags framgång. Det är emellertid gång på gång både vetenskapligt bevisat att det finns en koppling mellan kundnöjdhet och ekonomisk framgång.

 

Det finns otroligt mycket forskning som pekar på att kundnöjdhet är en viktig faktor till att skapa både lojalitet och lönsamhet. Visserligen kan en kund vara missnöjd och ändå köpa igen eller vara nöjd men ändå byta. Ett återköp eller andra typer av beteende som ses som kundlojalitet påverkas såklart av vad konkurrenterna erbjuder, ändrade preferenser hos kunderna, förändringar i den produkt man tidigare köpt osv. Det finns inga garantier helt enkelt för att en nöjd kund blir lojal eller att någon som säger sig vara lojal i en kundundersökning verkligen uppvisar ett lojalt beteende när det sedan blir dags att köpa samma typ av vara eller tjänst igen.

 

Generellt sett så har dock kundnöjdhet en positiv effekt på företags ekonomiska status. Faktum är att det även finns ett vetenskapligt bevisat samband mellan aktiekurs och kundnöjdhet. Företag med höga betyg på det amerikanska nöjd kund indexet (ACSI) har visat sig ha betydligt bättre utveckling på aktiekursen än aktieindex. En aktieportfölj bestående av de med höga betyg på ACSI genererade ett ökat aktievärde på 390 % medan aktieindex sjönk med 7 % (S&P 500 april 2000 – April 2012). En motsvarande studie i England visade också på klart bättre utveckling av aktiekursen för företag med hög kundnöjdhet än aktieindex totalt.

 

Sen så behöver inte kundnöjdhet vara prio nummer ett för att få ett bra finansiellt resultat. Det kan vara viktigare att få ner inköpspriserna eller att öka kundbasen. Men att strunta i kundnöjdheten vore oklokt om man tänker långsiktigt.

 
Relaterade tjänster:

Kundundersökning