Kriget om opinionsmätningarna

Måndagen den 15 september 2014 vaknade Torbjörn Sjöström med en gnagande känsla. Som vd på opinionsinstitutet Novus insåg han, liksom alla andra, att stödet för Sverigedemokraterna hade underskattats.

Grovt.

Det är allvar nu. Ge ett bidrag till ETC Stödfond för att säkra utgivningen av Sveriges enda rödgröna dagstidning. Använd ETC Varuhuset eller:
Swisha: 123 508 754 9
BG: 5372-9141

I sista mätningen före valet spådde Novus 9,6 procents väljarstöd för SD.

När rösterna var räknade landade partiet istället på 12,9 procent.

En miss på över tre procentenheter, långt utöver den statistiska felmarginalen. De andra mätinstituten hade gjort liknande felbedömningar. Underskattningen var störst hos Skop som missade med nästan 5 procentenheter. Sentio, som baserade sina mätningar på självrekryterade webbpaneler – en metod som de traditionella opinionshusen hela valrörelsen fnyst åt som ovetenskaplig humbug – låg närmast med bara 0,2 procentenheter fel.

Var det ett utslag av att även en blind höna hittar ett korn ibland. Eller något annat?

På Novus sattes en febril jakt igång för att lokalisera felkällorna. Osäkra väljare ringdes upp. Vallokalsundersökningar jämfördes med telefonintervjuer. Skillnader i enkätsvar på webben analyserades. Ganska snart stod det klart att Sverigedemokraternas väljare varit mycket mindre benägna att säga vilket parti de skulle rösta på när de fick frågan av en okänd människa på telefon. Misstron mot samhället återspeglades inte bara i det ökade stödet för partiet, utan också i hur människor betraktade själva mätinstituten.

– I vår eftervalsanalys såg vi att många människor var rädda för att bli åsiktsregistrerade, att de plötsligt skulle dyka upp i Expressen om de sa att de röstade på SD. Jag talade till och med med personer som använde sig av anonymiseringsverktyg när de skulle göra valkompasser på nätet av rädsla för att bli registrerade, säger Torbjörn Sjöström.

Det Novus och alla andra mätinstitut stod inför på morgonen den 15 september var med andra ord inte så mycket en mätkris som en förtroendekris. Frågan var bara hur den skulle hanteras. Om människor inte svarar ärligt när man frågar dem, hur ska man då veta vad de egentligen tycker?

***

Vi spolar fram fyra år. Trots den ökade osäkerheten kring opinionsmätningarnas träffsäkerhet har årets valrörelse kanske mer än något annat val kretsat kring just dessa. Med Miljöpartiet och Kristdemokraterna nära spärren, skillnaden mellan blocken marginell och Sverigedemokraterna som potentiellt andra största, eller till och med största parti, har varje mätning öppnat för en ny analysfest av hur det ska gå den 9 september. De sista två veckorna före valet har SvD/Sifo publicerat en ny väljarbarometer varje dag. Drygt 2 500 slumpmässigt utvalda personer från 18 år och uppåt har tillfrågats via telefon och webb. Den 31 augusti publicerade Demoskop, Sifo, Inizio, Sentio och Skop fem nya mätningar inom loppet av bara några timmar.

Det var spridda skurar, minst sagt.

Kris för Moderaterna, konstaterade Expressen som betalar för Demoskops mätning, medan Skops mätning tvärtom visade på en återhämtning och nåt slags Dressman-effekt för Ulf Kristersson. Uppgång för Socialdemokraterna i Sentio, nedgång i Inizio. KD nära spärren i Demoskops mätning, närmare sju procent i Skop. Och så vidare.

Störst skillnad är det alltjämt mellan opinionsinstitutetens siffror för Sverigedemokraterna. I de senaste mätningarna pendlar väljarstödet mellan 16 och 25 procent, vilket med tanke på det parlamentariska läget är ganska mycket. Ur ett rent statistiskt perspektiv monumentalt mycket. Inte minst för en bransch som livnär sig på att basunera ut statistiskt säkerställda verklighetsbeskrivningar. Och som sedan valet 2014 alltså försökt återupprätta trovärdigheten för sina mätningar.

– Skillnader på uppemot 7 procent mellan olika mätningar vid samma tidpunkt är mycket mer än vad som går att härleda till en statistisk felmarginal, säger Anders Sundell, statsvetare vid Göteborgs universitet.

Han poängterar att alla undersökningar har en viss statistisk osäkerhet. Det går inte att göra två undersökningar som visar exakt samma resultat såvida man inte tillfrågar alla människor i hela landet. Vid ett slumpmässigt urval blir det därför alltid en differens på runt en procent. Att dra slutsatser om varför ett visst parti ökat eller sjunkit med en procent mellan två mätningar blir med andra ord som att dra slutsatser av något som lika gärna kunde vara tvärt om.

En analys som statsvetarna Jesper Strömbäck och Per Oleskog Tryggvason gjort av samtliga artiklar där Dagens Nyheter, Svenska Dagbladet och Expressen redovisat sina partisympatiundersökningar vid föregående val visar också att tidningarna i nästan hälften av fallen rapporterat om just sådana icke signifikanta förändringar. Artiklarna handlade med andra ord om saker som kanske inte ens hade hänt.

– Det visar varför det är helt orimligt att dra några slutsatser av små förändringar i opinionsundersökningarna. Det blir som att försöka se mönster i myrornas krig på tv, säger Anders Sundell.

En felmarginal på runt en procent förutsätter dessutom att alla tillfrågade i undersökningen svarar på frågan, eller ens lyfter luren – annars ökar osäkerheten ytterligare, poängterar han. Och att svara i telefon blir allt ovanligare. Speciellt bland unga människor. Därför har mätinstituten börjat blanda olika metoder och frågor för att väga upp för skevheten i svarsfrekvens och urval. Och häri ligger troligtvis förklaringen till att skillnaderna mellan de olika mätningarna idag rasat iväg långt utanför den statistiska felmarginalen.

Först ut var Novus. Efter att ha identifierat felkällan i valet 2014 började Torbjörn Sjöström snickra på en metod för att mäta stödet för SD, även om väljarna inte ville uppge partisympati. Lösningen blev att ställa ett antal följdfrågor utöver frågan om vilket parti väljarna skulle rösta på om det vore val idag. Frågor såsom vilket parti de tycker är minst dåligt, eller vilket parti de lutar åt, eller kanske vad de anser om invandring. Exakt vilka frågor de lagt till vill Novus inte avslöja, men efter att de infördes hände något i deras undersökningar: Sverigedemokraterna hamnade plötsligt tre procentenheter högre än i konkurrenternas mätningar.

Avsteget från den statistiskt säkerställda metoden orsakade en intensiv debatt i branschen och bland statsvetare. Fick man verkligen göra så? Var det ens vetenskapligt försvarbart att börja vikta svaren för att gissa sig fram till en sannare bild av verkligheten?

Därom tvistade de lärda, men det hela mynnade i varje fall ut i att de andra opinionsmätarna successivt började göra likadant.

Fast ännu mer.

Idag är det ingen av mätinstituten som vill redovisa exakt hur deras mätningar går till, men i princip alla har gjort förändringar i sina mätmetoder sedan förra valet för att bättre fånga framförallt Sverigedemokraternas väljare.

Ingen vill stå med lång näsa dagen efter valet även i år.

Anders Sundell suckar:

– Det här är ett rörligt mål, de effekter som påverkade skevheter i mätningarna vid förra valet vet man inte om de fortfarande gäller. Så beroende på hur man gör kan det lika gärna bli fel åt ett annat håll, säger han.

Risken finns också att ju mer opinionsinstituten gissar, desto mer sneglar de på varandra för att förvissa sig om att de inte är ute och cyklar. Anders Sundell lyfter ett varnande exempel från Storbritannien där ett liknande flockbeteende gjorde att ett bolags mätning som pekade mot att det faktiskt skulle bli en Brexit aldrig publicerades eftersom den skilde sig så mycket från alla andra mätningar.

Till historien hör att opinionsmätningar idag är en hårt konkurrensutsatt bransch i Sverige där tio olika bolag tävlar med varandra, inte bara om att komma så nära valresultatet som möjligt, utan också om insamlandet av alla möjliga åsikter som företag, organisationer och partier idag vill ha för att finjustera sin marknadsföring. Hur väljarsympatier mäts har de senaste åren därmed gått från ett textboksexempel i A-kursen i statistik till väl bevarade affärshemligheter.

Och även om mätningarna precis runt valet utgör en relativt liten del av institutens verksamhet och intäkter, innebär det stora utrymmet i medierna bra PR som stärker trovärdigheten för varumärket och öppnar för nya uppdrag.

I nästa led konkurrerar även väljarbarometrarnas beställare, mediehusen, med varandra om att presentera de mest intresseväckande (läs klickvänliga) nyheterna om hur opinionen rör sig. På så vis har en symbios byggts upp mellan medieföretagen och opinionsinstituten där många mätningar på så kort tid som möjligt är bra business för båda.

Men kanske inte för väljarna.

Bristen på transparens gör att det blivit svårare för väljarna att själva navigera mellan de olika mätningarna och värdera deras relevans. Annika Fredén, doktor i statsvetenskap vid Karlstad universitet, och har i sin forskning också visat att opinionsundersökningar i sin tur kan ha en opinionsbildande effekt. Bland annat genom att etablerade partier som i opinionsmätningar ligger under spärren tenderar att få fler röster, liksom att uppstickare som närmar sig spärren kan få fler att överväga en röst på partiet. Det finns också vissa belägg för att goda eller dåliga opinionssiffror i medierna förstärker sig själva – så kallade band-wagon-effekter.

I kombination med att partisympatiundersökningar blivit allt osäkrare finns därmed en risk för att opinionsmätningarna fått en allt mer aktiv roll i valrörelserna, snarare än att bara passivt återspegla verkligheten.

Kent Asp, professor i journalistik, har tillsammans med Johannes Bjerling studerat valrörelserna 1979–2010 och bland annat kunnat konstatera att det finns ett tydligt samband mellan hur partierna framställs i media och hur det går för dem i valet. Kent Asp menar också att medierna är väl medvetna om att de skarpa vinklingarna ofta bygger på osäkra underlag, men att de kör på ändå – inte minst för att mätningarna kostar pengar.

– Det här är ett elände. Eftersom mediehusen redan betalt för undersökningarna måste de hitta något i resultaten som är värt pengarna, och då sätts hela nyhetsvärderingen ur spel, säger han till ETC.

Annika Fredén tycker samtidigt att det är bra att det finns ett brett spektrum av mätningar idag eftersom det gör det lättare att urskilja trender när flera av dem pekar åt samma håll. Även om det också ställer stora krav på väljaren att navigera mellan alla barometrar.

– Idag finns inte bara en valrörelse, det finns en mängd olika kanaler där väljarsympatier och trender framställs på helt olika sätt.

Ett annat ord för det är filterbubblor. En snabb titt på några av de så kallade alternativa medierna på nätet räcker för att få en inblick i hur annorlunda valrörelsen ser ut från en högerextremistisk horisont. Även här tar opinionsmätningar stor plats i rapporteringen, men nästan uteslutande från ett och samma företag – Yougov. Ett mätinstitut vars väljarbarometrar beställs av tidningen Metro och helt baseras på webbundersökningar där de som svarar själva anmält sitt intresse för att delta, så kallade självrekryterade webbpaneler.

Populariteten på högerkanten beror troligtvis på att Yougov konsekvent värderar stödet för Sverigedemokraterna långt högre än de andra instituten. Även det högerextrema utbrytarpartiet Alternativ för Sverige har fått över två procent i deras mätningar, medan de inte ens registrerats i andra undersökningar eftersom de varit så små. Sedan i våras har SD varit överlägset största parti i Yougovs väljarbarometer och i juni nådde de en rekordnotering på 28,5 procents väljarstöd medan Socialdemokraterna landade på 22. Partisekreterare Richard Jomshof kommenterade de ”helt fantastiska” siffrorna:

– Det stärker bilden av att vi befinner oss i en uppgång. Det är ett drömläge så här nära ett val, sa han till Metro.

I SCB:s stora partisympatiundersökning som presenterades ungefär samtidigt som Yougovs juni-mätning hamnade SD samtidigt en bra bit under ”drömläget” på 18,5 procent. Hela 10 procentenheter lägre.

Och frågan är vad det skulle innebära om stödet för partiet i själva verket var mycket mindre i verkligheten än vad Yougov påstår. SD:s starka medvind i opinionsmätningarna har onekligen påverkat både normaliseringen av partiet och andra partiers benägenhet att anpassa sin egen politik.

Torbjörn Sjöström på Novus tror att Yougov kraftigt övervärderar väljarstödet.

– Det enkla svaret är att man inte kan göra några enkla populationsuppskattningar från självrekryterade paneler, för då frångår man den vetenskapliga metoden. Men om man gång på gång säger att de är det största partiet så skapar man samtidigt en bild som i sig kanske påverkar valet. Det kan det nog bli väldigt livliga diskussioner om efter den 9 september.

Lars Gylling, kommunikationschef på Yougov, avfärdar kritiken och tror tvärt om att det är de andra opinionsinstituten som underskattar läget för SD, precis som vid förra valet.

– Vi har sett samma sak i Norge och Danmark att när ett parti växer och nästan fördubblar sitt väljarstöd så är det inte helt enkelt att mäta. Som jag ser det är det framförallt väljarströmmarna från Moderaterna och Socialdemokraterna som vi bedömer lite olika.

Han menar också att man får en annan bild av människors åsikter när man använder anonyma formulär på webben jämfört med telefonsamtal. Inte minst vad gäller frågor som rör nationalism och invandring.

Men det finns också en tredje förklaringsmodell till varför Sverigedemokraterna är så mycket större i just självrekryterade webbpaneler: högerpopulisternas aktiva och målmedvetna närvaro på nätet för att verka opinionsbildande och flytta fokus till deras egen planhalva.