Trehundratolv

Richard Öhrvall

Richard Öhrvall

Till sist tog supervalårets valrörelse slut och vi fick ett valresultat. En rad eftervalsdebatter har tagit vid. En sådan gäller opinionsmätningarna: på många håll verkar uppfattningen vara att de gav en felaktig bild av opinionsläget inför valet (se t.ex. härhär och här). Hade opinionsinstituten fel? Jag skulle vilja besvara den frågan med både ja och nej.

I tabellen nedan presenteras de fem stora opinionsinstitutens sista mätningar innan riksdagsvalet 2014. Den samlade bilden av mätningarna, eller om man studerade de olika sammanvägningar som presenterades, var att S+V+MP var större än Alliansen och att den skillnaden var ungefär 5-7 procentenheter. Valresultatet visade samma sak om än med en något mindre skillnad, 4,2 procentenheter. Opinionsmätningarna visade med andra ord tydligt vilken av sidorna som skulle bli störst. Dessutom pekade alla på att SD skulle växa rejält i förhållande till 2010 års val och bli tungan på vågen. Vidare var alla mätningar eniga om att alla partier som redan satt i riksdagen skulle fortsätta göra det. Slutligen visade de att Fi var nära att komma in, men den samlade bilden var att de antagligen inte skulle göra det.

Opinionsinstitutens sista mätningar inför riksdagsvalet 2014

Novus Sifo Ipsos Demoskop United Minds Valresultat
C 6,9 6,8 6,4 5,9 5,8 6,1
FP 5,6 6,5 5,7 6,8 5,5 5,4
KD 4,8 5,5 5,7 4,9 5,4 4,6
M 23,2 21,2 21,7 20,9 22,8 23,3
MP 8,8 8,3 10,3 9,7 8,7 6,9
S 30,9 32,2 28,6 29,2 31,1 31,0
V 6,1 6,3 7,4 7,2 5,7 5,7
SD 9,6 10,3 9,4 10,2 11,1 12,9
Fi 3,3 3,0 3,6 3,9 3,3 3,1
Alliansen 40,5 40,0 39,5 38,5 39,4 39,4
S+V+MP 45,8 45,7 46,3 46,1 45,4 43,6

 

I de alla de stora och avgörande frågorna gav opinionsmätningarna en bild som visade sig stämma med valresultatet. Men visst, det finns ett par plumpar i protokollet. Den första gäller MP: även om opinionsmätningarna indikerade att partiet tappade stöd var valresultatet lägre än vad samtliga mätningar indikerade. Det kan vara så att MP tappade ytterligare de sista dagarna, men det är ändå troligt att partiet överskattades en del av mätningarna. Omvänt så fick SD ett större stöd än i någon av mätningarna, vilket kan ses som ett tecken på att partiet underskattas i opinionsmätningar.

Även i de undersökningar som presenterades på valdagen underskattades SD. Det gällde SVT:s vallokalsundersökning Valu, som i likhet med i vårens EU-val hade en för hög skattning för Fi och en för låg för SD (se tidigare inlägg om EU-valet). I det här valet valde Metro/YouGov att bryta den tidigare överenskommelsen om att inte presentera väljarundersökningar gjorda på valdagen innan vallokalerna har stängt. Jag har tidigare skrivit om att jag tycker att det är ett olyckligt val. Framför allt ser jag risken att en sådan rapportering kan få vissa väljare att tro att valet är avgjort och att det inte spelar någon roll om de går och röstar eller inte. Som framgår av sammanställningen nedan var YouGov:s mätning inte bättre än de opinionsmätningar som gjordes tidigare i veckan. Betydligt sämre gick det för Novus mätning på valdagen. Även den presenterades innan vallokalerna hade stängt, om än bara en kort stund innan. Novus mätning hamnade riktigt snett och understryker ånyo att mätningar på valdagen riskerar att snarare vilseleda än vägleda väljarna.

SVT/Valu TV4/Novus Metro/YouGov Valresultat
C 6,5 7,7 6,5 6,1
FP 6,0 6,8 7,2 5,4
KD 5,0 5,7 5,6 4,6
M 22,2 22,8 20,4 23,2
MP 7,1 8,1 8,6 6,8
S 31,1 30,7 29,9 31,2
V 6,6 5,2 6,5 5,7
SD 10,5 8,3 10,2 12,9
Fi 4,0 4,4 3,6 3,1
Alliansen 39,7 43,0 39,7 39,4
S+V+MP 44,8 44,0 45,0 43,7

 

Jag skulle vilja hävda att det stora problemet är inte själva opinionsmätningarna, utan hur de tolkas. Jag kommer att återkomma till det i senare blogginlägg. Men en fråga har ändå väckts: varför underskattar opinionsinstituten SD? Det är framför allt två förklaringar som brukar lyftas fram. Den första är att de som röstar på SD uppger något annat parti när de blir tillfrågade. Det brukar ibland benämnas ”skämsfaktorn”. Den andra förklaringen är att SD:s sympatisörer inte ställer upp på undersökningar i samma utsträckning. Jag tror mer på den andra förklaringen, även om båda kan vara giltiga. Helt klart behövs mer studier för att bättre kunna hantera detta och bortfall mer generellt i kommande opinionsmätningar.

Är nätmätningar bättre? Vissa argumenterar för att årets val visar instituten som gör nätmätningar skulle vara bättre än traditionella mätningar. Argumentet går ut på att det är lättare för respondenter att uppge vilket parti de sympatiserar med då de svarar via dator än via t.ex. telefon. Tyvärr blandas olika saker samman. Det är möjligt att det är bättre att samla in partisympatier via dator än via telefon. Å andra sidan var YouGov:s mätning, som var via webben, inte bättre än övriga institut, som gjordes via telefon. Detta trots att YouGov:s mätning gjordes på valdagen då många redan hade röstat. Men framför allt har kritiken mot de institut som genomför nätmätningar inte gällt att data samlas in via dator, utan att de inte baseras på statistiska urval utan använder sig av självrekryterade paneler. Den vetenskapliga teorin bakom urvalsundersökningar baseras på sannolikhetsurval, vilket man inte har om man använder sig av självrekryterade paneler.

En invändning är att undersökningar med slumpmässiga urval i dag har så stora bortfall att det är lika bra med självrekryterade paneler. De studier som har gjorts hittills tyder inte på att så är fallet, men det kan ändras i takt med att bortfall ökar och andra metoder utvecklas. I vilket fall vore det bra för diskussionen vore det bra insamlingsmetod (webb, postenkät, telefon, etc.) hölls isär från urvalsmetod (slumpmässiga urval eller självrekryterade paneler). Och det vore välkommet om opinionsinstituten började redovisa hur stora bortfall de har.

Efter varje val är det alltid något som hävdar att något opinionsinstitut var ”bäst”, oftast det institut som hamnade närmast valresultatet. Det är för mig ett besynnerligt sätt att resonera, och något som indikerar att man inte riktigt har förstått det slumpmässiga i urvalsundersökningar. Som jag har visat i tidigare inlägg på annat håll finns det en slumpmässighet när man drar urval. Något institut kommer att alltid vara närmast valresultatet i ett val, men det behöver inte innebära att de genomför undersökningen på ett bättre sätt. Det kan lika gärna vara slumpens skördar. Om något institut i flera undersökningar eller i flera val hamnar riktigt snett kan man börja fundera på om inte gör något fel, men det går inte att dra sådana slutsatser av en enda val.

En nyhet inför årets val var att det fanns ett antal mer utvecklade valprognoser. Jag skrev om dem inför valet. Hur gick det för dem? Nja, inte så bra får man lov att säga. Bloggkollegan Anders Sundells prognoser var, som han själv uttrycker det, ”uppåt väggarna”. Men redan när Anders presenterade sina två prognoser framgick det att han inte riktigt trodde på dem. Doktoranden i statsvetenskap Daniel Walther vid Umeå universitet lade ut prognoser via sin blogg Trefyranio. Jag skrev tidigare att hans skattningar var osannolikt precisa givet att de presenterades långt innan valet. Och det visar sig nu i efterhand att konfidensintervallen för prognoserna för respektive parti i alltför många fall inte täckte de resultat som de senare fick. 

Även doktoranden i statistik Måns Magnusson och datajournalisten Jens Finnäs gjorde valprognoser via sajten Botten Ada. Där presenterade de på ett föredömligt sätt olika instituts mätningar och lyckades åskådliggöra osäkerheten i de mätningar som publicerades. Men deras prognos blev inte helt klockren. Jag skrev tidigare om att jag var förvånad över den sjunkande trend de trodde för SD och som senare inte visade sig stämma. De och Trefyranio förutspådde med hög sannolikhet i våras en majoritet för S+V+MP, vilket även det var lite förvånande givet opinionsläge.

På det hela taget gav inte prognoserna någon bättre information om opinionsläget än vad mätningarna själva gav. Samtidigt bör det nämnas att dessa prognoser var ett första försök. Både Botten Ada och Trefyranio ska ha en eloge för att de öppet redovisar den kod de har använt för sina prognoser. Den som vill förbättra dem kan ta vid och utveckla deras arbete. Och jag är rätt säker på att de kommer att förbättra sina prognoser till nästa val. Även om vi ännu inte har någon svensk Nate Silver som lyckas förutspå valresultatet kanske vi kan få det i kommande val.

Till sist var det två statsvetarprofessorer i Göteborg som också gjorde prognoser: Ulf Bjereld och Jonas Hinnfors. I dessa fall är det mer osäkert vad prognoserna baserades på. Hinnfors var säker på att KD skulle åka ut. Det visade sig vara helt fel. Och Bjereld förutspådde att Centerpartiet kunde bli valets vinnare i Alliansen. Det var dock en mer försiktig prognos, men även om Centerpartiet backade minst av Allianspartierna kan de knappast betecknas som en vinnare. En professorstitel garanterar med andra ord inte en träffsäker prognos.

Om bloggen



Välkommen till bloggen Trehundratolv! Här skriver jag om valstatistik, väljaropinion och annat som berör den svenska demokratin. Jag kommer även att ta upp statsvetenskapliga forskningsresultat och hur siffror och statistik presenteras i den politiska debatten under valåret 2014.

Namnet Trehundratolv kommer av att vi i år har 312 olika val där vi har möjlighet att välja politiska företrädare som sedan ska representera oss. Det är val i 290 kommuner, 20 landsting/regioner, 1 riksdag och 1 Europaparlament. De sträcker sig från kommunfullmäktigevalet i Bjurholms kommun med 2 000 röstberättigade till Europaparlamentsvalet med 400 miljoner i 28 länder. Tillkommer gör också ett antal lokala folkomröstningar i hela landet.

Jag har i över tio års tid arbetat med att analysera data i Sverige och andra delar av världen. I dag är jag doktorand i statsvetenskap vid Linköpings universitet, forskar vid Institutet för Näringslivsforskning och arbetar vid Statistiska centralbyråns enhet för demokratistatistik. De tankar jag framför här i bloggen är dock mina egna. Jag ingår även bland skribenterna bakom statsvetarbloggen Politologerna. Mer information om mig kan du hitta på min webbsida. Du är varmt välkommen att höra av dig med synpunkter och tips, antingen genom att lämna en kommentar till ett blogginlägg eller genom ett mejl till: richard.ohrvall@googlemail.com.

Hälsningar Richard Öhrvall

Arkiv

Fler bloggar