Kan man lita på opinionsmätningarna?

21 jun 2022

Valår! Det betyder ökat fokus på opinionsmätningar av väljares röstningsintentioner. Det är förstås inte så konstigt. Mätningarna är inte bara politisk underhållning. De fyller en viktig demokratisk funktion. I ett parlamentariskt flerpartisystem som det svenska är barometrarnas resultat avgörande för att väljare ska kunna agera rationellt.

Eftersom vi inte väljer regeringar utan partier och eftersom det finns en fyraprocentspärr är det helt nödvändigt att kunna ta hänsyn till partiers styrkeförhållanden inför ett val. Hur andra tänker rösta blir viktigt för den som önskar rösta strategiskt. Var femte väljare i Sverige röstar på ett annat parti än det som de tycker bäst om.

Den vanligaste frågan jag får om just opinionsmätningar är om det går att lita på dem. Svaret har, åtminstone hittills, varit ja. Valforskningsprogrammets sammanställningar av träffsäkerheten visar att väljarna varit bortskämda med bra mätningar. Sistamätningarna i slutskedet av valrörelsen brukar hamna så nära valresultatet som är rimligt att förvänta sig. Historiskt har instituten oftast klarat den magiska gränsen för träffsäkerhet: en procentenhets medelfel per parti.

Inför 2022 års val ser jag en risk att väljarna får ett sämre beslutsunderlag än normalt. Så vitt jag kan bedöma i skrivande stund kommer antalet mätningar vara färre än vid tidigare val. Och mätningar som publiceras kommer metodologiskt spreta mer än kanske någon gång tidigare. Det är olyckligt. I ett knepigt parlamentariskt läge och med tre partier nära fyraprocentspärren skulle väljarna behöva ha fler riktigt bra mätningar, inte färre.

Det pågår en livfull diskussion både innanför och utanför akademin om huruvida guldstandarden med sannolikhetsurval är nödvändig eller ens önskvärd att försvara. Utgångspunkten tycks vara att det existerar så stora problem med frågeundersökningar – sjunkande kontaktgrad och vikande svarsfrekvenser – att det behövs ett nytänk. Huvudargumentet är att det är möjligt att producera lika tillförlitliga populationsskattningar utan sannolikhetsurval som grund.

Jag tänker tvärtom. I en tid av stora utmaningar för surveymetodologin är försvaret av sannolikhetsurval högprioriterad. Jag blir provocerad när den grundläggande principen bakom all surveyforskning – sannolikhetsurvalet – beskrivs som att den skulle ha spelat ut sin roll. Den statistiska inferensteorins teorem utgör ju hela grunden till varför stickprovsundersökningar alls är möjliga. Surveyforskningens och surveybranschens auktoritetsanspråk står och faller med denna princip. Att försöka prata sig förbi de matematiska bevisen är ett effektivt sätt att såga av den enda gren man kan sitta på.

I många länder kan det vara ytterst svårt eller rentav omöjligt att dra bra sannolikhetsurval. I Sverige är det inte bara möjligt utan också billigt. För forskare och marknadsundersökningsföretag som verkar i Sverige finns därför ingen bra anledning att frångå användande av sannolikhetsurval. Dra statistiskt renläriga urval är i själva verket en av de få saker vi fortfarande kan göra helt i enlighet med den klassiska metodboken.

Med tjugofem års erfarenhet av alla olika typer av urval och datainsamlingsmetoder har jag kommit fram till en tydlig slutsats: Genom att börja rätt – med sannolikhetsurval — har man mycket bättre möjligheter att kunna ta sig an alla de andra verkliga utmaningar som surveyundersökningar för med sig. I det långa loppet och för de allra flesta situationer är slumpmässiga urval det mest robusta.

Samtidigt. Med hjälp av stora mängder redan existerande hjälpinformation har jag själv gjort erfarenheten att även icke sannolikhetsurval kan fungera effektivt för vissa typer av mätningar och i vissa situationer. I ett ytterst stabilt politiskt system där hälften av väljarna aldrig byter parti är mätandet av röstningsintentioner i ett tänkt riksdagsval ett sådant specialfall. Men det fungerar alltså bara bra när solen skiner: Om alla skulle göra så där hela tiden för alla slags mätningar skulle vi snart famla i mörkret. Om man vill mäta andra saker eller mäta under perioder med stora strukturella förändringar är det tryggaste och smartaste alternativet att tryggt förlita sig på slumpmässiga urval.

Akademisk forskning och marknadsundersökningsföretag lever på många sätt i skilda världar. Forskningsbaserade surveyundersökningar som sådana jag själv ansvarar för ska leva upp till höga krav när det gäller forskningsetik, urvalsdesign, transparens, dokumentation, arkivering, framtidssäkring och tillgängliggörande. Sannolikhetsurval från befolkningsregister och blandade datainsamlingar gör att vi kan söka alla (rena webbundersökningar utesluter omkring var sjunde medborgare!). Alla vill inte vara med. Men vi söker alla. Det är en viktig demokratisk princip. Vi samlar inte in mer data än vad vi behöver och vi dokumenterar så att andra forskare och eftervärlden enkelt ska kunna använda dem. Det är en hederssak att vi kan visa våra svarande att data kommer till användning, inte bara en enda gång, utan många gånger både nu och långt in i framtiden. Våra undersökningar ska inte vara några tomtebloss som snabbt brinner ut. De är investeringar i vår kunskap om samhället. Oftast blir insamlade data mer värdefulla ju längre tiden går.

Det är lätt att vi som genomför stora frågeundersökningar för forskning uppfattas som att vi sätter oss på höga hästar. Inför de forskningsråd som bekostar de stora surveyprogrammen går det tack och lov fortfarande att argumentera framgångsrikt för att det behöver satsas mer resurser på att planera, genomföra, bearbeta, analysera, dokumentera, arkivera och framtidssäkra surveyundersökningar.

Utifrån ett forskningsperspektiv känns det självklart att ställa lika höga krav på marknadsundersökningsföretag som ju ofta lyfter fram sig själva som kunskaps- och forskningsbaserade. Därför fortsätter vi tjata: Även undersökningsföretag bör konkurrera med transparens genom att detaljbeskriva sina urvalsdesign, beräkna mått på representativitet och svarsfrekvens i enlighet med internationella överenskommelser, och dokumentera, tillgängliggöra och arkivera data så att de kommer till större användning. Långsiktigt är det endast så som vi kommer kunna fortsätta skryta med att svenska väljare har god tillgång till bra opinionsmätningar i samband med valen. 

Texten är skriven av Henrik Ekengren Oscarsson, professor i statsvetenskap vid Göteborgs universitet.

Denna text är också publicerad i det senaste numret av statistikfrämjandets tidning Qvintensen https://statistikframjandet.se/qvintensen/start/

Foto: Tumisu, Pixabay

 

Senaste nytt

Australiensisk studie relaterad till ESS

Australiensisk studie relaterad till ESS

Den australiensiska webbpanelen Life in Australia har samlat in data som nu kan jämföras med data från den nionde omgången av European Social Survey (ESS), som genomfördes 2018/2019. I webbpanelstudien som pågick mellan den 17 februari och den 2 mars 2020, fanns 163...

SHAREs långsiktiga framtid

SHAREs långsiktiga framtid

Forskningsinfrastrukturen SHARE (the Survey of Health, Ageing and Retirement in Europe) är en tvärvetenskaplig intervjubaserad undersökning som studerar hälsa samt sociala, ekonomiska och miljöpolitiska effekter på europeiska medborgare. Sedan den första...

ESS planerar att ändra datainsamlingsmetod

ESS planerar att ändra datainsamlingsmetod

Den europeiska studien European Social Survey (ESS) planerar att ändra datainsamlingsmetod från personliga intervjuer till webbaserade enkäter. Efter noggrant övervägande har ESS General Assembly bestämt att gå vidare med planeringen av att fortsättningsvis genomföra...