Hvernig eru skekkjumörk í skoðanakönnunum reiknuð út?

Nafn þitt

Netfang þitt

Netfang móttakanda

Ruslpóstvörn =

Svar

Hvernig eru skekkjumörk í skoðanakönnunum reiknuð út?
Upprunalega spurningin hljóðaði svona:

Hvernig er hægt að finna skekkjumörk (t.d. hjá fylgi stjórnmálaflokka í könnunum)?

Þegar við sjáum niðurstöður úr spurningakönnunum þar sem fylgi stjórnmálaflokka er metið, þá eru þær byggðar á svörum hóps fólks sem við köllum úrtak. En hvernig getur úrtak endurspeglað alla kjósendur á Íslandi, sem er kallað þýði og hvernig vitum við hversu nákvæmar þessar niðurstöður eru? Til að átta okkur á því þurfum við að skilja hvað vikmörk (e. confidence interval),^[1] sem eru oft kölluð öryggisbil eða óvissubil, eru og hvernig þau eru reiknuð.

Tölfræðingar tala um villu þegar munur er á því sem á að mæla í könnunum og raunverulegu gildi. Þó notast sé við orðið villa er ekki þar með sagt að eitthvað sé að mælingunni, því villa getur verið tvenns konar:

1. Tilviljunarvilla: Lýsir þeirri óvissu sem stafar af því að við erum að spyrja lítinn hluta af þýðinu. Ef við myndum endurtaka könnunina með nýju úrtaki, gætu niðurstöðurnar breyst örlítið vegna hreinnar tilviljunar. Þessi skekkja minnkar þegar úrtakið stækkar. Stærra úrtak gefur nákvæmari mynd af heildinni ef aðeins er um tilviljunarkennda skekkju að ræða.
2. Kerfisbundin villa: Stafar af því að eitthvað í ferlinu veldur því að niðurstöðurnar bjagast í ákveðna átt. Til dæmis ef hópurinn sem var spurður er ekki lýsandi fyrir allt samfélagið, eða ef ákveðnir hópar svara síður könnunum. Stærð úrtaksins hjálpar ekki við að minnka þessa skekkju; við þurfum að tryggja að úrtakið sé rétt valið og að það endurspegli þýðið nokkurn veginn.

Vikmörk eru reiknuð til að geta sagt til um hversu mikil óvissa fylgir svonefndu punktmati (e. point estimate). Tökum dæmi um fylgiskönnun sem byggir á 1000 svörum. Í því tilviki væri dæmi um punktmat að Flokkur X mælist með 50%. En sökum tilviljunarvillu getum við ekki með góðum hætti fullyrt að Flokkur X sé í raun með 50% fylgi, heldur getum við aðeins fullyrt með 95% vissu að flokkurinn sé með fylgi á bilinu 46,9% og 53,1%. Vikmörk þarf því að reikna í báðar áttir út frá punktmati, neðri mörk og efri mörk. Allt fylgi innan þess bils telst innan vikmarka miðað við þá vissu sem við gáfum okkur. Ef talið er upp úr kjörkössunum og í ljós kemur að Flokkur X hefur hlotið 47% atkvæða, þá getur vel verið að munurinn á kosningaúrslitum og punktmati í könnuninni okkar sé tilkominn fyrir hreina tilviljun.

En hvernig voru vikmörkin fyrir Flokk X reiknuð? Til að reikna stöðluð vikmörk fyrir tilviljunarkennda skekkju er notuð einföld jafna sem tekur tillit til stærðar úrtaksins og niðurstöðunnar úr könnuninni:

$$ p \pm 1,96 \times \sqrt{\frac{p(1 - p)}{n}}$$

Þar sem:

• p er hlutfallið sem mælist (t.d. 0,3 fyrir 30%)
• n er fjöldi svarenda
• 1,96 er Z gildið sem gefur 95% öryggisbil þegar við nálgum hlutfallið með normaldreifingu^[2]

Dæmi: Ef flokkur mælist með 30% fylgi í 1000 manna könnun: $$\pm 1,96 \times \sqrt{\frac{0,3 \times 0,7}{1000}} = \pm 2,8\%$$

Þetta þýðir að með 95% öryggi er hægt að fullyrða að raunverulegt fylgi flokksins sé á bilinu 27,2% til 32,8%. Nánar tiltekið, ef við myndum endurtaka nákvæmlega sömu könnun óendanlega oft myndu vikmörkin okkar ná utan um rétt gildi í 95 af hverjum 100 könnunum. Athugið að þessi jafna vísar í vikmörk eins flokks, en ef verið er að skoða muninn á fylgi flokka þarf að beita annarri jöfnu, þar sem reiknuð eru vikmörk fyrir mun fylgis að teknu tilliti til samlagðrar dreifni (e. pooled variance).

Eins og sjá má af jöfnunni hér að ofan hefur þrennt áhrif á spönn vikmarka:

1. Stærð úrtaksins. Því fleiri sem taka þátt í könnuninni, því minni verður tilviljunarkennda skekkjan. Þetta er vegna þess að tölfræðileg óvissa minnkar með stærð úrtaks.
2. Hlutfallið sem mælt er. Skekkjumörkin eru einnig háð því hversu hátt hlutfallið er sem verið er að mæla. Skekkjan er mest þegar hlutfallið er nálægt 50% (0,5 x 0,5 = 0,25) og minnst þegar það er nálægt 0% eða 100% (t.d. 0,1 x 0,9 = 0,09).
   Fyrir dæmigerða skoðanakönnun með 1000 manna úrtaki eru vikmörkin um það bil: - ±3,1% fyrir flokk með 50% fylgi - ±2,7% fyrir flokk með 30% eða 70% fylgi - ±1,9% fyrir flokk með 10% eða 90% fylgi.
3. Með hversu mikilli vissu viljum við geta fullyrt. Í flestum fylgiskönnunum er notast við 95% vikmörk, en í sumum tilvikum viljum við geta fullyrt með meiri eða minni öryggi. Við getum notað mismunandi gildi úr normaldreifingu (svokölluð Z-gildi) til að breyta spönn vikmarkanna. Til að mynda myndi Z-gildi upp á 2,58 stækka vikmörkin, þannig að hægt sé að fullyrða með 99% öryggi. Meira öryggi eykur líkurnar á að vikmörkin muni ná utan um rétt gildi, en aftur á móti mun þá bilið stækka.

Vikmörk eru gagnleg því þau gefa til kynna hversu mikil óvissa er um punktmat á borð við fylgi flokks. En vikmörk taka aðeins tillit til tilviljunarvillu og eins og áður sagði geta ýmsar aðrar ástæður verið fyrir því að munur er á fylgismælingum í könnunum og kosningaúrslitum. Huga þarf að fjölmörgu öðru til að tryggja réttmæti og áreiðanleika spurningakannana svo sem:

• Hvernig er valið í úrtakið
• Hversu hátt er svarhlutfallið
• Hver er samsetning svarenda
• Er notast við tölfræðilegar leiðréttingar á borð við vigtun
• Hversu löngu fyrir kosningar er fylgið mælt

Það gefur því augaleið að munur getur verið á fylgiskönnunum og kosningaúrslitum, en vikmörk gefa okkur vísbendingu um hvort sá munur sé tilkominn vegna tilviljunar eða ekki.

Tilvísanir:

1. ^ Orðið öryggisbil er gjarnan notað yfir sama hugtak, en í þessu svari munum við notast við orðið vikmörk.
2. ^ Gildið 1,96 kemur úr normaldreifingu og er það gildi sem afmarkar 95% af dreifingunni, þ.e. 2,5% af dreifingunni er fyrir neðan -1,96 og 2,5% fyrir ofan +1,96. Þetta gildi er oft táknað með Z og er fengið úr tölfræðitöflum fyrir normaldreifingu.

Heimildir og mynd:

• Agnar Freyr Helgason og Eva H. Önnudóttir. 2024. Fylgiskannanir: Ónákvæmar, ómarktækar, leiðandi og villandi? Í Hulda Þórisdóttir, Agnar Freyr Helgason, Eva H. Önnudóttir, Jón Gunnar Ólafsson og Ólafur Þ. Harðarson (ritstjórar), Lognmolla í ólgusjó: Alþingiskosningarnar 2021 og kjósendur í áranna rás (bls. 209-230). Háskólaútgáfan.
• Biemer, Paul P. 2010. Total Survey Error: Design, Implementation, and Evaluation. Public Opinion Quarterly, 74(5), 817-848. https://doi.org/10.1093/poq/nfq058
• Hafsteinn Einarsson. 2024. Áhrif blandaðrar gagnaöflunar á brottfall í Íslensku kosningarannsókninni 2021. Veftímaritið Stjórnmál og stjórnsýsla 20 (1): 139–56. https://doi.org/10.13177/irpa.a.2024.20.1.7.
• Kalton, Graham og Ismael Flores-Cervantes. 2003. Weighting Methods. Journal of Official Statistics 19 (2): 81–97.
• Neyman, Jerzy. 1937. Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability. Philosophical Transactions of the Royal Society of London. Series A, Mathematical and Physical Sciences 236 (767): 333–80. https://doi.org/10.1098/rsta.1937.0005
• Yfirlitsmynd: NormalDist1.96.png. Wikimedia Commons. Birt undir CC BY-SA 3.0 leyfi. (Sótt 26.11.2024).

...