Kategoriarkiv: Meningsmålinger

Drop enkeltmålingerne

Udgivet den af
2

Opdateret 15. september kl. 9:00 (5 målinger fra Gallup, Epinion, Megafon, Voxmeter og Rambøll)

Drop nu enkeltmålingerne og se på nogle gennemsnitsmål over tid i stedet. Nogenlunde sådan har jeg – og mange andre – sagt og skrevet den seneste uge. For hvad skal man stille op med 6 nye daglige meningsmålinger, som stritter indbyrdes?

Berlingske Barometer formidler sådan et dagligt gennemsnit, og dem ville jeg egentlig gerne anbefale. Men jeg ved ikke, hvordan de gør! “En avanceret model ligger til grund for beregningen” – sådan skriver de, på deres hjemmeside. Nogenlunde som ethvert andet analysefirma ville skrive det. Nå nej, Berlingske er jo ikke et analysefirma. Eller er de? Deres fremgangsmåde er under alle omstændigheder en forretningshemmelighed. Læseren må derfor bare stole på, at journalisterne og researchafdelingen er kloge og har ret. Hmm…

Jeg har derfor sat mig for hver dag at formidle et simpelt gennemsnit baseret på de seneste målinger fra 5-6 institutter* med svar indsamlet de seneste 3 dage** (tabellen opdateres dagligt – klik på den for fuld størrelse):


Nu er det simple gennemsnit jo hverken avanceret eller hemmeligt. Men baseret på de første 3 sammenligninger (4.-6.  5.-7.  og 6.-8. september) så rammer det en anelse anderledes end Berlingskes gennemsnit. Hvad kan det skyldes? Formentlig, at Berlingske medtager flere ældre målinger i deres vægtede gennemsnit. Det simple gennemsnit her på siden er i så fald mere følsomt over for dag-til-dag udviklinger.

Men er gennemsnittet så til at stole på? Ja, det lever i hvert fald op til kravene om aktualitet kombineret med mange svar, og det er givetvis bedre end alle de daglige enkeltmålinger. Med en stikprøve på ca. 6000 repræsentativt udvalgte svarpersoner bør gennemsnittet tegne et temmelig retvisende billede. Den matematiske usikkerhed er reduceret til maksimalt 1,3 procentpoint (plus/minus). Tjek selv med beregneren på denne hjemmeside (beregn usikkerhed 1 andel).

Vær opmærksom på, at der dagligt “kun” udskiftes ca. 2000 svarpersoner i de valgte målinger. Det betyder, at dag-til-dag udviklinger mellem blokkene baserer sig på disse 2000 nye svar – og ikke 6000 nye svar.

*Gennemsnittet er baseret på daglige målinger fra typisk Gallup, Epinion, Megafon, Voxmeter, Rambøll og Norstat.

**Svarene er indsamlet over tre dage. Institutterne anvender rullende målinger.

Rullende meningsmålinger og journalistiske fatamorganaer

Udgivet den af
Svar

Meningsmålingsinstitutterne benytter rullende målinger under valgkampen. En rullende måling består typisk af 2/3 svar, som er 1-3 dage gamle, og så 1/3 nye svar. Det betyder, at de målinger, vi præsenteres for som dugfriske og øjebliksbilleder, i virkeligheden for hovedpartens vedkommende består af gamle svar. Derfor ligner de hinanden. Derfor bider forskelle mellem institutterne sig fast. Og derfor er det et journalistisk fatamorgana, når man tror, at politisk spin, nye væksttal eller ny fnidder hos blå blok kan aflæses umiddelbart i de seneste målinger.

Læs hele blogindlægget på DMJXs valgblog

Læs også interview på journalisten.dk om samme

Eller hør indslag på P1-programmet  Detektor fra 7. september

Hvor peger pilen hen?

Udgivet den af
Svar

Opdateret 26. august kl. 21 med dagens meningsmålinger

Så blev spændingen udløst: Der er i dag knap tre uger til folketingsvalget. Men hvor peger pilen hen?

Her er august måneds meningsmålinger: 13 styk fra syv af landets meningsmålingsinstitutter. Heraf fire dugfriske (klik på tabellen for at se den i fuld størrelse):

Siden februar måned har stillingen mellem rød og blå blok været stort set uændret med procentfordelingen 53-47 i rød bloks favør. Der er små gennemgående forskelle mellem institutternes målinger. YouGov har svinget noget, ikke mindst i deres estimering af Liberal Alliance, som de ret konsekvent har skudt højere end alle tilsvarende målinger. På det seneste har YouGovs målinger dog rettet ind og lignet flertallets. Gallup har i 2011-målingerne typisk haft de to fløje mere lige, mens Epinion i de fleste samtidige målinger har haft en større føring til rød blok. Denne tendens fortsætter i dagens dugfriske målinger.

Gallup og Megafon spår et overraskende tæt løb. Tættere end i lang tid, hvis man ser bort fra enkeltstående målinger fra januar og maj måned. Men målinger fra Voxmeter og Epinion viser omvendt en konsolidering af forspringet til rød blok. Forskellene i målingerne kan ikke umiddelbart forklares med metodiske forskelle i indsamlingsmetode etc. Både Gallup og Epinion anvender en kombination af telefoninterviews og webpaneler med en nogenlunde ens fordeling. Kun YouGov anvender udelukkende webpanel – en metode, som indimellem får skyld for skæve udfald, men som finder større og større anvendelse og anerkendelse. Og YouGov er slet ikke blandt de seneste målinger.

Der tegner sig et mudret billede, og der vil sikkert blive spekuleret langt ud over, hvad der er dækning for, i den kommende tid. Men uanset hvad, så går vi nogle spændende uger i møde.

Hvad sker der med de meningsmålinger?

Udgivet den af
Svar

Så skete det igen. To samtidige meningsmålinger, der peger i hver sin retning. Gallup kom torsdag ud med en måling, der viste et overraskende svagt rødt flertal på 50,6 procent af stemmerne. Men senere samme dag kom Epinion så med en lige så dugfrisk måling, som viste et markant og øget rødt flertal på 55,5 procent af stemmerne.

Politiken konstaterede herefter, at meningsmålingerne er hamrende uenige, men lod det blive ved konstateringen. Berlingske Tidende gik videre og forsøgte at forklare, hvordan det kan lade sig gøre og hvad, der er op og ned. Jeg giver selv en forklaring i Berlingskes artikel.

Vi har det seneste års tid set flere af den slags – for mange mennesker overraskende – sammenfald af modstridende meningsmålinger, bl.a. efter Lars Løkke Rasmussens lancering af efterlønsreformen, som i en enkelt måling resulterede i en – tilsyneladende – voldsom borgerlig fremgang. Men er det nu så overraskende endda?

I de konkrete målinger, hvor de to blokke ligger tæt omkring 50 procent, er den statistiske usikkerhed ca. +- 3 procentpoint med 95 procents sikkerhed. Målingen, som viser ca. 51 procent til rød blok, indikerer altså, at befolkningens tilslutning til rød blok ligger mellem 48 og 54 procent. Men altså “kun” med 95 procents sikkerhed. Ca. hver 20. måling (de sidste 5 procent) vil give en forkert indikation af befolkningens tilslutning. Man vil med andre ord ca. hver 20. gang ramme mere skævt end +- 3 procentpoint med sin stikprøve. Og det endda under forudsætning af, at stikprøven er udtrukket korrekt, og at ingen andre faktorer spiller ind. Men det gør de.

Der er nemlig altid risiko for systematiske fejl, når man spørger levende mennesker. Eksemplerne er legio: Folk er i tvivl om, hvad de vil stemme, og hvor hårdt skal man så presse dem for et svar? Folk husker forkert, når de skal svare på, hvad de stemte ved seneste folketingsvalg. Folk svarer uærligt. Folk ønsker ikke at deltage eller kan ikke træffes med lav svarprocent som konsekvens. Osv. Osv. Med alle disse potentielle fejlkilder skulle man måske forvente, at institutterne ramte meget mere forbi, end tilfældet faktisk er. Meningsmålingsinstitutterne er imidlertid ret skrappe til at korrigere for potentielle fejl og “kvalitetssikre” deres stikprøver. Kvoter, stratificering, vægtning og miksede indsamlingsmetoder indgår i deres værktøjskasser.

Tilbage står dog, at modstridende og misvisende undersøgelser er umulige helt at undgå, og der er al mulig grund til at mejsle den kendsgerning fast i læserens bevidsthed. Man skal ikke tage enkeltmålinger FOR alvorligt.

Heldigvis er flere medier begyndt at gribe i egen barm og forholde sig kritisk til brugen af meningsmålinger som sandhedsvidne. Men som regel for en meget kort bemærkning. Det ville klæde medierne at indføre en fast varedeklaration på den slags undersøgelser og formidle resultaterne med de nødvendige forbehold.

Meningsmålinger i selvsving

Udgivet den af
2

“Radikale henter vælgere til rød blok“, viser ny Gallup-måling. Og “Afstanden mellem rød blok og blå blok bliver mindre“, viser ny Megafon-måling.

Vi oversvømmes i disse dage af meningsmålinger, og politikere, kommentatorer og valgforskere udlægger beredvilligt dagens marginale bevægelser. Ikke underligt, i en periode med udsigt til valg. Heller ikke underligt, at mange efterhånden har det siddende langt oppe i halsen.

Den seneste uge har budt på intet mindre end 6 dugfriske målinger:

(klik på tabellen for at se den i fuld størrelse)

Partierne svinger i målingerne omkring 1-3 procentpoint med de største udsving hos de største partier. Helt som forventet og alt sammen inden for den statistiske usikkerhed. Det eneste overraskende er, at Greens i deres måling har Liberal Alliance til blot at få 2,7 procent af stemmerne. Det ligner en forbier fra Greens – og ikke et udtryk for en faktisk vælgerbevægelse. Ja, indimellem skyder institutterne faktisk helt forbi i deres målinger. Ikke ofte, men det sker.

Målingerne giver alt i alt et udmærket fingerpeg om den aktuelle opbakning blandt vælgerne, og vi kan følge partiernes bevægelser over tid. Men om de Radikale står til 6 eller 7 procent, om SF står til 12, 13 eller 14 procent, og om Venstre står til 22, 23 eller 24 procent af stemmerne – det ved vi ikke. Valgforskerne ved det ikke. Politikerne ved det heller ikke. Til gengæld kan man se, at der ikke er noget i målingerne, som tyder på et vælgerskred.

Så der er faktisk ingen fornuftig grund til at spekulere for meget over de ganske små udsving i tallene. Men det gør man. De Radikales Morten Østergaard glæder sig over det tydelige skulderklap fra vælgerne. Socialdemokraternes gruppeformand, Carsten Hansen, glæder sig over ugens fremgang. Mens Venstre og SF tilsyneladende ikke har været friske på en kommentar til ugens “nedtur”.

Og vi andre kan blot konstatere, at der er gået selvsving i meningsmålingerne.

Thulesen Dahl kan sove roligt

Udgivet den af
Svar

Politiken præsenterer i dag endnu en Megafon-måling, hvor selv det største udsving, nemlig Venstres fremgang på 1,6 procentpoint, ligger inden for den statistiske usikkerhed. Med andre ord: Der er ikke nogen signifikante forskelle i forhold til målingen for en måned siden.

Den trykte avis konstaterer i overskriften, at der er ”Stilstand mellem blokkene”. En af tre kommentatorer, valgforsker Rune Stubager, siger i en kommentar, at ”Blokken er måske gået to mandater frem i forhold til sidste valg, men det er ikke statistisk sikkert”.

Det har han helt ret i.

Avisens dækning følger alligevel det forudsigelige spor:

  1. En meningsmåling viser meget små udsving. Ingen af disse udsving er statistisk holdbare, men mon ikke den politiske ordfører for det parti, der er gået mest frem, vil være rigtig glad for at få lov til at kommentere den?
  2. Jo, Venstres Ellen Trane Nørby vil da gerne i medierne med en begejstret kommentar til den tilsyneladende positive udvikling for hendes parti. Samtidig får målingens ”vinder” jo også lige indføjet en kommentar om ”den faldende arbejdsløshed og det skrumpende underskud i statskassen som positive resultater, som Danmark har blandt andet hendes parti at takke for”, og hvorfor skulle man dog gå glip af den mulighed for en politisk markering?
  3. Mon så ikke også, at en repræsentant for det parti, der tilsyneladende er gået mest tilbage, vil sige nogle ord om, at så lille en tilbagegang tillægger de da ikke nogen betydning?
  4. Jo, sørme om ikke Kristian Thulesen Dahl, Dansk Folkeparti, er citeret for disse ord: ”Udsving af den her størrelse tillægger vi ikke den store betydning”, og han vil i øvrigt ikke ligge søvnløs i nat på grund af det her.

Det har han absolut heller ikke nogen grund til på baggrund af denne måling. Spørgsmålet er, om målingen og især behandlingen af den får andre til at ligge vågen i bar ærgrelse over journalistikkens elendighed?

Eller måske skal vi bare resignere og sige som Oliver Zahle (Superhelten Pytmand): Pyt med det. For når Bermuda-trekanten af institutter, kommentatorer og politikere først får en lejlighed til at føre sig frem, så forsvinder fornuften ned i det sorte hul. Og det er der åbenbart ikke noget at gøre ved …

Links
Præsentationen af målingen på politiken.dk
Seneste måling hos Megafon
Tjek selv tallene på vores beregner.

Herunder er et screendump af beregneren, hvor tallene for Venstres andel af stemmerne i de to seneste målinger er indtastet.

Meningsmålinger med mening

Udgivet den af
Svar

Så har Berlingske lanceret et nyt stærkt værktøj i bestræbelserne på at opnå mere præcise meningsmålinger: Berlingske Barometer.

I princippet er opskriften på barometret ret enkel: Man tager den seneste måneds meningsmålinger fra en række udvalgte institutter og lægger dem sammen. På den måde opnår man en stikprøve, som er mange gange større end de sædvanlige 1000 personer. Samtidig vægter man målingerne, så de nyeste tæller betydeligt mere end de ældste. Det er væsentligt, for forskelle i nye og ”gamle” målinger kan dække over faktiske holdningsskred over perioden.

Vi får som læsere ikke den præcise opskrift på, hvordan målingerne vægtes. Det er ærgerligt og selvfølgelig en svaghed – vi vil jo gerne se Berlingske i kortene.

Men det ser lovende ud. Tidligere har Søren Risbjerg Thomsen, valgforsker og professor ved Institut for Statskundskab ved Aarhus Universitet, demonstreret, hvordan en lignende metode kunne slå samtlige individuelle målinger på præcision.

Samtidig tager Berlingske Barometer klart og tydeligt afstand fra at drage konklusioner på forskelle, som ligger inden for den statistiske usikkerhed.

Alt i alt et godt og tiltrængt initiativ!