Forfatterarkiv: Kresten Roland Johansen

Rullende meningsmålinger og journalistiske fatamorganaer

Udgivet den af
Svar

Meningsmålingsinstitutterne benytter rullende målinger under valgkampen. En rullende måling består typisk af 2/3 svar, som er 1-3 dage gamle, og så 1/3 nye svar. Det betyder, at de målinger, vi præsenteres for som dugfriske og øjebliksbilleder, i virkeligheden for hovedpartens vedkommende består af gamle svar. Derfor ligner de hinanden. Derfor bider forskelle mellem institutterne sig fast. Og derfor er det et journalistisk fatamorgana, når man tror, at politisk spin, nye væksttal eller ny fnidder hos blå blok kan aflæses umiddelbart i de seneste målinger.

Læs hele blogindlægget på DMJXs valgblog

Læs også interview på journalisten.dk om samme

Eller hør indslag på P1-programmet  Detektor fra 7. september

Hvor peger pilen hen?

Udgivet den af
Svar

Opdateret 26. august kl. 21 med dagens meningsmålinger

Så blev spændingen udløst: Der er i dag knap tre uger til folketingsvalget. Men hvor peger pilen hen?

Her er august måneds meningsmålinger: 13 styk fra syv af landets meningsmålingsinstitutter. Heraf fire dugfriske (klik på tabellen for at se den i fuld størrelse):

Siden februar måned har stillingen mellem rød og blå blok været stort set uændret med procentfordelingen 53-47 i rød bloks favør. Der er små gennemgående forskelle mellem institutternes målinger. YouGov har svinget noget, ikke mindst i deres estimering af Liberal Alliance, som de ret konsekvent har skudt højere end alle tilsvarende målinger. På det seneste har YouGovs målinger dog rettet ind og lignet flertallets. Gallup har i 2011-målingerne typisk haft de to fløje mere lige, mens Epinion i de fleste samtidige målinger har haft en større føring til rød blok. Denne tendens fortsætter i dagens dugfriske målinger.

Gallup og Megafon spår et overraskende tæt løb. Tættere end i lang tid, hvis man ser bort fra enkeltstående målinger fra januar og maj måned. Men målinger fra Voxmeter og Epinion viser omvendt en konsolidering af forspringet til rød blok. Forskellene i målingerne kan ikke umiddelbart forklares med metodiske forskelle i indsamlingsmetode etc. Både Gallup og Epinion anvender en kombination af telefoninterviews og webpaneler med en nogenlunde ens fordeling. Kun YouGov anvender udelukkende webpanel – en metode, som indimellem får skyld for skæve udfald, men som finder større og større anvendelse og anerkendelse. Og YouGov er slet ikke blandt de seneste målinger.

Der tegner sig et mudret billede, og der vil sikkert blive spekuleret langt ud over, hvad der er dækning for, i den kommende tid. Men uanset hvad, så går vi nogle spændende uger i møde.

Hvad sker der med de meningsmålinger?

Udgivet den af
Svar

Så skete det igen. To samtidige meningsmålinger, der peger i hver sin retning. Gallup kom torsdag ud med en måling, der viste et overraskende svagt rødt flertal på 50,6 procent af stemmerne. Men senere samme dag kom Epinion så med en lige så dugfrisk måling, som viste et markant og øget rødt flertal på 55,5 procent af stemmerne.

Politiken konstaterede herefter, at meningsmålingerne er hamrende uenige, men lod det blive ved konstateringen. Berlingske Tidende gik videre og forsøgte at forklare, hvordan det kan lade sig gøre og hvad, der er op og ned. Jeg giver selv en forklaring i Berlingskes artikel.

Vi har det seneste års tid set flere af den slags – for mange mennesker overraskende – sammenfald af modstridende meningsmålinger, bl.a. efter Lars Løkke Rasmussens lancering af efterlønsreformen, som i en enkelt måling resulterede i en – tilsyneladende – voldsom borgerlig fremgang. Men er det nu så overraskende endda?

I de konkrete målinger, hvor de to blokke ligger tæt omkring 50 procent, er den statistiske usikkerhed ca. +- 3 procentpoint med 95 procents sikkerhed. Målingen, som viser ca. 51 procent til rød blok, indikerer altså, at befolkningens tilslutning til rød blok ligger mellem 48 og 54 procent. Men altså “kun” med 95 procents sikkerhed. Ca. hver 20. måling (de sidste 5 procent) vil give en forkert indikation af befolkningens tilslutning. Man vil med andre ord ca. hver 20. gang ramme mere skævt end +- 3 procentpoint med sin stikprøve. Og det endda under forudsætning af, at stikprøven er udtrukket korrekt, og at ingen andre faktorer spiller ind. Men det gør de.

Der er nemlig altid risiko for systematiske fejl, når man spørger levende mennesker. Eksemplerne er legio: Folk er i tvivl om, hvad de vil stemme, og hvor hårdt skal man så presse dem for et svar? Folk husker forkert, når de skal svare på, hvad de stemte ved seneste folketingsvalg. Folk svarer uærligt. Folk ønsker ikke at deltage eller kan ikke træffes med lav svarprocent som konsekvens. Osv. Osv. Med alle disse potentielle fejlkilder skulle man måske forvente, at institutterne ramte meget mere forbi, end tilfældet faktisk er. Meningsmålingsinstitutterne er imidlertid ret skrappe til at korrigere for potentielle fejl og “kvalitetssikre” deres stikprøver. Kvoter, stratificering, vægtning og miksede indsamlingsmetoder indgår i deres værktøjskasser.

Tilbage står dog, at modstridende og misvisende undersøgelser er umulige helt at undgå, og der er al mulig grund til at mejsle den kendsgerning fast i læserens bevidsthed. Man skal ikke tage enkeltmålinger FOR alvorligt.

Heldigvis er flere medier begyndt at gribe i egen barm og forholde sig kritisk til brugen af meningsmålinger som sandhedsvidne. Men som regel for en meget kort bemærkning. Det ville klæde medierne at indføre en fast varedeklaration på den slags undersøgelser og formidle resultaterne med de nødvendige forbehold.

Reklame forklædt som undersøgelse

Udgivet den af
Svar

Rejsebranchen har for alvor fået øjnene op for undersøgelsesindustrien, som en let adgang til gratis reklame. I løbet af foråret har der været en række eksempler på mere eller mindre kreative indslag i pressen med rejsebranchen som afsender.

I februar kunne man således læse, at danskerne foretrak Helle Thorning frem for Lars Løkke som rejseguide. Afsenderen var Hotels.com, som er overmåde leveringsdygtig i nye undersøgelser. Senere på måneden var det så Apollo, der kunne berette, at danskerne går op i takt og tone på ferien. Og i denne uge afslører Star Tour, at vi spiser, drikker, ryger og dyrker mere sex, når vi er på ferie. I sandhed breaking news. Salgsdirektør i Star Tour, Stig Elling, stiller beredvilligt op med en jovial kommentar: Han synes “det er glædeligt, faktisk, at så mange nyder livet på den måde, når de holder ferie – og det er jo kun et par uger om året”. Og det kan man jo næsten ikke være uenig i.

Man kan dårligt bebrejde rejsebranchen, at de har fundet og udnytter en genvej til omtale. Og ret beset er “undersøgelserne” temmelig harmløse. Men har medierne ikke bedre ting at berette om?

De fleste medier holder sig heldigvis for gode til at lege med, når undersøgelserne bevæger sig ud i det absurde – som i eksemplet med Løkke og Thorning som rejseguider. Men i rigtig mange af undersøgelserne er gennemslaget i medierne stort.

Apollos undersøgelse, hvor Kvinder siger nej til bare feriebryster, var for stor en fristelse på redaktionerne. Den fik alene 49 omtaler, viser en søgning på Infomedia. Hotels.com har haft 246 danske omtaler af undersøgelser bare i 2011. Også Star Tour (119), Apollo (191) og Spies (88) har haft stort gennemslag i 2011. En del af forklaringen på omtalen af Star Tour er Stig Elling. Han udmærker sig ved ofte at gå ind og kommentere undersøgelser fra andre i rejsebranchen, når de åbenbart kalder på en ekspert- eller brancheudtalelse.

De store spillere i rejsebranchen har fundet en effektiv genvej til omtale.  Tallene taler deres eget tydelige sprog. Men kan medierne holde til det i længden?

Hvad er en god rubrik?

Udgivet den af
Svar

Man kommer ikke svaret nærmere efter at have læst mediernes formidling af den netop offentliggjorte undersøgelse Ny lærer – en evaluering af nyuddannede læreres møde med folkeskolen, som Danmarks Evalueringsinstitut (EVA) har gennemført.

Jeg vover et øje: En god rubrik – og underrubrik – behøver ikke råbe sit budskab ud. Den behøver ikke være ultrakort. Den kan godt være nuanceret og formidle mere end ét forenklet budskab. Først og fremmest skal der være sammenhæng – det nogen vil kalde validitet – mellem rubrik/underrubrik og de undersøgelsesresultater, man formidler i sin artikel. Jeg vender tilbage til hvordan.

Men hvad var det, medierne fik ud af EVAs netop offentliggjorte undersøgelse? Og som provokerede mig til dette indlæg? Her et lille udpluk af de negative overskrifter, som undersøgelsen trak: Folkeskolen ryster mange nye lærere (Politiken), Folkeskolen chokerer nye lærere (Berlingske), og Praksischokket rammer stadig nye lærere (www.folkeskolen.dk).

Hvordan hænger den ensidigt negative tone i de nævnte eksempler sammen med EVAs egen pressemeddelelse: God start for nye lærere i folkeskolen? Og med Fyens Stiftstidende, som skrev, at Lærernes arbejdsglæde vokser? Hvordan kan det alt sammen være rigtigt – og afspejle selvsamme undersøgelse? Det stritter jo i hver sin retning. Hvem kan man stole på?

Svaret er, at EVAs undersøgelse tegner et broget og nuanceret billede. Lærerne beretter om en række store udfordringer i mødet med praksis, men også om, at mødet med virkeligheden på skolerne i rigtig mange tilfælde er et positivt møde. Ingen af rubrikkerne tegner derfor et særlig troværdigt eller dækkende billede af undersøgelsens resultater. Man lukker øjnene for det, som forstyrrer den valgte vinkel.

Men er det ikke bare sådan man laver rubrikker? Fængende, med en skarp og entydig vinkel? Eller kan en broget virkelighed formidles troværdigt og nuanceret i rubrik og underrubrik?

Jeg vover det andet øje. Sådan kunne rubrik og underrubrik have set ud:

Fortsat store udfordringer for nye lærere i folkeskolen

Ni ud af ti nyuddannede lærere oplever mødet med praksis i skolen som positivt. Men mange oplever problemer med undervisningsdifferentiering og konflikthåndtering. Mere praksisrettet uddannelse og støtte fra skoleledere efterlyses.

Rubrikkerne er lange. De råber ikke budskabet ud med ord som chok/ryster, og de vinkler ikke ensidigt på undersøgelsens positive eller negative resultater, men afspejler undersøgelsens nuancerede konklusioner.

Mænd har godt af fodboldkampe

Udgivet den af
Svar

Altså af at kigge på dem! Det er godt for vores helbred og livskvalitet, viser en ny undersøgelse fra Norges teknisk-naturvidenskabelige universitet (NTNU). Hvilken herlig nyhed. Nu mangler vi bare en undersøgelse, som viser, at mænd har godt af fadøl og frankfurtere, før vi kan ordinere forebyggende all inclusive fodboldture på statens regning. Mon ikke det kan sælge billetter?

NTNU har undersøgt sammenhængen mellem kulturforbrug og helbred og livskvalitet i en spørgeundersøgelse med deltagelse af flere end 50.000 voksne nordmænd.

I den forgangne uge er resultaterne fra undersøgelsen så gået verdenspressen rundt – her et lille udpluk: Mænd har godt af at gå på museum (Politiken), Menn har godt av fotballkamper (Aftenposten), Cultural activities good for men’s health and happiness (The Telegraph) og NTNUs egen pressemeddelelse Cultural activities are good for you.

Undersøgelsens metode – kort fortalt:

1) Man spørger på baggrund af en hypotese en stor og nøje udvalgt gruppe mennesker om deres holdninger/oplevelser/adfærd inden for et område (her kulturforbrug og helbred m.v.).

2) Herefter undersøger man, om der umiddelbart er statistisk sammenhæng i svarene på de ting, man har spurgt om. Ofte ved hjælp af regressionsanalyser.

3) Hvis man finder en statistisk sammenhæng, kontrollerer man herefter rent statistisk, om sammenhængen skyldes andre faktorer, fx. socioøkonomisk status (uddannelse, indkomst, alder osv.). Det kaldes at kontrollere for 3. variabel.

4) Hvis sammenhængen “overlever” kontrollen for andre faktorer, har man dokumenteret en statistisk sammenhæng. Og det er, hvad de norske forskere har præsteret – og præsenteret.

Betyder det så, at der også er en årsagssammenhæng? Altså at det faktisk gavner mit helbred at se fodbold eller gå på museum? Det ved vi ikke. Og det kan ikke sådan lige bevises eller efterprøves. Desværre, er vi nogen, der kunne tilføje. At dokumentere en statistisk sammenhæng er noget ganske andet end at forklare den. Måske går sammenhængen den anden vej, altså at folk med godt helbred og god livskvalitet har tid til at gå på museum og til fodbold – og prioriterer det.

Hvorfor nu denne metodesnak? Fordi undersøgelsens metode er helt klassisk og af den slags, som journalister skal kende, forstå og kunne formidle sikkert til modtageren. Det dur ikke at fjerne nuancerne og præsentere årsagssammenhængen som undersøgelsens resultat.

Men er det ikke dræbende kedeligt for læseren med alle disse nuancer og forbehold? Næh, i hvert fald ikke mere kedeligt, end at Aftenposten bringer dem, Discovery News bringer dem, Economics Newspaper bringer dem … etc.

Men Politiken (og The Telegraph m.fl.) bringer dem ikke. Og dermed ødelægger de faktisk nyhedens troværdighed. Politikens Mette Olsen ærgrer sig da også over, at forbeholdet om kausaliteten ikke kom med i artiklen: Det forbehold burde i dén grad have været nævnt, svarer hun i en mail foreholdt problemstillingen. Og det kan faktisk gøres ret enkelt, som her hos Discovery News:

Questions remain, though, about cause and effect: are people healthier and happier because they are cultured — or do they seek out more culture because they feel good to begin with?

Svaret får indtil videre stå hen i det uvisse.

Meningsmålinger i selvsving

Udgivet den af
2

“Radikale henter vælgere til rød blok“, viser ny Gallup-måling. Og “Afstanden mellem rød blok og blå blok bliver mindre“, viser ny Megafon-måling.

Vi oversvømmes i disse dage af meningsmålinger, og politikere, kommentatorer og valgforskere udlægger beredvilligt dagens marginale bevægelser. Ikke underligt, i en periode med udsigt til valg. Heller ikke underligt, at mange efterhånden har det siddende langt oppe i halsen.

Den seneste uge har budt på intet mindre end 6 dugfriske målinger:

(klik på tabellen for at se den i fuld størrelse)

Partierne svinger i målingerne omkring 1-3 procentpoint med de største udsving hos de største partier. Helt som forventet og alt sammen inden for den statistiske usikkerhed. Det eneste overraskende er, at Greens i deres måling har Liberal Alliance til blot at få 2,7 procent af stemmerne. Det ligner en forbier fra Greens – og ikke et udtryk for en faktisk vælgerbevægelse. Ja, indimellem skyder institutterne faktisk helt forbi i deres målinger. Ikke ofte, men det sker.

Målingerne giver alt i alt et udmærket fingerpeg om den aktuelle opbakning blandt vælgerne, og vi kan følge partiernes bevægelser over tid. Men om de Radikale står til 6 eller 7 procent, om SF står til 12, 13 eller 14 procent, og om Venstre står til 22, 23 eller 24 procent af stemmerne – det ved vi ikke. Valgforskerne ved det ikke. Politikerne ved det heller ikke. Til gengæld kan man se, at der ikke er noget i målingerne, som tyder på et vælgerskred.

Så der er faktisk ingen fornuftig grund til at spekulere for meget over de ganske små udsving i tallene. Men det gør man. De Radikales Morten Østergaard glæder sig over det tydelige skulderklap fra vælgerne. Socialdemokraternes gruppeformand, Carsten Hansen, glæder sig over ugens fremgang. Mens Venstre og SF tilsyneladende ikke har været friske på en kommentar til ugens “nedtur”.

Og vi andre kan blot konstatere, at der er gået selvsving i meningsmålingerne.

Forførende sprog og ledende spørgsmål

Udgivet den af
1

Hans røv har den vildeste luksus! Manden, hvis bagdel man – et ganske kort øjeblik – kunne ønske sig at bytte med, er Tårnbys kommunaldirektør, Klavs Gross, og rubrikken stammer fra Ekstra Bladets aktuelle undersøgelse af kommunernes indkøb af designmøbler og kunst. Klavs Gross har fået ny kontorstol, og den er lækker – og dyr.

Lad os nu lave et tankeeksperiment: Vi vil spørge læseren om rimeligheden af kommunens indkøb og bruge Ekstra Bladets formuleringer og udtryk fra deres dækning. Det kunne lyde sådan her:

Er det i orden, at Tårnby kommune går shop-amok, fyrer 1,2 mio. kroner af på kunst og køber en møgdyr trone til Tårnbys kommunaldirektør samtidig med, at han og andre luksusborgmestre tigger staten om flere skattekroner?

Samme spørgsmål kan stilles en anelse mindre ledende:

Er det i orden, at Tårnby kommune bruger 1,2 mio. kroner på kunst og køber dyre, men præsentable kontormøbler til kommunaldirektøren og samtidig søger regeringens støttepulje om tilskud til kommunen?

Indrømmet. Det er knap så farverig læsning. Eksemplet er tænkt, men problemstillingen er allestedsnærværende: Man kan aldrig blive opmærksom nok på brugen af forførende sprog og farvede vendinger, når man formulerer sine spørgsmål.

Hvad mener du fx om disse eksempler, hvor man, ved at udskifte nogle få ord med andre med et lidt andet betydningsindhold, ændrer oplevelsen af spørgsmålet markant:

Skal kommunerne efter din mening yde økonomisk støtte til lavindkomstgrupper til fx tandlægebesøg?

Skal kommunerne efter din mening yde økonomisk støtte til fattige danskere til fx tandlægebesøg?

eller

Tag stilling til følgende udsagn: ”Den kommende regering bør øge det offentlige forbrug”

Tag stilling til følgende udsagn: ”Den kommende regering bør investere flere penge i øget velfærd”

eller

Mener du, at det er en rigtig beslutning, at danske tropper er i aktion i Afghanistan?

Mener du, at det er en rigtig beslutning, at danske tropper er i krig i Afghanistan?

Det er ikke nødvendigvis let at afgøre, hvilken formulering der er mest “korrekt” eller “neutral” i de nævnte eksempler.

Derimod kan man normalt ret let rense sine spørgsmål for de værste eksempler på nysprog. Hvem kan fx være modstander af lømmelpakker, fair løsning og ghettoplaner? Og hvem kan være tilhænger af fjumreår, papirnussere, cafepenge og den voksende ældrebyrde? Eller rundkredspædagogik i folkeskolen? Eksemplerne er velkendte og har normalt ikke noget at gøre i en seriøs rundspørge.

Formulering og formidling af balancerede, objektive, neutrale spørgsmål er forbandet svært – hvis ikke umuligt. Det kræver opmærksomhed på valg af ord og udtryk, på spørgsmålets grammatiske form og på konteksten, som spørgsmålet præsenteres i.

Nogle vil mene, at alle spørgsmål nødvendigvis må være ledende – at det ligger i selve spørgsmålets natur. Men idealet må altid være ikke at påvirke svarpersonens holdning gennem spørgsmålet og måden, det præsenteres på.


Danskernes holdning til fedtafgift

Udgivet den af
Svar

Detektor på P1 har lavet en fremragende udsendelse om danskernes holdning til den såkaldte fedtafgift – en afgift på mættet fedt, som Folketinget vedtog d. 17. marts i år. Detektor undersøger i udsendelsen, hvordan det kan lade sig gøre, at danskerne i to samtidige meningsmålinger forholder sig vidt forskelligt til afgiften.

Afgiften har været voldsomt diskuteret. Erhvervslivet har protesteret mod afgiften, som vil fordyre chips, burgere og pomfritter, men også mere almindelige dagligvarer som fx ost og smør og måske flytte mere af danskernes forbrug syd for grænsen.

Men hvad mener danskerne egentlig om afgiften? To anerkendte meningsmålingsinstitutter, Epinion og Interresearch, har hver især spurgt et repræsentativt udsnit af befolkningen, om de er for eller imod afgiften. Men spørgsmålet er af institutterne blevet præsenteret i vidt forskellige kontekster – baggrunden for og de mulige konsekvenser af afgiften er altså blevet præsenteret på to vidt forskellige måder. Epinions kontekst handlede om folkesundhed og de problemer, en dårlig folkesundhed skaber i sundhedsvæsenet. Interresearchs kontekst handlede primært om afgiftens konsekvenser for prisen på dagligvarer, og at afgiften kan bruges til at finansiere skattelettelser.

Forskellen i svarene var tankevækkende: I Epinions undersøgelse var 58 procent enige eller meget enige i at indføre afgiften. I Interresearchs undersøgelse var knap 62 procent imod! Altså stik modsatte resultater.

Det helt grundlæggende problem ved undersøgelser som denne er, at man spørger danskerne om noget, som de færreste på forhånd har en klar og entydig holdning til. Dermed bliver rammen, som spørgsmålene præsenteres i, afgørende for, hvordan folk svarer. Og man kan derfor ikke konkludere, om danskerne som sådan er for eller imod afgiften, men kun, om de under helt bestemte forudsætninger (i en given spørgeramme eller kontekst) er for eller imod.

Undersøgelser, hvor svarpersonerne først etablerer en holdning i det øjeblik, problemstillingen præsenteres i røret eller i spørgeskemaet i en given kontekst, er et hyppigt forekommende problem og samtidig et problem, der ofte overses.

Jeg kan derfor varmt anbefale Detektors udsendelse.

Bilister efterlyser flere fartfælder – eller gør de?

Udgivet den af
Svar

“Bilister efterlyser flere fartfælder” – pressemeddelelsen med rubrik og grydeklar konklusion gik direkte ind på adskillige danske medier i forrige uge. Man har sikkert været godt tilfredse hos Business Danmark, sælgernes fagforening, som via Interresearch stod bag undersøgelsen.

Og rigtigt er det, at 52 procent af de 1076 adspurgte medlemmer af fagforeningen efterlyser flere stærekasser, så nogen bilister efterlyser faktisk flere fartfælder – og hvad er så problemet?

Problemet er, at fagforeningen skriver, at “et flertal af de danske bilister … efterlyser en mere intensiv fartkontrol fra politiet”. Men 52 procent er ikke et flertal, når man tager højde for den statistiske usikkerhed, og man kan slet ikke generalisere fra en fagforenings medlemmer og til danskerne generelt. Det er ikke bare for bombastisk eller for skarpvinklet – det er slet og ret forkert. Heldigvis lykkedes det flere medier at undgå denne generalisering i deres gengivelse af undersøgelsen.

Problemet er også, at fagforeningen lægger op til at opdele undersøgelsens resultater i tal for Nordjylland, København, Syddanmark, Sjælland og Midtjylland. Og i tal for forskellige aldersgrupper. Hvad er der nu galt i det? Jo, dermed nedbryder man stikprøven i undergrupper på skønsmæssigt 200 personer og i tilfældet med aldersgrupperne formentlig endnu færre. Det betyder markant øget usikkerhed på resultaterne. Men denne usikkerhed negligeres fuldstændig. Man ønsker velsagtens at gøre sig appetitlig for regionale og lokale medier med denne manøvre. Men det er uprofessionelt og utroværdigt.

Tilbage står, at ca. halvdelen af de adspurgte medlemmer faktisk efterlyser flere stærekasser. Det er interessant i sig selv. Så lad dog det være historien.