Tag-arkiv: generalisering

Aftenpostens kildekritik halter

Udgivet den af

Single Kvinner vil beholde boligen for seg selv. Halvparten av norske, single kvinner ønsker ikke at en fremtidig partner skal flytte inn hos dem.

Historien kunne i går læses hos Aftenposten – Norges største avis målt på oplag og traditionelt regnet for en seriøs avis. God historie. Overraskende pointe. Og måske uden hold i virkeligheden.

John Bones, journalist på konkurrerende VG, rejser en berettiget og saglig kritik af historiens manglende belæg.

Kilden til historien er en undersøgelse gennemført af datingtjenesten Match.com blandt 1300 af deres medlemmer (singler). Ikke med ét ord problematiserer Aftenposten brugen af denne kilde. Ingen forbehold. Ingen kildekritik.

Men det er altså for useriøst at generalisere fra 1300 brugere af et datingsite til norske single kvinner som sådan. Som om brugere af et datingsite pr definition er repræsentative for en hel nations singler. Eller som om repræsentativitet ikke for alvor betyder noget. Det gør det. Skulle man have glemt det, hjælper Ekstra Bladets meningsmåling fra efteråret på hukommelsen:

Det er til gengæld befriende at høre en journalist slå ned på Aftenpostens praksis.

Med John Bones egne ord:

Utvalget er dermed ikke representativt for norske kvinner. Aftenposten har ikke beskrevet metodebruken ytterligere, men det er grunn til å anta at svarene er gitt ved selvseleksjon. Enda verre!

I forrige uke gjorde Aftenposten den samme tabben, da avisen mente å kunne fastslå at halvparten av norske foreldre vil fjerne leksene. Undersøkelsen var utført ved selvseleksjon og var følgelig ikke representativ for norske foreldre.

Kan ikke vi som jobber i mediene gjøre det til en felles oppgave å forsikre oss om at undersøkelser vi presenterer faktisk er korrekte? Kildekritikken bør være den samme, uansett hva slags kilder vi bruker.

Man kan kun give manden ret.

Karakterer til ministrene

Udgivet den af

Ministerholdet er – som det efterhånden er sædvane op til jul – blevet bedømt af den danske befolkning i to offentliggjorte meningsmålinger; den ene for Jyllands-Posten; den anden for Ugebrevet A4.

Repræsentative udsnit af befolkningen har givet ministrene karakterer på forskellige skalaer, og de to undersøgelser kommer frem til nogenlunde enslydende resultater: Margrethe Vestager er topscorer fulgt af Mette Frederiksen og Bjarne Corydon; Carsten Hansen og Ole Sohn som bundskraberne.

Men hvad med den statistiske usikkerhed? Den forbigås i tavshed i mediernes hovedartikler, men betyder den egentlig noget for konklusionerne, og hvordan beregner man den overhovedet?

Lad os starte med metoden. Da der er tale om karaktergennemsnit (i modsætning til andele af vælgertilslutning ved de allestedsnærværende politiske meningsmålinger), kan man IKKE bruge de to beregningsmodeller, som er tilgængelige på denne blog. Grunden er denne: Når man beregner statistisk usikkerhed (konfidensintervaller) for gennemsnitsmål, skal man tage højde for det, der i fagterminologien hedder standardafvigelsen. Til hver enkelt ministers beregnede karaktergennemsnit knytter der sig en standardafvigelse. Populært sagt er standardafvigelsen et tal, der udtrykker, hvor tæt de afgivne karakterer til en minister ligger på vedkommendes gennemsnit. Det kan variere meget. Et gennemsnit på 5 kan fremkomme ved, at alle faktisk giver karakteren 5. Men det kan også fremkomme ved, at halvdelen giver karakteren 1, og resten giver karakteren 9. Jo tættere de enkelte karakterer ligger på gennemsnittet, jo mindre er standardafvigelsen, og jo mindre er også den statistiske usikkerhed, når man generaliserer målingen til hele befolkningen.

Vil du se medierne efter i kortene og beregne usikkerheden, kræver det altså, at det enkelte medie udleverer en oversigt over standardafvigelser, antal svarpersoner og de målte karaktergennemsnit – for hver minister. Herefter skal det hele blot plottes ind i et regneark. En simpel formel (=KONFIDENSINTERVAL) gør resten af arbejdet for dig.

Jeg kontaktede Jyllands-Posten, og de sendte mig uden videre tallene. Her er resultatet:

 

N er antal svar for hver enkelt minister. Øvre og Nedre er konfidensintervallernes grænseværdier. Der er i formlen anvendt et 95 procents sikkerhedsniveau.

Men er folk ikke flintrende ligeglade med standardafvigelser og konfidensintervaller? Sikkert, men kan man som medie eller journalist være ligeglad med, om vinklingen og konklusionerne holder?

Heldigvis lader hverken Jyllands-Posten eller Ugebrevet A4 til at være ligeglade. Jyllands-Posten var, trods den manglende formidling af usikkerheden, i stand til at sende mig overbevisende dokumentation. Og den statistiske usikkerhed rokker ikke ved, at Margrethe Vestager faktisk ER den aktuelle vinder, og at Carsten Hansen og Ole Sohn får den ringeste bedømmelse i befolkningen. Så formidlingen af resultaterne er også i orden. Tjek selv tallene.

 Note: Jeg har kun kontaktet Jyllands-Posten, da formålet med indlægget primært er at demonstrere metoden. Ugebrevet A4s tilsvarende undersøgelse er nævnt for fuldstændighedens skyld. Berlingske har gennemført en tilsvarende undersøgelse, men de tager betaling for adgang til resultaterne, som derfor ikke er umiddelbart tilgængelige.

500 forskere undsiger deres rektor

Udgivet den af
Svar

Når 500 medarbejdere mener, at deres øverste chef bør forlade sin stilling, er det da ganske opsigtsvækkende. Derfor er der ingen tvivl om, at Berlingske havde en god historie, da avisen omtalte en rundspørge, der var sendt til videnskabelige medarbejdere på Københavns Universitet.

Allerede i det indledende afsnit begår Berlingske imidlertid den fejl at konkludere, at ”op mod hver anden videnskabelig medarbejder” ønsker rektors afgang, og straks derefter citere en kilde for, at ”godt halvdelen af medarbejderne ønsker, at den ledende figur skal gå af” – også bortset fra tvivl om betydningen af udtrykket ”godt” fra enten kildens eller journalistens side.

Ifølge Berlingske svarede nemlig 48,3 procent af svarpersonerne ”Ja” til spørgsmålet: ”Mener du, at Ralf Hemmingsen bør gå af efter Penkowa-sagen?”. Problemet er, at avisen har spurgt 5.500 videnskabelige medarbejdere, og kun 1.049 har valgt at svare. En svarprocent på 19 er meget lav, og det er nærliggende at antage, at mange af dem, der har undladt at svare, enten ikke har nogen mening om den fremsatte påstand eller måske ligefrem hælder til et ”Nej”, men i øvrigt ikke synes, at deres holdning til den komplekse sag om rektors rolle i Penkowa-sagen kan destilleres til et svar på et så unuanceret spørgsmål.

Fagbladet Journalisten bringer historien om, at Universitetsavisens redaktør er kommet under beskydning efter at have forsøgt at kopiere Berlingskes rundspørge, men med universitetets studerende og øvrige grupper af ansatte som svarpersoner. I Journalisten er Nils Mulvad og jeg blevet bedt om en vurdering af rundspørgernes lødighed. Nils har derudover lavet sin egen grundige gennemgang, som er værd at læse, hvis man vil klæde sig på til at undgå lignende fejl, eller hvis man blot ønsker at blive bedre rustet til at være en kritisk læser af rundspørgeresultater.

Links

Artiklen i Berlingske, 23. juni 2011

Journalisten: Ansvarsløs og skandaløs, 10. august 2011

Journalisten: Eksperter: Undersøgelsen er for tynd, 10. august 2011

Nils Mulvad: Dårlig rundspørge fra Berlingske i Penkowa-sagen, 10. august 2011

40 borgmestre forventer mere udlicitering

Udgivet den af
3

Under overskriften ”Borgmestre byder private virksomheder indenfor” bragte gårsdagens Berlingske (side 10-11 i Business-sektionen) resultatet af en rundspørge til landets borgmestre. Artiklen illustrerer på glimrende vis hele tre pointer i vores bog:

  • Det kan være vanskeligt at få kilder tæt ved magtens top til at svare på spørgeskemaer
  • Ved rundspørger skal man være omhyggelig med at vurdere frafald
  • Ved færre end 100 svarpersoner bør man ikke omregne til procent

Danmark har 98 borgmestre, hvis man ser bort fra de seks ”underborgmestre” i København. Ved det centrale spørgsmål har 54 borgmestre markeret deres holdning. Man må gå ud fra, at Berlingske Research har gjort en anstrengelse for at få så mange som muligt til at svare og dermed gøre undersøgelsen pålidelig. Antallet af svar viser altså, hvor vanskeligt det er at få kommunernes topfolk til at svare på spørgsmål fra selv en seriøs, landsdækkende avis.

Ved store rundspørger kan en svarprocent på 55 være tilfredsstillende, men ved en så lille og politisk sammensat population er den katastrofal lav. Som læsere efterlades man i hvert fald med en stor tvivl, om de indkomne svar nu også kan generaliseres til samtlige borgmestre. Hvordan er frafaldet for eksempel fordelt på de forskellige partier? For man kan vel godt regne med, at holdningen til emnet – udlicitering af velfærdsopgaver – også kan have noget at gøre med borgmesterens politiske farve – eller hvad?

I det spørgsmål bliver man ikke klogere af at læse avisen. Kontakter man Berlingske Research, bliver man henvist til at købe rapporten bag tallene. Den koster 99 kr.

Af rapporten fremgår det, at politisk tilhørsforhold har stor betydning. Andelen af borgmestre, der forventer eller planlægger mere ”konkurrenceudsættelse” i de kommende fem år, er væsentlig større blandt borgmestre med medlemskab hos Det Konservative Folkeparti og Venstre end på den modsatte politiske fløj.

Derfor har det selvfølgelig betydning, når frafaldet rent faktisk er skævt. Mindre end hver anden socialdemokratiske borgmester har svaret på spørgsmålet, mens det gælder næsten to ud af tre borgmestre fra Venstre og De Konservative.

Der er også andre typer af skævheder. Borgmestre fra store byer som København, Aarhus og Odense har ikke svaret. Dermed repræsenterer borgmestrene, der har svaret på spørgsmålet om forventninger til udlicitering, mindre end halvdelen af den danske befolkning. Og de, der har svaret ja, repræsenterer kun en tredjedel.

Der er altså store problemer ved den formulering, som Berlingske bruger i underrubrikken: ”To ud af tre borgmestre planlægger at sende endnu flere offentlige opgaver af sted til private virksomheder i løbet af de næste fem år”. Ud fra undersøgelsen kan vi kun konkludere, at 40 borgmestre forventer eller planlægger, at deres kommune vil konkurrenceudsætte mere i løbet af de næste fem år.

Også rubrikken ”Borgmestre byder private virksomheder indenfor” er udsat for mere end blot en journalistisk stramning. Andre spørgsmål i undersøgelsen viser nemlig, at kun 24 af svarpersonerne ser et potentiale i mere konkurrenceudsættelse, at erfaringerne med udlicitering er noget lunkne, og at kun seks socialdemokratiske borgmestre mener, at man generelt skal konkurrenceudsætte mere i Danmark.

Borgmesterkæden sidder om halsen på en socialdemokrat i præcis halvdelen af landets 98 kommuner.

Bilister efterlyser flere fartfælder – eller gør de?

Udgivet den af
Svar

“Bilister efterlyser flere fartfælder” – pressemeddelelsen med rubrik og grydeklar konklusion gik direkte ind på adskillige danske medier i forrige uge. Man har sikkert været godt tilfredse hos Business Danmark, sælgernes fagforening, som via Interresearch stod bag undersøgelsen.

Og rigtigt er det, at 52 procent af de 1076 adspurgte medlemmer af fagforeningen efterlyser flere stærekasser, så nogen bilister efterlyser faktisk flere fartfælder – og hvad er så problemet?

Problemet er, at fagforeningen skriver, at “et flertal af de danske bilister … efterlyser en mere intensiv fartkontrol fra politiet”. Men 52 procent er ikke et flertal, når man tager højde for den statistiske usikkerhed, og man kan slet ikke generalisere fra en fagforenings medlemmer og til danskerne generelt. Det er ikke bare for bombastisk eller for skarpvinklet – det er slet og ret forkert. Heldigvis lykkedes det flere medier at undgå denne generalisering i deres gengivelse af undersøgelsen.

Problemet er også, at fagforeningen lægger op til at opdele undersøgelsens resultater i tal for Nordjylland, København, Syddanmark, Sjælland og Midtjylland. Og i tal for forskellige aldersgrupper. Hvad er der nu galt i det? Jo, dermed nedbryder man stikprøven i undergrupper på skønsmæssigt 200 personer og i tilfældet med aldersgrupperne formentlig endnu færre. Det betyder markant øget usikkerhed på resultaterne. Men denne usikkerhed negligeres fuldstændig. Man ønsker velsagtens at gøre sig appetitlig for regionale og lokale medier med denne manøvre. Men det er uprofessionelt og utroværdigt.

Tilbage står, at ca. halvdelen af de adspurgte medlemmer faktisk efterlyser flere stærekasser. Det er interessant i sig selv. Så lad dog det være historien.

Repræsentativ undersøgelse?

Udgivet den af
Svar

“Skoleledere dumper plan om elever i verdensklasse” – sådan kunne man forleden læse på Politiken.dk.

“elever i verdensklasse” refererer til regeringens nyligt fremlagte målsætning om, at børn, der startede i skole i sommer, skal være blandt top 5 i verden til at læse og regne, når de forlader skolen i 2020.

Politiken Research har spurgt ca. 1500 skoleledere, om de mener, at målsætningen er realistisk. Det mener blot 16 procent af de 600 skoleledere, som faktisk svarede. Men er de 600 svar tilstrækkeligt til, at man kan generalisere og skrive, at “danske skoleledere dumper …”?

Svaret er nej. 600 svar er ganske vist mange, og en svarprocent på 40 er god for denne type undersøgelser. Men vi ved ikke, om svarene er repræsentative for hele populationen af skoleledere. Man kan fx forestille sig, at skoleledere, som er utilfredse med regeringens udspil, har følt større incitament til at svare end skoleledere, som forholder sig mere neutralt.

Politiken vinkler i første omgang for skarpt, men løser herefter problemstillingen fint med følgende kommentar indsat nederst i artiklen:

Rettelse: Der stod i en tidligere version af denne artikel, at 16 procent af alle skoleledere finder det urealistisk, at danske børn om ni år er blandt verdens bedste til at læse og regne. Det er 16 procent af de skoleledere, der svarede i vores rundspørge, der har den opfattelse.

Et godt eksempel på, hvordan man i formidlingen tager de nødvendige forbehold.

“Danskerne er ligeglade med de høje oliepriser”

Udgivet den af
Svar

Denne Ritzau-historie cyklede rundt i næsten alle større danske medier i januar måned, bl.a. hos DR Nyheder og Energibranchen. Kilden er Nordeas Bekymringsbarometer, hvor Synovate har spurgt ca. 1000 danskere, om de bekymrer sig om benzin- og energipriser og en række andre faktorer, der påvirker privatøkonomien.

Men ligeglad er så meget sagt: Det er faktisk kun “arbejdsløshed og tabt indkomst”, vi bekymrer os mere om end energi- og benzinpriser – jf. undersøgelsen fra januar 2011. Og da tallene ligger helt tæt, kunne man med samme ret have vinklet: “Danskerne er ligeglade med arbejdsløshed”…

Tabel fra Bekymringsbarometer 2011

Lad os se på udviklingen fra 2010 til 2011:

Andelen af bekymrede danskere (spørgsmålet om benzinpriser) er i stikprøverne faldet fra 28 til 25 procent fra 2010 til 2011, men forskellen er ikke statistisk signifikant. Vi kan med andre ord ikke konkludere, at den faldende bekymring gælder danskerne generelt. Tjek selv ved hjælp af beregneren. Stikprøverne er på henholdsvis 1005 (2010) og 1028 personer (2011).

Til gengæld er faldet fra 36 til 31 procent på spørgsmålet om energipriser signifikant.

Konklusion: Det afgørende – og bemærkelsesværdige – fald i danskernes bekymring skete i perioden fra 2009 til 2010, mens udviklingen fra 2010 til 2011 er stort set status quo. Og energi- og benzinpriser er fortsat blandt danskernes største privatøkonomiske bekymringer.