Forfatterarkiv: Kresten Roland Johansen

Træk vejret og vind (måske) nobelpriser

Udgivet den af

Træk vejret. Gerne adskillige gange dagligt og gerne dybt ned i lungerne. Det øger dine chancer for at vinde en nobelpris. Sådan lyder konklusionen i det indlæg, som blandt andet forskeren Ann Cathrine Popowitz har fået optaget i tidsskriftet New Recommended Behaviour Journal. Den engelske forsker ser i indlægget nærmere på, om der er en sammenhæng mellem, hvor ofte og dybt et lands indbyggere i gennemsnit trækker vejret, og hvor mange nobelpriser et land modtager. Regressionsanalysen, som ligger bag, viser desuden det – for mange – overraskende resultat, at en helt afbrudt vejrtrækning alt andet lige vil føre til 2,3 nationale nobelpriser pr. 10 millioner indbyggere – over tid. Forskeren tilføjer dog, at den mulighed foreligger, at alt andet ikke er helt lige.

Okay, jeg kryber til korset. Hvis nogen måtte være i tvivl. Det er en joke. Der findes ikke nogen forsker ved navn Ann Cathrine Popowitz. Mig bekendt. Men joken står ikke alene.

Se blot denne historie fra Berlingske i dag: Drik mælk og vind (måske) nobelpriser. Og denne her, som for nylig gik den glade verdenspresse rundt: Spis chokolade og vind nobelpriser. Den er god nok – der står rigtige forskere bag historierne. Der er tilsyneladende blandt visse ansete forskere gået sport i at offentliggøre indlæg og notitser, som ikke holder vand. Vel at mærke i anerkendte videnskabelige tidsskrifter.

1000-kroners spørgsmålet må være: Hvorfor? For at se, om pressen hopper på den? For at drille kollegerne? Fordi de keder sig? Fordi de er trætte af altid at skulle fremstå troværdige og seriøse? Det er svært at forestille sig sådan en forbandet god og tvingende grund. Men nogen burde stille spørgsmålet.

To skridt frem – og tre tilbage

Udgivet den af

Nogen burde kortlægge omfanget af ikke-historier baseret på meningsmålinger. Den seneste uge bød på et par af slagsen:

Thorning haler ind på oppositionen i ny meningsmåling

S efter god meningsmåling: »Danskerne kan godt se, at statsministeren har ret«

Overskrifterne baserer sig på en ny måling fra Voxmeter, som tilsyneladende viser, at Socialdemokraterne er gået frem fra 20,6 procent (Voxmeter-måling kort før jul) til 22,6 procent af stemmerne.

De danske netmedier er blevet bedre til at oplyse om den statistiske usikkerhed, når de skriver om meningsmålinger. Det har Erik Gahner Larsen (m.fl.) for nylig dokumenteret. Usikkerheden oplyses da også i de to nævnte  artikler. I førstnævnte artikel, som stammer fra Ritzau, får vi således at vide, at Bevægelserne ligger dog inden for målingens usikkerhed, som kan være op til 2,9 procentpoint for de største partier. Yes, det er korrekt. Bevægelserne ligger inden for målingens usikkerhed. Tjek selv efter her. Det er jo fint, at journalisten er opmærksom på problemet – og åbent og ærligt oplyser læseren om det. Vi får også at vide, hvor mange der har svaret, at undersøgelsen er repræsentativ, og hvornår den er gennemført. To skridt frem. Men æh …, når bevægelserne ligger inden for den statistiske usikkerhed, så ved vi ikke, om Thorning faktisk haler ind på oppositionen i den nye måling. Altså når målingen generaliseres til befolkningen. Der er således ikke belæg for rubrikken og vinklen.

Dette faktum afholder imidlertid ikke Ritzau fra at lave den – naturlige – opfølgende historie, hvor årsagsforklaringen køres i stilling: Fremgangen skyldes – ifølge Socialdemokraternes Magnus Heunicke – nytårstalen og de første synlige effekter af Socialdemokraternes lange seje træk. Også her oplyses om den statistiske usikkerhed, men konsekvensen drages ikke. Det er ikke kun undertegnede, som har studset over dette.

Lad os for en kort bemærkning dvæle ved Socialdemokraternes seneste målinger:

Voxmeter YouGov Gallup Voxmeter Rambøll Voxmeter YouGov Voxmeter Voxmeter
02-dec 03-dec 06-dec 09-dec 13-dec 15-dec 17-dec 22-dec 07-jan
19,9 18,5 23,1 20,6 21,3 20,2 19 20,6 22,6

Som man kan se, går det lidt op og ned med målingerne. Der er ikke rigtig noget mønster eller nogen ensartet udvikling, og næsten alle målingerne ligger så tæt, at det er inden for den statistiske usikkerhed. Tager man målingerne for pålydende, kan man lave historierne om Socialdemokraternes fald og stigning og fald og stigning og fald og fald og stigning og stigning. Det er meningsløst, men man kan gøre det. Med udokumenterede vinkler, afledte politiske kommentarer og postulerede årsagsforklaringer. Med korrekte informationer, men forkerte konklusioner. Det er to skridt frem og tre tilbage.

Sådan snyder medier med statistikken

Udgivet den af

Du ser dem dagligt – i fjernsynet, på nettet, i avisen: Søjlediagrammer, lagkagediagrammer, kurvediagrammer etc. De hjælper dig med at få et hurtigt overblik over udviklingen, stillingen, fordelingen. Men kan du stole på dem?

Ikke altid. Faktisk er grafikker et minefelt af mulig manipulation af dig som læser og seer. Der er med andre ord grund til at se sig godt for. Måske er dette old news for dig, men tag alligevel et kig på denne gode blog: Simply Statistics. En af forfatterne bag bloggen, Jeff Leek, har kigget Fox News efter i sømmene og fundet en række kreative eksempler på vildledende grafikker. Nogle af metoderne er velkendte, fx afkortning af x- og y-akser. Andre er mere kuriøse, fx forkert placering af punkter på akserne og sammenligning af forskellige enheder, uden at det oplyses.

Der er naturligvis mange andre end Fox News, man kan kritisere for vildledning af denne type, men eksemplerne i artiklen er gode til at skærpe éns kritiske blik.

Jyllands-Posten har i øvrigt taget historien op her.

Troværdige kulturvaner?

Udgivet den af

Kulturvaneundersøgelsen – den nye, monumentale, tilbagevendende, og særdeles grundige – har fået megen medieomtale de seneste uger. Men ikke den slags omtale, som Kulturministeriet (rekvirent), Epinion og Pluss Leadership på forhånd kunne håbe på.

Sagen tog sin begyndelse, da Stig Jarl, lektor i teatervidenskab, i Politiken leverede en analyse med det hovedbudskab, at danskernes rapporterede teaterbesøg var skudt helt forbi og dermed løgn. Det blev startskuddet til en serie af kritiske artikler om undersøgelsens validitet og troværdighed generelt. Jeg blev selv interviewet til Information om undersøgelsen i sidste uge.

Men hvad er egentlig op og ned i sagen? Lad mig starte med at slå fast, at der er tale om en omfattende og grundig undersøgelse, som rent metodisk ikke lader meget tilbage at ønske.

Man må stille to grundlæggende kritiske spørgsmål til en undersøgelse af denne type, nemlig 1) Hvad vil man undersøge, og hvordan er spørgsmålene formuleret? og 2) Hvordan er svarpersonerne udvalgt, og er de faktisk repræsentative for os danskere?

Til det sidste kan man konstatere, at der er tale om store og i udgangspunktet repræsentative stikprøver; at den overordnede svarprocent ligger omkring 50%, hvilket er normalt, men naturligt har givet anledning til en grundig bortfaldsanalyse, som ikke peger på ret store skævheder. Dog er børnefamilier overrepræsenterede. Det problem har man efterfølgende vægtet sig ud af. Repræsentativiteten er derfor ikke et stort problem.

Til det første kan man konstatere, at 1) undersøgelsesemnet – kulturvaner (og herunder medievaner) – er et følsomt område, forbundet med forskellige grader af social status og knyttet til de kulturværdier, vi hver især bærer rundt på. Forskning på området viser, at socialt følsomme emner ikke kan afdækkes præcist gennem spørgeskemaundersøgelser. Det er med andre ord et grundlæggende problem, som ikke handler om kvaliteten af den konkrete undersøgelse. Noget af usikkerheden kan naturligvis afdækkes ved at sammenholde svarene med registerbaserede oplysninger, fx om solgte teaterbilletter og operabilletter. 2) En række spørgsmål er formuleret anderledes i 2012-undersøgelsen i forhold til den seneste tilsvarende undersøgelse fra 2004. Det er der en række gode grunde til, som der argumenteres sagligt for i undersøgelsen. Bl.a. hensyn til den teknologiske udvikling i den mellemliggende periode og hensyn til sammenlignelighed med internationale undersøgelser på området.

Problemet er med andre ord ikke undersøgelsen an sich. Problemet er i stedet, hvis man

1) ukritisk tager konklusionerne om vores alle sammens kulturvaner som sandhedsvidne – og ikke blot som det pejlemærke eller fingerpeg, det vitterligt er;

2) konkluderer om udviklingen fra 2004-2012 uden smålig skelen til, hvordan man faktisk har spurgt, herunder om man har ændret i formuleringer og definitioner mellem de to undersøgelser.

Der mangler med andre ord en nuanceret og kritisk læsning og formidling af undersøgelsen. Her kunne kulturministeren passende selv gå forrest i stedet for at lade begejstringen løbe af med sig, når han i ministeriets egen pressemeddelelse udtaler, at børnene “… er meget aktive og læser for eksempel markant flere bøger end i 2004, hvor den forrige kulturvaneundersøgelse fandt sted.” Det ved vi så faktisk ikke noget om, da man i 2012-undersøgelsen har spurgt børnene hvor ofte de læser/hører bøger. Mens man i 2004 spurgte børnene, hvor ofte de læser bøger. Det er dog to forskellige ting.

Aviser bedst til meningsmålinger

Udgivet den af

Hvordan ser det ud med kvaliteten af de danske mediers formidling af meningsmålinger? Det spørgsmål findes der mange – sikkert overvejende kritiske – meninger om. Men ingen har tidligere systematisk undersøgt det. Før nu.

I det nye nummer af tidsskriftet Politik undersøger Erik Gahner Larsen og Simon Grundt Straubinger (begge SDU) formidlingen af meningsmålinger hos Politiken, Ekstra Bladet, Jyllands-Posten og Berlingske Tidende under de seneste tre folketingsvalgkampe (2005, 2007 og 2011). I alt analyseres 424 artikler fra både aviser og web i artiklen Mediernes formidling af meningsmålinger: Indholdsanalyse af folketingsvalg, 2005-2011.

Hovedkonklusionerne er

  1. Der formidles flere og flere meningsmålinger på internettet i forhold til i aviserne
  2. Intet taler for, at meningsmålinger formidles systematisk dårligere i Danmark end i andre lande
  3. Meningsmålinger er historisk set blevet formidlet bedre i aviserne end på internettet
  4. Statistisk usikkerhed formidles over tid bedre og bedre i artikler på internettet (min konklusion).

Analysen tager udgangspunkt i Esomar/Wapor-standarderne, der angiver en række kriterier, medierne bør opfylde, når de formidler meningsmålinger. Der opregnes syv metodiske informationer, som medierne ifølge Esomar bør fortælle læseren:

  1. Instituttet bag meningsmålingen
  2. Medieaktøren (som finansierer målingen)
  3. Stikprøvens størrelse
  4. Ordlyden af spørgsmålet
  5. Statistisk usikkerhed
  6. Indsamlingsperioden
  7. Metoden (Cawi, Cati, kombinationsmålinger etc.)

I analysen kortlægges formidlingen af de 424 artikler, og der laves en komparativ analyse, hvor man sammenligner med formidlingen af meningsmålinger i udenlandske medier (desk study). Endelig tester forfatterne fire hypoteser om, hvad der kan være årsag til forskellige niveauer af formidling i den danske dækning.

Analysen gør os specielt klogere på de danske forhold, mens den komparative del står svagere, da en række af de udenlandske undersøgelser må formodes ikke at være direkte sammenlignelige (på områder som web- versus printartikler, forskellig tidsperiode, forskellige medier/medietyper, studier under valgkampe versus studier af hele år osv.). Forfatterne er opmærksomme på denne svaghed og afholder sig af samme grund fra at konkludere ret meget på den komparative del.

Man kan naturligvis diskutere analysens medievalg (ingen gratisaviser og hverken DR eller TV2), som jeg gerne havde set bredere. Man kan også diskutere Esomars syv punkter. Analysen mangler efter min mening at medtage et punkt 8 (andel ved-ikke svar) og punkt 9 (svarprocent) som supplement til Esomars guidelines. Det er to vigtige informationer at få som læser.

Disse indvendinger ændrer dog ikke ved, at der er tale om en spændende og hidtil savnet analyse, som jeg vil anbefale enhver med interesse for området at ofre de 30 kroner på, som e-artiklen koster hos DJØF Forlag.

Har du brudt al kontakt med dine forældre/søskende/børn?

Udgivet den af

Skal man tro DR’s teaser til den nye programserie “Rod i familien”, så har fire ud af ti – altså flere end hver tredje – af jer, som læser dette indlæg, brudt al kontakt med forældre, søskende eller børn. Altså forudsat, at læserne af denne blog er repræsentative for den voksne danske befolkning.

Okay, den præmis holder givetvis ikke. Der er et problem med repræsentativiteten. Men DR’s påstand er ikke desto mindre, at “I fire ud af ti danske familier har forældre, børn eller søskende kappet al kontakt til hinanden”. Det er et højt tal, som har affødt flere “kan det passe?”-henvendelser til DR’s eget faktatjek-program Detektor.

Detektor dykkede i denne uge ned i den Megafon-undersøgelse, som påstanden refererer til. Jeg deltog selv i Detektors  indslag, som blotlægger, hvorfor der – af flere forskellige grunde – ikke er belæg for påstanden. Megafon-undersøgelsen stiller dette spørgsmål: “Har du på et tidspunkt brudt kontakten til et medlem af din nærmeste familie i længere tid eller permanent pga personlige uoverensstemmelser?” Men dels er der forskel på, om man på et tidspunkt i sit liv i en periode har brudt kontakten – eller om man nu og her (når man får spørgsmålet) har brudt kontakten. Og dels kan “nærmeste familie” ikke oversættes direkte til forældre, børn og søskende.

Det korrekte tal er nærmere, “at ca. hver tiende dansker har brudt kontakten til en mor, far, søster, bror eller barn”. Det viser en undersøgelse fra Rambøll.

Se hele indslaget her. (starter efter ca. 16 minutter i DR2-programmet fra 30. oktober)

Mindst 11.000 studerende i bolignød – eller hvad?

Udgivet den af

I dag kunne man på Politiken.dk læse, at Mindst 11.000 studerende er i bolignød. Forbrugerøkonom hos Nordea, Ann Lehmann Erichsen, udtalte belejligt, at det kom bag på hende, at så stor en gruppe studerende er de facto hjemløse. Det kom da også bag på undertegnede – og sikkert på mange andre overraskede læsere.

Historien bygger på en undersøgelse foretaget af TNS Gallup for – ja, Nordea såmænd. Gallup har i undersøgelsen fået svar fra 490 studerende i alderen 18 til 29 år.

Ud af de 490 studerende, har 1% – eller 4-5 personer – oplyst, at de ikke har nogen permanent adresse. Derudover har yderligere 3% (omtrent 14-15 personer) oplyst, at de bor til fremleje. Smag lige på tallene et øjeblik: 1% uden permanent adresse og 3% til fremleje. Nu er det at bo til fremleje efter mine begreber ikke det samme, som at være de facto hjemløs eller at være i bolignød, men lad nu det ligge. Der er andre og mere væsentlige problemer ved historien.

Problem 1

Det er en – relativt – kendt sag, at den statistiske usikkerhed er relativt (forholdsmæssigt) stor ved små andele. En andel på 1% må siges at være en lille andel. Det samme gælder en andel på 3%. Alarmklokkerne burde derfor nok ringe, når man generaliserer fra undersøgelsen og til samtlige danske studerende på videregående uddannelser. Som man gør, når man skønner, at 11.000 studerende befinder sig i bolignød.

Men hvad er usikkerheden på tallene egentlig? En hurtig beregning på andelen på 1% uden permanent adresse viser, at konfidensintervallet (ved et 95% sikkerhedsniveau) ligger mellem 0,1-1,9 procent. Vi ved med andre ord ganske lidt om omfanget af problemet hos danske studerende som sådan. Det kan således være helt ned til 0,1%. Det er derfor også gætværk, når man konkluderer, at problemet tilsyneladende er dobbelt så stort som i Sverige, hvor man har lavet en lignende undersøgelse. Og det er gætværk, når man skønner, at 11.000 danske studerende er “ramt”.

Intet sted i artiklen forholder man sig til denne betydelige usikkerhed, som i sig selv er ødelæggende for vinklen.

Problem 2

Et andet grundlæggende problem er, at man i artiklen tager for givet, at en studerende uden permanent adresse er i bolignød. Det er bestemt ikke givet. Retfærdigvis skal det siges, at artiklen citerer uddannelsesøkonom, Mie Dalskov Pihl,  for den ret ædruelige indvending, at manglende fast bolig (for et fåtal af studerende) kan skyldes helt almindelige ting som hjemkomst fra udlandsophold, at man er gået fra kæresten eller lige har skiftet studieby. Det ville med andre ord være mærkeligt, hvis undersøgelsen ikke havde vist en lille gruppe uden fast bopæl.

Men når man nu har en kilde, som faktisk leverer den logiske og gode forklaring, hvorfor negligerer man det så fuldstændig i rubrikken og underrubrikken, og lader Nordeas forbrugerøkonom levere sine gætterier uimodsagt?

Det er meget muligt, at der rundt om i landet er problemer med at skaffe boliger nok til vores studerende. Og lad os da endelig tage den debat. Men lad os gøre det på et sagligt grundlag.

Er analyseinstitutterne ens?

Udgivet den af

Uanset hvilke medier man følger, kan man næsten dagligt læse, at den seneste meningsmåling viser.

Ethvert større dansk mediehus har sin egen hel eller halveksklusive aftale med et analyseinstitut: Epinion, TNS Gallup, Voxmeter, YouGov, Megafon og hvad de nu ellers hedder.

Men hvordan arbejder institutterne egentlig? Og hvad skal man som journalist eller bare almindelig medieforbruger være opmærksom på rent metodisk? Jeg vil her ridse nogle af de metodiske forskelligheder og karakteristika op.

Adgang til svarpersoner

Der anvendes grundlæggende tre indsamlingsmetoder: Telefoninterviews (CATI), webpaneler (CAWI) og en kombination af begge. YouGov anvender udelukkende webpanel, mens flertallet af de øvrige institutter arbejder med en kombi-model (fx med fordelingen 50-50, 60-40 eller 80-20). Der findes også institutter, som kun anvender CATI til politiske meningsmålinger. Og for at gøre forvirringen total er der også institutter, som varierer metoderne nærmest fra måling til måling.

Traditionelt har man kritiseret webpaneler for ikke at være repræsentative. Kritikken går blandt andet på, at ældre mennesker og lavtuddannede er underrepræsenterede, og at man påvirker folk i panelet gennem de spørgsmål, man stiller dem. Løbende udskiftning af panelets medlemmer kan til en vis grad afbøde problemet med påvirkning. Erfaringer fra bl.a. folketingsvalget i 2011 viser imidlertid, at webpaneler i nogle tilfælde ramte mere præcist end telefonbaserede målinger. Det er med andre ord ikke længere helt så selvfølgeligt, at CATI er bedst. Det er til gengæld klart, at CAWI er billigst. Kombi-metoden har dog stadig den – i hvert fald teoretiske – fordel, at man bedre kan sikre en demografisk repræsentativ svargruppe.

Kvaliteten af webpanelet

Kvaliteten af webpanelerne er – og bliver i tiltagende grad – et afgørende konkurrenceparameter. Her skal man særligt være opmærksom på panelets størrelse og sammensætning, den løbende udskiftning af panelets medlemmer og de baggrundsoplysninger, man indhenter på medlemmerne. Man skal også være opmærksom på, hvordan respondenterne er rekrutteret og eventuelle skævheder som følge heraf – er de fx selvrekrutterede eller inviterede eller købt fra et eller andet medlemsregister? Erfaring med webpaneler er et andet afgørende parameter. Det tager tid (og valg) at opdage et webpanels eventuelle indbyggede skævheder og lære at justere med relevante vægte.

Indsamling via webpaneler

Man skulle måske tro, at indsamlingen af panel-svar foregår på samme måde på tværs af institutterne. Det er dog ikke tilfældet. Nogle institutter anvender præstratificering, hvor de på forhånd udtrækker en repræsentativ stikprøve blandt panelets medlemmer. Hvis man her opnår en svarprocent nær 100, behøver man faktisk ikke nogen efterfølgende vægtning af svarene eller løbende kontrol. Det kræver dog, at man bruger ressourcer på at sikre en meget høj svarprocent.

Andre institutter anvender kvoteopfyldelse, hvor repræsentativiteten sikres løbende og automatisk i takt med, at svarene tikker ind. Her registreres med andre ord de hurtigste svar blandt panelets medlemmer. Det åbner op for nogle mulige skævheder, som ikke gør sig gældende ved præstratificerede stikprøver.

Endelig er der institutter, som kombinerer metoderne ved at udtrække en præstratificeret stikprøve og herefter løbende følger, om kvoterne opnås på de enkelte strata (og løbende supplerer kvoterne, hvor der måtte mangle svar). Det er naturligvis nødvendigt, hvis man ikke opnår den helt høje svarprocent, og der er systematiske skævheder.

Håndtering af tvivlere

Ved politiske meningsmålinger stiller institutterne det enslydende spørgsmål: Hvilket parti ville du stemme på, hvis der var folketingsvalg i morgen? Det er imidlertid ikke alle danskere, der har en klar holdning til partivalg. Nogle – ofte 10-15 procent – udtrykker i første omgang tvivl, når man stiller dem spørgsmålet. De fleste institutter prober. Det betyder, at de forsøger at vriste et svar ud af tvivlerne, fx ved at stille et opfølgende spørgsmål: Hvilket parti vil du mest sandsynligt stemme på? Eller: Hvilke partier kunne komme på tale/hælder du til? Det får en del af tvivlerne til at tilkendegive en holdning, og disse lidt usikre stemmer regnes så typisk ind på lige fod med dem, der har en sikker politisk overbevisning. Tilbage står en lille restgruppe af hårde tvivlere. De fleste institutter oplyser, at denne restgruppe smides ud eller ikke tillægges nogen betydning, når de estimerer mandat- og procentfordelingerne. Argumentet er, at det er for usikkert at forsøge at gætte dem ud. Nogle af disse tvivlere vil givetvis også tilhøre gruppen af sofavælgere eller stemme blankt.

Imidlertid indgår tvivlergruppen som regel i den oplyste sample size, dvs. i den oplyste stikprøve. Det betyder i praksis, at gruppen behandles, som om den ville stemme som ikke-tvivlerne. I virkeligheden burde man enten fjerne denne gruppe fra den oplyste stikprøve eller tydeligt skrive, at tvivlergruppen udgør xx procent og bør trækkes fra stikprøven, hvis man ønsker at beregne den statistiske usikkerhed. Måske flueknepperi og marginalt, men alligevel. Der findes givetvis også institutter, som vægter tvivlerne ind. Men her er vi inde og pille ved forretningshemmelighederne.

Metodisk forskellighed

Der er selvfølgelig andre ting, der differentierer institutterne: Hvordan vægter man svarene – hvis man vægter dem? Hvordan håndterer man førstegangsvælgere? Hvordan håndterer man, at folk har svært ved at huske (eller har fortrængt), hvad de stemte ved seneste valg?

Pointen er, at der formentlig er større metodisk forskellighed mellem institutterne, end de fleste forestiller sig. Og at vi pt. befinder os i en overgangsfase i forhold til adgang til svarpersoner.

Det er imidlertid vanskeligt at rangordne institutterne. Målingerne op til seneste folketingsvalg viste, at ingen af institutterne ramte helt skævt – eller helt præcist. Institutterne er nogenlunde enige om at spørge mellem 1000 og 1500 personer. Her kunne de differentiere sig. Og fx spørge 5000 repræsentative danskere. Det ville give større præcision – uanset metode.

 (Dette indlæg bygger bl.a. på interviews med en række af de toneangivende danske analyseinstitutter)

Aftenpostens kildekritik halter

Udgivet den af

Single Kvinner vil beholde boligen for seg selv. Halvparten av norske, single kvinner ønsker ikke at en fremtidig partner skal flytte inn hos dem.

Historien kunne i går læses hos Aftenposten – Norges største avis målt på oplag og traditionelt regnet for en seriøs avis. God historie. Overraskende pointe. Og måske uden hold i virkeligheden.

John Bones, journalist på konkurrerende VG, rejser en berettiget og saglig kritik af historiens manglende belæg.

Kilden til historien er en undersøgelse gennemført af datingtjenesten Match.com blandt 1300 af deres medlemmer (singler). Ikke med ét ord problematiserer Aftenposten brugen af denne kilde. Ingen forbehold. Ingen kildekritik.

Men det er altså for useriøst at generalisere fra 1300 brugere af et datingsite til norske single kvinner som sådan. Som om brugere af et datingsite pr definition er repræsentative for en hel nations singler. Eller som om repræsentativitet ikke for alvor betyder noget. Det gør det. Skulle man have glemt det, hjælper Ekstra Bladets meningsmåling fra efteråret på hukommelsen:

Det er til gengæld befriende at høre en journalist slå ned på Aftenpostens praksis.

Med John Bones egne ord:

Utvalget er dermed ikke representativt for norske kvinner. Aftenposten har ikke beskrevet metodebruken ytterligere, men det er grunn til å anta at svarene er gitt ved selvseleksjon. Enda verre!

I forrige uke gjorde Aftenposten den samme tabben, da avisen mente å kunne fastslå at halvparten av norske foreldre vil fjerne leksene. Undersøkelsen var utført ved selvseleksjon og var følgelig ikke representativ for norske foreldre.

Kan ikke vi som jobber i mediene gjøre det til en felles oppgave å forsikre oss om at undersøkelser vi presenterer faktisk er korrekte? Kildekritikken bør være den samme, uansett hva slags kilder vi bruker.

Man kan kun give manden ret.

Er “godt” godt nok?

Udgivet den af

I denne måned blev den årlige LUP-undersøgelse offentliggjort. LUP står for Landsdækkende Undersøgelse af Patientoplevelser, og der er i sandhed tale om en landsdækkende undersøgelse. Flere end 138.000 patienter har i efteråret 2011 besvaret det fremsendte spørgeskema. Nej, der er ikke et nul for meget med. Og ja, spørgeskemaerne er fremSENDT. Med posten. Som i de gode gamle dage.

LUP-undersøgelsen er god at blive klog af. Den rummer rigtig megen god metode – og tillige en række metodiske problemer.

Et af problemerne tematiseres i LUP-rapporten under overskriften Er “godt” godt nok? Indledningen lyder sådan her:

Flere spørgsmål i LUP har over 90 % positive besvarelser. “Positive besvarelser” dækker både over de patienter, der besvarer, at de oplever noget som “godt” og som “virkelig godt”.

Men hvad er historien bag tallene? Hvad gemmer sig fx bag bedømmelsen “god”? Det har folkene bag LUP gjort sig den ulejlighed at afdække via en interviewundersøgelse blandt et lille udvalg af patienter, der har vurderet den mundtlige information som “god”.

Interview med de pågældende patienter viser – ikke overraskende – at vurderingen “god” bliver en slags gennemsnitsvurdering, som dækker over både gode og dårlige oplevelser, og hvor de seneste besøg fylder mest. Konkret skjuler vurderingen “god” oplevelser med overfladiske læger og utryghed og nervøsitet, som bl.a. bunder i skiftende meldinger fra skiftende læger. Som tidligere beskrevet kan der være mange gode grunde til, at patienter ikke giver udtryk for dårlige oplevelser i et spørgeskema – eller i det mindste kun gør det indirekte med bedømmelsen “god”.

Man må derfor spørge sig selv, om vurderingen “god” er godt nok – som succesparameter. Og videre, hvordan man kan bruge store kvantitative undersøgelser som denne til at fremme det gode patientforløb – en erklæret målsætning.

I mellemtiden kan vi (metodenørder og andre) glæde os over et fint og gennemsigtigt studie i spørgeskemaundersøgelsens lyksaligheder og – ikke mindst – begrænsninger.