For mange ældre går med ble

De fleste beboere på danske plejehjem går med ble, skrev Politiken sidste søndag i en artikel, hvor data var indhentet via en spørgeskemaundersøgelse til plejehjemsledere. Avisen skal have ros for at bruge det udmærkede rundspørge-værktøj til at sætte fokus på et væsentligt emne, som generelt ikke giver så mange prestige-point blandt journalister. Efter valgkampen er det faktisk også ganske befriende med en afbrydelse i den evindelige strøm af undersøgelser, der viser marginale udsving i meningstilkendegivelser fra ”et repræsentativt udsnit af den danske befolkning”.

En væsentlig detalje i Politikens undersøgelse, som avisen da også valgte at vinkle på i forsidehenvisningen, er plejehjemsledernes holdning: ”For mange ældre går med ble”. Nærlæsning viser, at den overskrift er baseret på, at 92,1 pct. af de plejehjemsledere, der har svaret på rundspørgen, tilkendegiver holdningen ”meget enig” eller ”enig” i udsagnet: ”De ældre bør komme på toilettet og i mindre grad gå med ble”.

Man kan indvende, at udsagnet er tæt på at være farvet, så det er vanskeligt at være uenig i. På den anden side må man også gå ud fra, at svarpersonerne kender til de faktiske forhold i plejehjemsbranchen og derfor også de argumenter, der taler for, at ældre bør går med ble, fx problemer med inkontinens. Derfor kan man godt konkludere, at det har været med i overvejelserne hos svarpersonerne, inden de tilkendegav deres grad af enighed i spørgsmålet.

92,1 pct. er en overbevisende andel også selv om svarpersonerne ikke er repræsentative for alle plejehjemsledere. Og det er de faktisk ikke, skriver Politiken selv. I faktaboksen ved undersøgelsen er der nemlig denne ”varedeklaration”:

”Politiken Research har i en spørgeskemaundersøgelse fået svar fra 381 ledere af plejehjem og -boliger ud af i alt 886 mulige. Plejehjemsledere fra i alt 86 kommuner har deltaget. Rundspørgen, som ikke er statistisk repræsentativ, men udtrykker en tendens, er foretaget i perioden 24.2.-7.3.2011”.

Det er faktisk en deklaration, som mange andre medier kunne lære af. Avisen har fået svar fra under halvdelen (43 pct.) af de mulige svarpersoner. Det er en ret lille andel, og avisen har åbenbart ikke grundlag for at påstå, at de, der har svaret, er repræsentative for alle plejehjemsledere. Derfor nøjes man med at kalde resultatet af undersøgelsen for ”en tendens”.

Andre steder i formidlingen er der malet med en mere bred pensel på den måde, at man uden forbehold generaliserer til alle plejehjem i Danmark med ordene ”på halvdelene af plejehjemmene” og ”på hvert andet plejehjem”. Det vælger jeg i denne omgang at se mindre alvorligt på, når forbeholdet er nævnt i en forbilledlig deklaration. Og ”tendensen” i avisens undersøgelse er da både interessant, alvorlig og tankevækkende.

Ledende spørgsmål og bondefup med Galluptal

Som man spørger, får man svar. Det er en gammel kendt sandhed, som også gælder spørgeskemaundersøgelser.

Forleden blev jeg præsenteret for en undersøgelse, som Gallup havde lavet for JKL Group på vegne af foreningen Bæredygtigt Landbrug.

Undersøgelsen var et studie i ledende spørgsmåls- og svarformuleringer. Et lille udpluk:

Skal politikerne, når de lovgiver, lægge vægt på

At minimere administrativt bøvl?

At miljøet beskyttes uanset hvad det koster?

Er du enig eller uenig i følgende udsagn:

Der er en grænse for, hvor langt de danske politikere kan gå i forhold til at lægge særregler og afgifter over på dansk landbrug?

 Hvem er ikke imod bøvl, hvem vil beskytte miljøet uanset prisen, og hvem mener, at man kan pålægge noget erhverv i dette land ubegrænsede særregler og afgifter?

Hvis formålet med undersøgelsen er at blive klogere på danskernes holdning til landbruget, så er spørgsmålene forkert stillet.

Journalist Kjeld Hansen stiller skarpt på undersøgelsen og dens kontekst i en dugfrisk artikel: Bondefup med Gallup-tal publiceret på Åbenhedstingets hjemmeside. Læs selv og vurder undersøgelsens troværdighed.

Når svarpersoner pynter på virkeligheden

Forleden kunne man i Politiken læse en større undersøgelse af danskernes kulturforbrug. Megafon havde spurgt 1.026 danskere om følgende:

Har du inden for det seneste år gjort én eller flere af nedenstående ting? (Her er et udpluk af de svarmuligheder, man kunne krydse af)

  • Besøgt et kunstgalleri
  • Været til klassisk koncert
  • Været til koncert med rytmisk musik
  • Købt billedkunst
  • Været til opera
  • Hørt radioteater

Det viste sig, at blandt de universitetsuddannede svarpersoner havde halvdelen været i teatret, hver tredje købt billedkunst, hver fjerde været til opera og knap hver tredje været til klassisk koncert. Inden for det seneste år. Hvis man altså tager svarpersonerne på ordet.

Men kan man faktisk stole på den slags svar? Eller har folk en tilbøjelighed til at pynte lidt på virkeligheden? Ja, det har mange mennesker faktisk. Effekten kaldes i fagsproget social desirability bias – en betegnelse, som henviser til, at undersøgelser i almindelighed viser forkert, når de spørger folk om emner, der er socialt følsomme. Socialt følsomme emner kan fx være seksualitet, generøsitet, intolerance, intellektuel formåen og adfærd, som er forbundet med høj eller lav status. Fænomenet (socially desirable responding) er særlig udtalt, når man spørger folk direkte om deres egen adfærd/egne holdninger. Det er ikke nødvendigvis, fordi svarpersonerne lyver. Ofte husker de forkert og tror selv på det, de svarer. Men det hjælper lige lidt.

Hvordan skal man så undersøge folks kulturvaner – og alle mulige andre vaner – og få valide svar? Èn mulighed er at lade være med at spørge! I stedet kan man via Danmarks Statistik og kulturinstitutionerne undersøge, hvor mange billetter, der faktisk er solgt over en 1-årig periode. Men det besvarer jo ikke spørgsmål om køb af billedkunst m.v.

En anden mulighed er at gøre svarene mere forpligtende. Man kan fx bede svarpersonerne konkretisere, hvor og hvornår de har været i operaen, og eventuelt fortælle, hvad de har set. Det kan man problem- og omkostningsfrit gøre i en webbaseret undersøgelse, og det vil gøre det noget vanskeligere for svarpersonerne at pynte på virkeligheden. Det vil provokere svarpersonen til faktisk at tænke efter. Måske ligger operaturen og kunstkøbet et par år tilbage, når det kommer til stykket?

En anden problemstilling ved undersøgelsen er Megafons nedbrydning af stikprøven på 6 undergrupper (længste gennemførte uddannelse). Det er legitimt at gøre, men giver stor statistisk usikkerhed på de konkrete tal, når den samlede stikprøve ikke er større end 1.026 danskere. Denne betydelige usikkerhed forbigås i rungende tavshed.

Alt i alt er der god grund til at tage undersøgelsens resultater med et stort gran salt. Desværre bliver ingen af disse oplagte fejlkilder og forbehold nævnt i artiklen. Tværtimod. Undersøgelsens resultater tages for pålydende:

“Mens for eksempel 26 procent af kandidaterne fra universiteterne har været til opera inden for det seneste år, så gælder det 6 procent af håndværkerne og 9 procent af de ufaglærte.”

Det er for skråsikkert. For ukritisk. Og formentlig forkert. Og det havde faktisk ikke krævet meget at gøre det bedre.

Rullende meningsmålinger og journalistiske fatamorganaer

Meningsmålingsinstitutterne benytter rullende målinger under valgkampen. En rullende måling består typisk af 2/3 svar, som er 1-3 dage gamle, og så 1/3 nye svar. Det betyder, at de målinger, vi præsenteres for som dugfriske og øjebliksbilleder, i virkeligheden for hovedpartens vedkommende består af gamle svar. Derfor ligner de hinanden. Derfor bider forskelle mellem institutterne sig fast. Og derfor er det et journalistisk fatamorgana, når man tror, at politisk spin, nye væksttal eller ny fnidder hos blå blok kan aflæses umiddelbart i de seneste målinger.

Læs hele blogindlægget på DMJXs valgblog

Læs også interview på journalisten.dk om samme

Eller hør indslag på P1-programmet  Detektor fra 7. september

500 forskere undsiger deres rektor

Når 500 medarbejdere mener, at deres øverste chef bør forlade sin stilling, er det da ganske opsigtsvækkende. Derfor er der ingen tvivl om, at Berlingske havde en god historie, da avisen omtalte en rundspørge, der var sendt til videnskabelige medarbejdere på Københavns Universitet.

Allerede i det indledende afsnit begår Berlingske imidlertid den fejl at konkludere, at ”op mod hver anden videnskabelig medarbejder” ønsker rektors afgang, og straks derefter citere en kilde for, at ”godt halvdelen af medarbejderne ønsker, at den ledende figur skal gå af” – også bortset fra tvivl om betydningen af udtrykket ”godt” fra enten kildens eller journalistens side.

Ifølge Berlingske svarede nemlig 48,3 procent af svarpersonerne ”Ja” til spørgsmålet: ”Mener du, at Ralf Hemmingsen bør gå af efter Penkowa-sagen?”. Problemet er, at avisen har spurgt 5.500 videnskabelige medarbejdere, og kun 1.049 har valgt at svare. En svarprocent på 19 er meget lav, og det er nærliggende at antage, at mange af dem, der har undladt at svare, enten ikke har nogen mening om den fremsatte påstand eller måske ligefrem hælder til et ”Nej”, men i øvrigt ikke synes, at deres holdning til den komplekse sag om rektors rolle i Penkowa-sagen kan destilleres til et svar på et så unuanceret spørgsmål.

Fagbladet Journalisten bringer historien om, at Universitetsavisens redaktør er kommet under beskydning efter at have forsøgt at kopiere Berlingskes rundspørge, men med universitetets studerende og øvrige grupper af ansatte som svarpersoner. I Journalisten er Nils Mulvad og jeg blevet bedt om en vurdering af rundspørgernes lødighed. Nils har derudover lavet sin egen grundige gennemgang, som er værd at læse, hvis man vil klæde sig på til at undgå lignende fejl, eller hvis man blot ønsker at blive bedre rustet til at være en kritisk læser af rundspørgeresultater.

Links

Artiklen i Berlingske, 23. juni 2011

Journalisten: Ansvarsløs og skandaløs, 10. august 2011

Journalisten: Eksperter: Undersøgelsen er for tynd, 10. august 2011

Nils Mulvad: Dårlig rundspørge fra Berlingske i Penkowa-sagen, 10. august 2011

Reklame forklædt som undersøgelse

Rejsebranchen har for alvor fået øjnene op for undersøgelsesindustrien, som en let adgang til gratis reklame. I løbet af foråret har der været en række eksempler på mere eller mindre kreative indslag i pressen med rejsebranchen som afsender.

I februar kunne man således læse, at danskerne foretrak Helle Thorning frem for Lars Løkke som rejseguide. Afsenderen var Hotels.com, som er overmåde leveringsdygtig i nye undersøgelser. Senere på måneden var det så Apollo, der kunne berette, at danskerne går op i takt og tone på ferien. Og i denne uge afslører Star Tour, at vi spiser, drikker, ryger og dyrker mere sex, når vi er på ferie. I sandhed breaking news. Salgsdirektør i Star Tour, Stig Elling, stiller beredvilligt op med en jovial kommentar: Han synes “det er glædeligt, faktisk, at så mange nyder livet på den måde, når de holder ferie – og det er jo kun et par uger om året”. Og det kan man jo næsten ikke være uenig i.

Man kan dårligt bebrejde rejsebranchen, at de har fundet og udnytter en genvej til omtale. Og ret beset er “undersøgelserne” temmelig harmløse. Men har medierne ikke bedre ting at berette om?

De fleste medier holder sig heldigvis for gode til at lege med, når undersøgelserne bevæger sig ud i det absurde – som i eksemplet med Løkke og Thorning som rejseguider. Men i rigtig mange af undersøgelserne er gennemslaget i medierne stort.

Apollos undersøgelse, hvor Kvinder siger nej til bare feriebryster, var for stor en fristelse på redaktionerne. Den fik alene 49 omtaler, viser en søgning på Infomedia. Hotels.com har haft 246 danske omtaler af undersøgelser bare i 2011. Også Star Tour (119), Apollo (191) og Spies (88) har haft stort gennemslag i 2011. En del af forklaringen på omtalen af Star Tour er Stig Elling. Han udmærker sig ved ofte at gå ind og kommentere undersøgelser fra andre i rejsebranchen, når de åbenbart kalder på en ekspert- eller brancheudtalelse.

De store spillere i rejsebranchen har fundet en effektiv genvej til omtale.  Tallene taler deres eget tydelige sprog. Men kan medierne holde til det i længden?

Hvad er en god rubrik?

Man kommer ikke svaret nærmere efter at have læst mediernes formidling af den netop offentliggjorte undersøgelse Ny lærer – en evaluering af nyuddannede læreres møde med folkeskolen, som Danmarks Evalueringsinstitut (EVA) har gennemført.

Jeg vover et øje: En god rubrik – og underrubrik – behøver ikke råbe sit budskab ud. Den behøver ikke være ultrakort. Den kan godt være nuanceret og formidle mere end ét forenklet budskab. Først og fremmest skal der være sammenhæng – det nogen vil kalde validitet – mellem rubrik/underrubrik og de undersøgelsesresultater, man formidler i sin artikel. Jeg vender tilbage til hvordan.

Men hvad var det, medierne fik ud af EVAs netop offentliggjorte undersøgelse? Og som provokerede mig til dette indlæg? Her et lille udpluk af de negative overskrifter, som undersøgelsen trak: Folkeskolen ryster mange nye lærere (Politiken), Folkeskolen chokerer nye lærere (Berlingske), og Praksischokket rammer stadig nye lærere (www.folkeskolen.dk).

Hvordan hænger den ensidigt negative tone i de nævnte eksempler sammen med EVAs egen pressemeddelelse: God start for nye lærere i folkeskolen? Og med Fyens Stiftstidende, som skrev, at Lærernes arbejdsglæde vokser? Hvordan kan det alt sammen være rigtigt – og afspejle selvsamme undersøgelse? Det stritter jo i hver sin retning. Hvem kan man stole på?

Svaret er, at EVAs undersøgelse tegner et broget og nuanceret billede. Lærerne beretter om en række store udfordringer i mødet med praksis, men også om, at mødet med virkeligheden på skolerne i rigtig mange tilfælde er et positivt møde. Ingen af rubrikkerne tegner derfor et særlig troværdigt eller dækkende billede af undersøgelsens resultater. Man lukker øjnene for det, som forstyrrer den valgte vinkel.

Men er det ikke bare sådan man laver rubrikker? Fængende, med en skarp og entydig vinkel? Eller kan en broget virkelighed formidles troværdigt og nuanceret i rubrik og underrubrik?

Jeg vover det andet øje. Sådan kunne rubrik og underrubrik have set ud:

Fortsat store udfordringer for nye lærere i folkeskolen

Ni ud af ti nyuddannede lærere oplever mødet med praksis i skolen som positivt. Men mange oplever problemer med undervisningsdifferentiering og konflikthåndtering. Mere praksisrettet uddannelse og støtte fra skoleledere efterlyses.

Rubrikkerne er lange. De råber ikke budskabet ud med ord som chok/ryster, og de vinkler ikke ensidigt på undersøgelsens positive eller negative resultater, men afspejler undersøgelsens nuancerede konklusioner.

Mænd har godt af fodboldkampe

Altså af at kigge på dem! Det er godt for vores helbred og livskvalitet, viser en ny undersøgelse fra Norges teknisk-naturvidenskabelige universitet (NTNU). Hvilken herlig nyhed. Nu mangler vi bare en undersøgelse, som viser, at mænd har godt af fadøl og frankfurtere, før vi kan ordinere forebyggende all inclusive fodboldture på statens regning. Mon ikke det kan sælge billetter?

NTNU har undersøgt sammenhængen mellem kulturforbrug og helbred og livskvalitet i en spørgeundersøgelse med deltagelse af flere end 50.000 voksne nordmænd.

I den forgangne uge er resultaterne fra undersøgelsen så gået verdenspressen rundt – her et lille udpluk: Mænd har godt af at gå på museum (Politiken), Menn har godt av fotballkamper (Aftenposten), Cultural activities good for men’s health and happiness (The Telegraph) og NTNUs egen pressemeddelelse Cultural activities are good for you.

Undersøgelsens metode – kort fortalt:

1) Man spørger på baggrund af en hypotese en stor og nøje udvalgt gruppe mennesker om deres holdninger/oplevelser/adfærd inden for et område (her kulturforbrug og helbred m.v.).

2) Herefter undersøger man, om der umiddelbart er statistisk sammenhæng i svarene på de ting, man har spurgt om. Ofte ved hjælp af regressionsanalyser.

3) Hvis man finder en statistisk sammenhæng, kontrollerer man herefter rent statistisk, om sammenhængen skyldes andre faktorer, fx. socioøkonomisk status (uddannelse, indkomst, alder osv.). Det kaldes at kontrollere for 3. variabel.

4) Hvis sammenhængen “overlever” kontrollen for andre faktorer, har man dokumenteret en statistisk sammenhæng. Og det er, hvad de norske forskere har præsteret – og præsenteret.

Betyder det så, at der også er en årsagssammenhæng? Altså at det faktisk gavner mit helbred at se fodbold eller gå på museum? Det ved vi ikke. Og det kan ikke sådan lige bevises eller efterprøves. Desværre, er vi nogen, der kunne tilføje. At dokumentere en statistisk sammenhæng er noget ganske andet end at forklare den. Måske går sammenhængen den anden vej, altså at folk med godt helbred og god livskvalitet har tid til at gå på museum og til fodbold – og prioriterer det.

Hvorfor nu denne metodesnak? Fordi undersøgelsens metode er helt klassisk og af den slags, som journalister skal kende, forstå og kunne formidle sikkert til modtageren. Det dur ikke at fjerne nuancerne og præsentere årsagssammenhængen som undersøgelsens resultat.

Men er det ikke dræbende kedeligt for læseren med alle disse nuancer og forbehold? Næh, i hvert fald ikke mere kedeligt, end at Aftenposten bringer dem, Discovery News bringer dem, Economics Newspaper bringer dem … etc.

Men Politiken (og The Telegraph m.fl.) bringer dem ikke. Og dermed ødelægger de faktisk nyhedens troværdighed. Politikens Mette Olsen ærgrer sig da også over, at forbeholdet om kausaliteten ikke kom med i artiklen: Det forbehold burde i dén grad have været nævnt, svarer hun i en mail foreholdt problemstillingen. Og det kan faktisk gøres ret enkelt, som her hos Discovery News:

Questions remain, though, about cause and effect: are people healthier and happier because they are cultured — or do they seek out more culture because they feel good to begin with?

Svaret får indtil videre stå hen i det uvisse.

Repræsentativ undersøgelse?

“Skoleledere dumper plan om elever i verdensklasse” – sådan kunne man forleden læse på Politiken.dk.

“elever i verdensklasse” refererer til regeringens nyligt fremlagte målsætning om, at børn, der startede i skole i sommer, skal være blandt top 5 i verden til at læse og regne, når de forlader skolen i 2020.

Politiken Research har spurgt ca. 1500 skoleledere, om de mener, at målsætningen er realistisk. Det mener blot 16 procent af de 600 skoleledere, som faktisk svarede. Men er de 600 svar tilstrækkeligt til, at man kan generalisere og skrive, at “danske skoleledere dumper …”?

Svaret er nej. 600 svar er ganske vist mange, og en svarprocent på 40 er god for denne type undersøgelser. Men vi ved ikke, om svarene er repræsentative for hele populationen af skoleledere. Man kan fx forestille sig, at skoleledere, som er utilfredse med regeringens udspil, har følt større incitament til at svare end skoleledere, som forholder sig mere neutralt.

Politiken vinkler i første omgang for skarpt, men løser herefter problemstillingen fint med følgende kommentar indsat nederst i artiklen:

Rettelse: Der stod i en tidligere version af denne artikel, at 16 procent af alle skoleledere finder det urealistisk, at danske børn om ni år er blandt verdens bedste til at læse og regne. Det er 16 procent af de skoleledere, der svarede i vores rundspørge, der har den opfattelse.

Et godt eksempel på, hvordan man i formidlingen tager de nødvendige forbehold.

“Danskerne er ligeglade med de høje oliepriser”

Denne Ritzau-historie cyklede rundt i næsten alle større danske medier i januar måned, bl.a. hos DR Nyheder og Energibranchen. Kilden er Nordeas Bekymringsbarometer, hvor Synovate har spurgt ca. 1000 danskere, om de bekymrer sig om benzin- og energipriser og en række andre faktorer, der påvirker privatøkonomien.

Men ligeglad er så meget sagt: Det er faktisk kun “arbejdsløshed og tabt indkomst”, vi bekymrer os mere om end energi- og benzinpriser – jf. undersøgelsen fra januar 2011. Og da tallene ligger helt tæt, kunne man med samme ret have vinklet: “Danskerne er ligeglade med arbejdsløshed”…

Tabel fra Bekymringsbarometer 2011

Lad os se på udviklingen fra 2010 til 2011:

Andelen af bekymrede danskere (spørgsmålet om benzinpriser) er i stikprøverne faldet fra 28 til 25 procent fra 2010 til 2011, men forskellen er ikke statistisk signifikant. Vi kan med andre ord ikke konkludere, at den faldende bekymring gælder danskerne generelt. Tjek selv ved hjælp af beregneren. Stikprøverne er på henholdsvis 1005 (2010) og 1028 personer (2011).

Til gengæld er faldet fra 36 til 31 procent på spørgsmålet om energipriser signifikant.

Konklusion: Det afgørende – og bemærkelsesværdige – fald i danskernes bekymring skete i perioden fra 2009 til 2010, mens udviklingen fra 2010 til 2011 er stort set status quo. Og energi- og benzinpriser er fortsat blandt danskernes største privatøkonomiske bekymringer.