Intet er så godt som resultaterne af en frisk, lille undersøgelse, når man vil understrege et budskab. Det har Star Tours dygtige kommunikator, salgsdirektør Stig Elling, selvfølgelig også fundet ud af. Forleden benyttede han det lille trick i en udtalelse til Jyllands-Posten.
Artiklen ”Ferie i stedet for efterløn” handlede om, at danskerne vil bruge efterlønsmidler på dyre ferier. Stig Elling omtaler en ”lynspørge-undersøgelse” med 600 svar og siger:
”Vores undersøgelse viser, at 30 pct. har valgt at få efterløns-kronerne ud nu, og heraf vil 60 pct. af dem bruge pengene på en rejse.”
600 svarpersoner er et pænt antal, som ikke ligger langt under, hvad de store institutter bruger i politiske meningsmålinger. Den statistiske usikkerhed vokser dog i takt med, at der laves beregninger på undergrupper. 30 pct. af 600 er 180 svarpersoner, der altså har valgt at få efterlønskronerne ud nu, og af dem vil 108 (=60 pct.) bruge pengene på en rejse.
Beregneren på dette site viser et usikkerhedsinterval omkring de 60 pct. på +/- 7,2 procentpoint, så man burde altså kunne konkludere, at et pænt flertal af dem, der har valgt at få efterlønskronerne nu, har tænkt sig at rejse for pengene.
Det problematiske er, at vi ikke ved, om de 180 svarpersoner er repræsentative for alle dem, der ønsker at få efterlønsmidlerne udbetalt blandt de mere end 2 mio. danskere, der betaler til ordningen. Sandsynligvis har vi fat i en gruppe, der adskiller sig afgørende på ét punkt: De er mere interesserede i ferierejser end gennemsnittet.
En opringning til Star Tour viser nemlig, at ”lynspørgeundersøgelsen” ikke er foretaget blandt et repræsentativt udsnit af danskerne, men i løbet af et døgn blandt de mennesker, der er kommet forbi en webrundspørge på Star Tours hjemmeside.
Det stod der bare ikke noget om i artiklen i Jyllands-Posten. Og det kommer vel ikke bag på ret mange, at et pænt flertal af dem, der er på jagt efter en charterrejse, og som har valgt at få efterlønsmidlerne udbetalt, kunne finde på at bruge disse penge til at rejse for?
Kategoriarkiv: Repræsentativitet
Piloter falder i søvn i cockpittet
Hvis man ikke led af flyveskræk i forvejen, så fik man en fin anledning forleden, hvor Ritzau kom ud med historien om, at hver anden pilot er faldet i søvn under flyvning.
Det er en god historie – og den har noget på sig. Historien bygger på en undersøgelse gennemført i sensommeren 2011 af analysefirmaet Axand Konsult blandt medlemmer af Svensk Pilotförening. 625 piloter har deltaget i undersøgelsen. I alt 1063 piloter er blevet spurgt, dvs. en svarprocent på 59.
Hvis nogen synes, historien vækker genklang, så er der en god grund. I april måned kørte der en lignende historie om danske piloters arbejdsvilkår og problemer med at holde sig vågne. Denne historie byggede på en undersøgelse foretaget af Sammenslutningen af danske Erhvervspiloter i samarbejde med Politiken. I denne undersøgelse svarede 575 af 1013 adspurgte piloter.
Selvfølgelig er der tale om partsindlæg med en klar dagsorden. Piloterne og deres organisationer bruger undersøgelserne som løftestang til at sikre sig bedre arbejdsvilkår. Men undersøgelserne skal bedømmes på deres troværdighed – ikke på, om de har en bagvedliggende dagsorden.
Axand Konsult allierede sig med Stressforskningsinstituttet ved Stockholms Universitet for at sikre sig spørgsmålenes videnskabelige relevans. Og det er der kommet noget godt ud af. Det gode er, at de kombinerer spørgsmål om piloternes vurderinger af sikkerhed og arbejdsmiljø med meget konkrete spørgsmål om piloternes faktiske arbejdstider, oplevelser med at falde i søvn og fejl begået pga. træthed. Styrken er de konkrete spørgsmål om piloternes egen adfærd. Det giver meget højere troværdighed end de alt for hyppigt forekommende hypotetiske og uforpligtende spørgsmål.
Men kan man stole på, at piloterne ikke overdriver problemerne? Sikker kan man ikke være, men ved at bede piloterne beskrive, hvilke fejl de måtte have begået som følge af træthed, gør man svarene mere forpligtende – og får i tilgift en værdifuld viden.
Hvad så med de piloter, der ikke har svaret? Er undersøgelserne overhovedet repræsentative for danske og svenske piloter? Nej, det er der ikke belæg for at sige. Men der er svar fra et stort antal piloter og en pæn andel af samtlige organiserede piloter. Derfor giver undersøgelserne vigtig viden om piloters arbejdsvilkår – også selv om det ikke nødvendigvis er hver anden pilot, som er faldet i søvn under flyvning.
Så må vi andre leve med flyskrækken. Og med, at Ritzau igen generaliserer for hårdt på en undersøgelse.
For mange ældre går med ble
De fleste beboere på danske plejehjem går med ble, skrev Politiken sidste søndag i en artikel, hvor data var indhentet via en spørgeskemaundersøgelse til plejehjemsledere. Avisen skal have ros for at bruge det udmærkede rundspørge-værktøj til at sætte fokus på et væsentligt emne, som generelt ikke giver så mange prestige-point blandt journalister. Efter valgkampen er det faktisk også ganske befriende med en afbrydelse i den evindelige strøm af undersøgelser, der viser marginale udsving i meningstilkendegivelser fra ”et repræsentativt udsnit af den danske befolkning”.
En væsentlig detalje i Politikens undersøgelse, som avisen da også valgte at vinkle på i forsidehenvisningen, er plejehjemsledernes holdning: ”For mange ældre går med ble”. Nærlæsning viser, at den overskrift er baseret på, at 92,1 pct. af de plejehjemsledere, der har svaret på rundspørgen, tilkendegiver holdningen ”meget enig” eller ”enig” i udsagnet: ”De ældre bør komme på toilettet og i mindre grad gå med ble”.
Man kan indvende, at udsagnet er tæt på at være farvet, så det er vanskeligt at være uenig i. På den anden side må man også gå ud fra, at svarpersonerne kender til de faktiske forhold i plejehjemsbranchen og derfor også de argumenter, der taler for, at ældre bør går med ble, fx problemer med inkontinens. Derfor kan man godt konkludere, at det har været med i overvejelserne hos svarpersonerne, inden de tilkendegav deres grad af enighed i spørgsmålet.
92,1 pct. er en overbevisende andel også selv om svarpersonerne ikke er repræsentative for alle plejehjemsledere. Og det er de faktisk ikke, skriver Politiken selv. I faktaboksen ved undersøgelsen er der nemlig denne ”varedeklaration”:
”Politiken Research har i en spørgeskemaundersøgelse fået svar fra 381 ledere af plejehjem og -boliger ud af i alt 886 mulige. Plejehjemsledere fra i alt 86 kommuner har deltaget. Rundspørgen, som ikke er statistisk repræsentativ, men udtrykker en tendens, er foretaget i perioden 24.2.-7.3.2011”.
Det er faktisk en deklaration, som mange andre medier kunne lære af. Avisen har fået svar fra under halvdelen (43 pct.) af de mulige svarpersoner. Det er en ret lille andel, og avisen har åbenbart ikke grundlag for at påstå, at de, der har svaret, er repræsentative for alle plejehjemsledere. Derfor nøjes man med at kalde resultatet af undersøgelsen for ”en tendens”.
Andre steder i formidlingen er der malet med en mere bred pensel på den måde, at man uden forbehold generaliserer til alle plejehjem i Danmark med ordene ”på halvdelene af plejehjemmene” og ”på hvert andet plejehjem”. Det vælger jeg i denne omgang at se mindre alvorligt på, når forbeholdet er nævnt i en forbilledlig deklaration. Og ”tendensen” i avisens undersøgelse er da både interessant, alvorlig og tankevækkende.
Drop enkeltmålingerne
2
Opdateret 15. september kl. 9:00 (5 målinger fra Gallup, Epinion, Megafon, Voxmeter og Rambøll)
Drop nu enkeltmålingerne og se på nogle gennemsnitsmål over tid i stedet. Nogenlunde sådan har jeg – og mange andre – sagt og skrevet den seneste uge. For hvad skal man stille op med 6 nye daglige meningsmålinger, som stritter indbyrdes?
Berlingske Barometer formidler sådan et dagligt gennemsnit, og dem ville jeg egentlig gerne anbefale. Men jeg ved ikke, hvordan de gør! “En avanceret model ligger til grund for beregningen” – sådan skriver de, på deres hjemmeside. Nogenlunde som ethvert andet analysefirma ville skrive det. Nå nej, Berlingske er jo ikke et analysefirma. Eller er de? Deres fremgangsmåde er under alle omstændigheder en forretningshemmelighed. Læseren må derfor bare stole på, at journalisterne og researchafdelingen er kloge og har ret. Hmm…
Jeg har derfor sat mig for hver dag at formidle et simpelt gennemsnit baseret på de seneste målinger fra 5-6 institutter* med svar indsamlet de seneste 3 dage** (tabellen opdateres dagligt – klik på den for fuld størrelse):
Nu er det simple gennemsnit jo hverken avanceret eller hemmeligt. Men baseret på de første 3 sammenligninger (4.-6. 5.-7. og 6.-8. september) så rammer det en anelse anderledes end Berlingskes gennemsnit. Hvad kan det skyldes? Formentlig, at Berlingske medtager flere ældre målinger i deres vægtede gennemsnit. Det simple gennemsnit her på siden er i så fald mere følsomt over for dag-til-dag udviklinger.
Men er gennemsnittet så til at stole på? Ja, det lever i hvert fald op til kravene om aktualitet kombineret med mange svar, og det er givetvis bedre end alle de daglige enkeltmålinger. Med en stikprøve på ca. 6000 repræsentativt udvalgte svarpersoner bør gennemsnittet tegne et temmelig retvisende billede. Den matematiske usikkerhed er reduceret til maksimalt 1,3 procentpoint (plus/minus). Tjek selv med beregneren på denne hjemmeside (beregn usikkerhed 1 andel).
Vær opmærksom på, at der dagligt “kun” udskiftes ca. 2000 svarpersoner i de valgte målinger. Det betyder, at dag-til-dag udviklinger mellem blokkene baserer sig på disse 2000 nye svar – og ikke 6000 nye svar.
*Gennemsnittet er baseret på daglige målinger fra typisk Gallup, Epinion, Megafon, Voxmeter, Rambøll og Norstat.
**Svarene er indsamlet over tre dage. Institutterne anvender rullende målinger.
500 forskere undsiger deres rektor
Når 500 medarbejdere mener, at deres øverste chef bør forlade sin stilling, er det da ganske opsigtsvækkende. Derfor er der ingen tvivl om, at Berlingske havde en god historie, da avisen omtalte en rundspørge, der var sendt til videnskabelige medarbejdere på Københavns Universitet.
Allerede i det indledende afsnit begår Berlingske imidlertid den fejl at konkludere, at ”op mod hver anden videnskabelig medarbejder” ønsker rektors afgang, og straks derefter citere en kilde for, at ”godt halvdelen af medarbejderne ønsker, at den ledende figur skal gå af” – også bortset fra tvivl om betydningen af udtrykket ”godt” fra enten kildens eller journalistens side.
Ifølge Berlingske svarede nemlig 48,3 procent af svarpersonerne ”Ja” til spørgsmålet: ”Mener du, at Ralf Hemmingsen bør gå af efter Penkowa-sagen?”. Problemet er, at avisen har spurgt 5.500 videnskabelige medarbejdere, og kun 1.049 har valgt at svare. En svarprocent på 19 er meget lav, og det er nærliggende at antage, at mange af dem, der har undladt at svare, enten ikke har nogen mening om den fremsatte påstand eller måske ligefrem hælder til et ”Nej”, men i øvrigt ikke synes, at deres holdning til den komplekse sag om rektors rolle i Penkowa-sagen kan destilleres til et svar på et så unuanceret spørgsmål.
Fagbladet Journalisten bringer historien om, at Universitetsavisens redaktør er kommet under beskydning efter at have forsøgt at kopiere Berlingskes rundspørge, men med universitetets studerende og øvrige grupper af ansatte som svarpersoner. I Journalisten er Nils Mulvad og jeg blevet bedt om en vurdering af rundspørgernes lødighed. Nils har derudover lavet sin egen grundige gennemgang, som er værd at læse, hvis man vil klæde sig på til at undgå lignende fejl, eller hvis man blot ønsker at blive bedre rustet til at være en kritisk læser af rundspørgeresultater.
Links
Artiklen i Berlingske, 23. juni 2011
Journalisten: Ansvarsløs og skandaløs, 10. august 2011
Journalisten: Eksperter: Undersøgelsen er for tynd, 10. august 2011
Nils Mulvad: Dårlig rundspørge fra Berlingske i Penkowa-sagen, 10. august 2011
Københavnere bekymrer sig over forbruget af stoffer
”Mere end hver fjerde dansker er bekymret over en nær pårørendes narkotikamisbrug”, lød det i går i morgenradioavisen. ”Det var li’godt … mange,” tænkte jeg.
Et nærmere tjek viser, at de fleste udtryk i sætningen enten er usikre eller direkte fejlagtige:
”Mere end hver fjerde” – usikkert
Andelen henviser til, at der i en artikel af syv nordiske forskere er angivet, at 27 procent af de spurgte tilkendegiver, at de er bekymrede over brug af stoffer hos en person i omgangskredsen. Problemet er, at svarpersonerne fra et repræsentativt panel forinden er gjort opmærksom på, at emnet er stofmisbrug i omgangskredsen, og forskerne skriver selv, at det kan betyde, at de, der valgte at svare, er mere interesserede i emnet end gennemsnittet.
”dansker” – forkert
Andelen er fra de danske svar i en nordisk undersøgelse blandt indbyggerne i landenes hovedstæder. Svarpersonerne er altså fra København. Mon ikke man kan tillade sig at antage, at københavnerne kender lidt flere, der indtager stoffer, end indbyggerne i resten af landet?
”en nær pårørendes” – forkert
Udtrykket ”en person, du kender personligt” er anvendt i undersøgelsen, men forskerne har forinden over for svarpersonerne defineret udtrykket som ”en person, der er tæt på dig, en slægtning eller en ven, eller en person, du mindst kender navnet på og har talt med”. Det kan man vist ikke udelukkende kalde ”en nær pårørende”.
”narkotikamisbrug” – forkert
Spørgsmålet handler om ”brug af stoffer”, altså ikke nødvendigvis misbrug. Desuden er hash også narkotika, men de fleste danskere forbinder nok et lidt for stort forbrug af hash med noget helt andet end narkotikamisbrug, selv om førstnævnte kan være nok så bekymrende.
Som næsten altid ved den type historier var Radioavisens indslag inspireret af et af de trykte medier, nemlig en artikel i MetroXpress, hvor skærpelsen – og dermed fejlene – især fremgår af rubrik og underrubrik.
Til slut et lille hjertesuk: Forskere sørger selvfølgelig for den nødvendige rygdækning i deres videnskabelige artikler, men når forbeholdene er gemt godt af vejen, er det altså lidt af en gratis omgang. På hjemmesiden for norske ”Statens institutt for rusmiddelforskning” (SIRUS) står der for eksempel ikke noget om risikoen for, at det især er berørte, der har valgt at svare på undersøgelsen. Og ifølge nyhedsjournalisten på MetroXpress var det den pressemeddelelse, der vækkede hans interesse.
Kære forskere: I skal ikke regne med, at den travle nyhedsjournalist får læst hele den videnskabelige artikel (i dette tilfælde 15 sider på engelsk), så sørg for at få forbeholdene trukket frem i forgrunden. Når mediemøllen kværner, er der stor sandsynlighed for, at nuancerne forsvinder, hvis I ikke tager jeres del af ansvaret for at få dem med.
Overskriften på dette indlæg er mit forsøg på en rubrik, der i højere grad er i overensstemmelse med det videnskabelige grundlag, men som – indrømmet – ikke i samme grad ville vække min opmærksomhed og være årsag til, at jeg fik morgenkaffen galt i halsen.
40 borgmestre forventer mere udlicitering
Under overskriften ”Borgmestre byder private virksomheder indenfor” bragte gårsdagens Berlingske (side 10-11 i Business-sektionen) resultatet af en rundspørge til landets borgmestre. Artiklen illustrerer på glimrende vis hele tre pointer i vores bog:
- Det kan være vanskeligt at få kilder tæt ved magtens top til at svare på spørgeskemaer
- Ved rundspørger skal man være omhyggelig med at vurdere frafald
- Ved færre end 100 svarpersoner bør man ikke omregne til procent
Danmark har 98 borgmestre, hvis man ser bort fra de seks ”underborgmestre” i København. Ved det centrale spørgsmål har 54 borgmestre markeret deres holdning. Man må gå ud fra, at Berlingske Research har gjort en anstrengelse for at få så mange som muligt til at svare og dermed gøre undersøgelsen pålidelig. Antallet af svar viser altså, hvor vanskeligt det er at få kommunernes topfolk til at svare på spørgsmål fra selv en seriøs, landsdækkende avis.
Ved store rundspørger kan en svarprocent på 55 være tilfredsstillende, men ved en så lille og politisk sammensat population er den katastrofal lav. Som læsere efterlades man i hvert fald med en stor tvivl, om de indkomne svar nu også kan generaliseres til samtlige borgmestre. Hvordan er frafaldet for eksempel fordelt på de forskellige partier? For man kan vel godt regne med, at holdningen til emnet – udlicitering af velfærdsopgaver – også kan have noget at gøre med borgmesterens politiske farve – eller hvad?
I det spørgsmål bliver man ikke klogere af at læse avisen. Kontakter man Berlingske Research, bliver man henvist til at købe rapporten bag tallene. Den koster 99 kr.
Af rapporten fremgår det, at politisk tilhørsforhold har stor betydning. Andelen af borgmestre, der forventer eller planlægger mere ”konkurrenceudsættelse” i de kommende fem år, er væsentlig større blandt borgmestre med medlemskab hos Det Konservative Folkeparti og Venstre end på den modsatte politiske fløj.
Derfor har det selvfølgelig betydning, når frafaldet rent faktisk er skævt. Mindre end hver anden socialdemokratiske borgmester har svaret på spørgsmålet, mens det gælder næsten to ud af tre borgmestre fra Venstre og De Konservative.
Der er også andre typer af skævheder. Borgmestre fra store byer som København, Aarhus og Odense har ikke svaret. Dermed repræsenterer borgmestrene, der har svaret på spørgsmålet om forventninger til udlicitering, mindre end halvdelen af den danske befolkning. Og de, der har svaret ja, repræsenterer kun en tredjedel.
Der er altså store problemer ved den formulering, som Berlingske bruger i underrubrikken: ”To ud af tre borgmestre planlægger at sende endnu flere offentlige opgaver af sted til private virksomheder i løbet af de næste fem år”. Ud fra undersøgelsen kan vi kun konkludere, at 40 borgmestre forventer eller planlægger, at deres kommune vil konkurrenceudsætte mere i løbet af de næste fem år.
Også rubrikken ”Borgmestre byder private virksomheder indenfor” er udsat for mere end blot en journalistisk stramning. Andre spørgsmål i undersøgelsen viser nemlig, at kun 24 af svarpersonerne ser et potentiale i mere konkurrenceudsættelse, at erfaringerne med udlicitering er noget lunkne, og at kun seks socialdemokratiske borgmestre mener, at man generelt skal konkurrenceudsætte mere i Danmark.
Borgmesterkæden sidder om halsen på en socialdemokrat i præcis halvdelen af landets 98 kommuner.
Bilister efterlyser flere fartfælder – eller gør de?
“Bilister efterlyser flere fartfælder” – pressemeddelelsen med rubrik og grydeklar konklusion gik direkte ind på adskillige danske medier i forrige uge. Man har sikkert været godt tilfredse hos Business Danmark, sælgernes fagforening, som via Interresearch stod bag undersøgelsen.
Og rigtigt er det, at 52 procent af de 1076 adspurgte medlemmer af fagforeningen efterlyser flere stærekasser, så nogen bilister efterlyser faktisk flere fartfælder – og hvad er så problemet?
Problemet er, at fagforeningen skriver, at “et flertal af de danske bilister … efterlyser en mere intensiv fartkontrol fra politiet”. Men 52 procent er ikke et flertal, når man tager højde for den statistiske usikkerhed, og man kan slet ikke generalisere fra en fagforenings medlemmer og til danskerne generelt. Det er ikke bare for bombastisk eller for skarpvinklet – det er slet og ret forkert. Heldigvis lykkedes det flere medier at undgå denne generalisering i deres gengivelse af undersøgelsen.
Problemet er også, at fagforeningen lægger op til at opdele undersøgelsens resultater i tal for Nordjylland, København, Syddanmark, Sjælland og Midtjylland. Og i tal for forskellige aldersgrupper. Hvad er der nu galt i det? Jo, dermed nedbryder man stikprøven i undergrupper på skønsmæssigt 200 personer og i tilfældet med aldersgrupperne formentlig endnu færre. Det betyder markant øget usikkerhed på resultaterne. Men denne usikkerhed negligeres fuldstændig. Man ønsker velsagtens at gøre sig appetitlig for regionale og lokale medier med denne manøvre. Men det er uprofessionelt og utroværdigt.
Tilbage står, at ca. halvdelen af de adspurgte medlemmer faktisk efterlyser flere stærekasser. Det er interessant i sig selv. Så lad dog det være historien.
Repræsentativ undersøgelse?
“Skoleledere dumper plan om elever i verdensklasse” – sådan kunne man forleden læse på Politiken.dk.
“elever i verdensklasse” refererer til regeringens nyligt fremlagte målsætning om, at børn, der startede i skole i sommer, skal være blandt top 5 i verden til at læse og regne, når de forlader skolen i 2020.
Politiken Research har spurgt ca. 1500 skoleledere, om de mener, at målsætningen er realistisk. Det mener blot 16 procent af de 600 skoleledere, som faktisk svarede. Men er de 600 svar tilstrækkeligt til, at man kan generalisere og skrive, at “danske skoleledere dumper …”?
Svaret er nej. 600 svar er ganske vist mange, og en svarprocent på 40 er god for denne type undersøgelser. Men vi ved ikke, om svarene er repræsentative for hele populationen af skoleledere. Man kan fx forestille sig, at skoleledere, som er utilfredse med regeringens udspil, har følt større incitament til at svare end skoleledere, som forholder sig mere neutralt.
Politiken vinkler i første omgang for skarpt, men løser herefter problemstillingen fint med følgende kommentar indsat nederst i artiklen:
Rettelse: Der stod i en tidligere version af denne artikel, at 16 procent af alle skoleledere finder det urealistisk, at danske børn om ni år er blandt verdens bedste til at læse og regne. Det er 16 procent af de skoleledere, der svarede i vores rundspørge, der har den opfattelse.
Et godt eksempel på, hvordan man i formidlingen tager de nødvendige forbehold.