Kategoriarkiv: Årsagssammenhæng

Gør kage på jobbet dig fed?

Udgivet den af
Svar

Det kunne man forleden læse i B.T., som også kunne fortælle, at 41 procent ønsker færre kager på arbejdspladsen. For en kageglad mand som mig lød det umiskendeligt som en tvivlsom historie. Kunne det virkelig passe? Gad vide hvad belægget mon var for de påstande?

Andre undrede sig også. Mandag Morgens TjekDet-redaktion bad mig (og andre metodenørder) kigge nærmere på undersøgelsen og artiklen. Resultatet kan du læse her.

Det er muligt, at man kan blive fed af kage på jobbet. Og det er muligt, at fire ud af ti danskere ønsker færre kager på arbejdspladsen. Men ingen af delene er dokumenteret i B.T.s artikel eller i undersøgelsen bag. Metodehints: #repræsentativitet; #spørgeteknik; #kausalitet; #sammenhæng mellem rubrik og undersøgelse;

TjekDet – selv.

Formue og boligejerskab hænger da sammen, ikke?

Udgivet den af
Svar

Boligejere har otte gange større formue end lejere. Sådan kunne man læse tidligere på året hos Ugebrevet A4. Baggrunden var en netop udkommet analyse fra Danmarks Statistik med titlen: “Boligejerskab kan forklare en stor del af formueuligheden“.

A4 analyse billede 1Otte gange større formue. 3 millioner kroner i formuegab pr. husholdning. Det er alligevel en slat. Man forestiller sig, hvordan det gibber i “leje”læseren. Man forestiller sig køen foran den lokale ejendomsmægler.

Men vent. Lad os lige kaste et nærmere blik på undersøgelsen fra DST Analyse. Den rummer nemlig en række spændende metodiske dilemmaer. Og nogle lidt – overraskende – valg.

Første undren. Analysen er lavet på baggrund af danske husstandes gennemsnitsformuer. Er der noget galt i det? Well, man kunne i stedet have lavet analysen på baggrund af medianformuer. Og det gør man faktisk ofte, når man analyserer fx løn og formue. Forklaringen er lige så simpel, som den er god: Medianformuen er upåvirket af, at de rigeste danskere ejer langt mere end den typiske dansker. Det er gennemsnitsformuen til gengæld ikke. Overhovedet ikke!

DST billede 4De 10 procent rigeste danskere ejer 50 procent af nettoformuen. Det betyder, at de trækker gennemsnitsformuen gevaldigt i vejret. Lad os antage, at de superrige danskere er boligejere. Det lyder som en plausibel antagelse. Så er det boligejernes formuer, som trækkes i vejret. Dermed fremstår forskellen på ejere og lejere kunstigt stor. Lad os samtidig antage, at de superrige danskere næppe er blevet superrige, fordi de har købt et hus. Kan du se, hvor jeg vil hen?

Anden undren. Som læser efterlades man umiddelbart med det indtryk, at boligejerskab er nøglen til formuenhed. Hvad der åbenlyst er en voldsom stramning. DST Analyse nuancerer selv delvist dette indtryk i deres analyse. De anvender en såkaldt dekomponeringsmodel til at forklare formuegabet mellem ejere og lejere. Modellen viser, at variablene indkomst, alder og uddannelsesmæssig baggrund kan forklare cirka halvdelen af formuegabet. Med andre ord: Boligejere og lejere er generelt nogle lidt forskellige typer. Lejere kan fx være studerende eller yngre mennesker, som endnu ikke har nået at spare op, eller bare mennesker med lav indkomst.

Men hvad så med de sidste 50 procent af formuegabet? Kan det forklares med boligejerskab? Noget af det kan givetvis. Hvor meget ved vi ikke noget om. Der kan være mange andre faktorer, som dekomponeringsmodellen ikke tager højde for. Arv fx. Alligevel skriver DST, at de sidste 50 procent “kan tilskrives, at boligejere har en større formue end lejere med de samme karakteristika”.

Tredje undren. DST Analyse gør en dyd ud af at slå fast, at de ikke har belæg for at sige noget om årsagssammenhænge. De kan med andre ord ikke sige, om (noget af) forskellen i formue faktisk skyldes boligejerskab. Men hvordan kan de så samtidig skrive i analysens titel, at “Boligejerskab kan forklare (min kursivering) en stor del af formueuligheden”? Ordet forklare bruges igen og igen i analysen. Men forklare implicerer vel, at tingene hænger sammen?

Fjerde undren. DST Analyse skriver, at “Formue i fast ejendom er den største komponent i husholdningernes formue”. Ugebrevet A4 griber den naturligvis og skriver, at “boligen er det aktiv i husholdningernes formue, som betyder mest for uligheden i formuefordelingen”. Men det er forkert – ud fra DSTs egne tal. Formuen i fast ejendom er kun den største komponent, hvis man ser bort fra husstandenes gæld. Enhver almindelig boligejer kan godt finde ud af at skelne mellem friværdi og boligens vurdering. De to tal er sjældent identiske. Hvis man trækker gæld i ejendommen fra og dermed ser på friværdi som formuekomponent, så er det slet ikke den største komponent. Både pension og finansielle aktiver er større. Faktisk så gør DST selv fint rede for dette længere nede i deres analyse. Men hvorfor så konkludere forkert?

Der er næppe tvivl om, at boligejerskab kan forklare noget af formueuligheden blandt danskerne. Men hvor meget? Min største anke er egentlig, at analyser som denne er med til at skabe forkerte billeder inde i almindelige danskeres hoveder. Ikke fordi de læser analysen fra DST. Det gør de næppe. Men måske læser de mediernes gengivelse af konklusionerne. Det er en skam.

Lykke uden Facebook …?

Udgivet den af
Svar

Institut for Lykkeforskning har sat 1.200 danskere på Facebookafvænning, kunne man forleden læse i Politiken og en række andre danske medier. Og det har de haft godt af. Afvænningen forstås.

Billede3

Måske skulle man prøve medicinen? – tænkte jeg ved mig selv. Men først ville jeg godt vide lidt mere om undersøgelsen bag, så jeg dykkede ned i rapporten.

Der er tale om et eksperiment, hvor cirka 600 danskere i en uge skulle undvære Facebook (den såkaldte treatmentgruppe), mens cirka 500 danskere blot skulle fortsætte deres sædvanlige forbrug (kontrolgruppen).  Ved hjælp af spørgeskemaer har man henholdsvis før og efter ”eksperimentugen” stillet såvel kontrol- som treatmentgruppen en række enslydende spørgsmål relateret til lykke og livstilfredshed. På hvert spørgsmål har man kunnet angive tilfredshed, aktivitet etc. på skalaer fra enten 1-5 eller 1-10.

Gennemsnitsscorerne på spørgsmålet om livstilfredshed henholdsvis før og efter så således ud:

Billede4

Efter en uge uden Facebook rapporterer treatmentgruppen ”a significantly higher level of life satisfaction”.

Dejligt, tænkte jeg. En signifikant højere livstilfredshed. Men samtidig nagede tvivlen i mig. For manglede jeg ikke nogle informationer? Hvordan kan man som journalist – eller helt almindelig læser – vurdere undersøgelsens troværdighed?

Man kan fx starte her:

1. Signifikant højere i forhold til hvad? Er det i forhold til kontrolgruppen? Eller i forhold til treatmentgruppens egen livstilfredshed før eksperimentets start?

2. Hvad betyder ”signifikant højere niveau” egentlig? Er det på et 5 procents signifikansniveau? Eller et 1 procents signifikansniveau? Eller noget tredje?

3. Hvorfor fortæller rapporten kun, at lige netop dette resultat er signifikant? Skyldes det, at Facebook-effekterne målt på alle de andre spørgsmål, som stilles, ikke er signifikante?

4. Skal man se på (og rapportere) før-efter tallene inden for treatmentgruppen, eller bør man sammenligne kontrolgruppens og treatmentgruppens efter-resultater, hvis man vil udtale sig om en mulig effekt? Altså, hvilke tal bør journalisten (efter dialog med instituttet) sammenligne og vinkle ud fra?

5. Er der ikke en eksperimenteffekt, som man skal forholde sig til? Altså, når nu kontrolgruppen scorer højere på samtlige tilfredshedsspørgsmål efter en uge, hvor de absolut ingen ”medicin” har fået? Bliver de lykkeligere af at være med i eksperimentet? Skulle vi så ikke ordinere nogle flere eksperimenter til alle mellemfornøjede danskere?

6. Kan jeg overføre resultaterne til mit eget liv? Der er jo tale om gennemsnitstal, altså gennemsnitlige effekter. Men vi er vel ret forskellige som Facebook-brugere? Nogle er meget aktive, andre er mere passive. Nogle er tilsyneladende altid på (kender du typen?), mens andre har et mere moderat forbrug. Er der risiko for en niveaufejlslutning her? Og kunne man ikke nedbryde treatmentgruppen i nogle ”typer” Facebook-brugere, som man bedre selv kan spejle sig i?

Alle disse spørgsmål tårnede sig op. Nyhedsartiklerne om eksperimentet gav ikke svar på spørgsmålene. Rapporten fra Institut for Lykkeforskning gjorde heller ikke. Og det var jo egentlig alt sammen relevante opklarende journalistiske spørgsmål.

Jeg kontaktede derfor folkene bag undersøgelsen, og de var heldigvis flinke til at svare. For der findes selvfølgelig – selvfølgelig! – svar på alle disse spørgsmål:

Stigningen i livskvalitet, som medierne rapporterede, var stigningen inden for treatmentgruppen – altså gennemsnitsscoren henholdsvis før (7,56) og efter (8,12). Og den er statistisk signifikant på ethvert rimeligt signifikansniveau (p<0,01). Som enhver journalistdimittend fra Danmarks Medie- og Journalisthøjskole er klar over, kan jeg kun lave denne beregning, hvis jeg kender standardafvigelserne (da der er tale om gennemsnitsscorer). Disse fremsendte Institut for Lykkeforskning beredvilligt, og så var det enkelt at kontrolberegne i et regneark.

Men burde man ikke i stedet have rapporteret forskellen mellem kontrolgruppen og treatmentgruppen? Kunne det ikke imødegå indvendingen i forhold til en mulig eksperimenteffekt? Jo. Er der gode journalistiske grunde til IKKE at gøre dette, og i stedet vinkle på den størst mulige observerede effekt i undersøgelsen, altså stigningen fra 7,56 til 8,12? Nej.

Effekterne på det sociale liv målt som sociale aktiviteter og tilfredsheden med samme (altså nogle af undersøgelsens øvrige spørgsmål) – var de så faktisk statistisk signifikante? Nej. Ikke på et niveau, der gør det rimeligt at rapportere. Det er velsagtens (?) derfor, rapporten forbigår det i tavshed. Man kunne godt interessere sig journalistisk for dette, altså for de dele af undersøgelsen, som ikke fremhæves – for de ting, der ikke fremgår eksplicit af rapporten.

Nørde-alert (følgende kan springes over): Herunder ses signifikanstesten af effekten observeret på spørgsmålet om “Social Activity”, altså testen af om forskellen på de to gennemsnitsscorer på henholdsvis 3,85 og 3,81 er signifikant. Med så høj en p-værdi (p=0,255) er forskellen mellem kontrol- og treatmentgruppe, altså effekten på “Social Activity” af at undvære Facebook, ikke statistisk signifikant (for de særligt interesserede: Klik på billedet for at se det i fuld størrelse):

Billede7

Nørde-alert ophævet.

Hvad så med den tilsyneladende eksperimenteffekt, altså den kendsgerning, at kontrolgruppen på alle målte parametre fik det ”bedre” af at være med i eksperimentet? En mulig plausibel forklaring er, at de har ændret adfærd i eksperimentugen, altså at deltagerne i kontrolgruppen af egen drift har valgt ikke at være så meget på Facebook, som de ellers er. Sådan lyder forklaringen fra folkene bag undersøgelsen. Det havde været relevant at oplyse i rapporten og relevant at spørge ind til journalistisk.

Hvad så med mig? Eksperimentet tyder jo på, at det faktisk hjælper på livstilfredshed (og muligvis en række andre ting) at drosle ned eller helt droppe Facebook. Men man kan IKKE slutte til individniveau fra en undersøgelse som denne. Effekten på mig (eller dig) kan være helt anderledes. Måske får jeg det faktisk bedre af at være på Facebook. Faktisk har folkene bag undersøgelsen nedbrudt resultaterne på en række interessante undergrupper, men disse analyser er endnu ikke offentliggjort.

Undersøgelsen er interessant. Og der kommer sikkert endnu mere interessante opfølgende undersøgelser. Gerne med lidt større detaljeringsgrad og metodeformidling i både afrapportering og den journalistiske formidling.

Fup, fejl og fordrejninger

Udgivet den af

Vil du gerne være din egen detektor? Eller bare blive bedre til at gennemskue tal, fakta og statistik i medierne? Så kan jeg kraftigt anbefale, at du investerer i netop udkomne “Fup, fejl og fordrejninger. Bliv din egen detektor”.

Indrømmet, jeg er ikke en helt uhildet betragter. Jeg er begejstret over, at vi i Danmark har et program som Detektor, og jeg har indimellem selv medvirket i udsendelserne.

9788702164763

Med det sagt, så er det en særdeles oplysende, velskrevet, mundret og eksempelrig bog, Thomas Buch-Andersen og Mads Bøgh Johansen er barslet med. Bogen er inddelt i 11 tematiske kapitler, og det er faktisk bogens helt åbenlyse styrke. Temaerne giver dig hurtigt et overblik over, hvilke typiske fejl og fordrejninger man som mediebruger (eller journalist, politiker, kommunikatør etc.) skal være særligt opmærksom på – tested by reality. Hvis jeg skal fremhæve enkelte temaer, så må det blive “om cherry-picking” – altså når man ved selektiv brug af tal tegner et forkert billede af helheden, “om årsagssammenhænge”, som ofte er nogle helt andre, “om sammenligninger”, som kræver sammenlignelige størrelser, og “om inflation”, som ofte “glemmes”, når priserne igen-igen er rekordhøje. Der er også et udmærket kapitel om meningsmålinger og spørgeskemabaserede undersøgelser, men det bliver dog mest til en indledende introduktion til de typiske validitetsproblemer.

Alle kapitler er krydret med Detektors egne eksempler, og de er både lærerige og underholdende. Bogen indeholder desuden en række korte bidrag fra politikere, erhvervs- og mediefolk, som selv har været en tur i Detektormøllen. Der er – som det nok fremgår – ikke tale om en lærebog. Du lærer ikke, hvordan du finder supplerende tal hos Danmarks Statistik, hvordan du tester for spuriøse sammenhænge, hvordan du korrigerer fra løbende til faste priser, eller hvordan du beregner statistisk usikkerhed ved meningsmålinger. Hvis du skal “kunne selv”, kræver det naturligvis mere end at læse denne bog.

Men med bogen under huden har du alle muligheder for at blive en mere kritisk og vågen medieforbruger. Så læs den. Også – og ikke mindst! – hvis du er journaliststuderende.

 

Træk vejret og vind (måske) nobelpriser

Udgivet den af

Træk vejret. Gerne adskillige gange dagligt og gerne dybt ned i lungerne. Det øger dine chancer for at vinde en nobelpris. Sådan lyder konklusionen i det indlæg, som blandt andet forskeren Ann Cathrine Popowitz har fået optaget i tidsskriftet New Recommended Behaviour Journal. Den engelske forsker ser i indlægget nærmere på, om der er en sammenhæng mellem, hvor ofte og dybt et lands indbyggere i gennemsnit trækker vejret, og hvor mange nobelpriser et land modtager. Regressionsanalysen, som ligger bag, viser desuden det – for mange – overraskende resultat, at en helt afbrudt vejrtrækning alt andet lige vil føre til 2,3 nationale nobelpriser pr. 10 millioner indbyggere – over tid. Forskeren tilføjer dog, at den mulighed foreligger, at alt andet ikke er helt lige.

Okay, jeg kryber til korset. Hvis nogen måtte være i tvivl. Det er en joke. Der findes ikke nogen forsker ved navn Ann Cathrine Popowitz. Mig bekendt. Men joken står ikke alene.

Se blot denne historie fra Berlingske i dag: Drik mælk og vind (måske) nobelpriser. Og denne her, som for nylig gik den glade verdenspresse rundt: Spis chokolade og vind nobelpriser. Den er god nok – der står rigtige forskere bag historierne. Der er tilsyneladende blandt visse ansete forskere gået sport i at offentliggøre indlæg og notitser, som ikke holder vand. Vel at mærke i anerkendte videnskabelige tidsskrifter.

1000-kroners spørgsmålet må være: Hvorfor? For at se, om pressen hopper på den? For at drille kollegerne? Fordi de keder sig? Fordi de er trætte af altid at skulle fremstå troværdige og seriøse? Det er svært at forestille sig sådan en forbandet god og tvingende grund. Men nogen burde stille spørgsmålet.

Mænd har godt af fodboldkampe

Udgivet den af
Svar

Altså af at kigge på dem! Det er godt for vores helbred og livskvalitet, viser en ny undersøgelse fra Norges teknisk-naturvidenskabelige universitet (NTNU). Hvilken herlig nyhed. Nu mangler vi bare en undersøgelse, som viser, at mænd har godt af fadøl og frankfurtere, før vi kan ordinere forebyggende all inclusive fodboldture på statens regning. Mon ikke det kan sælge billetter?

NTNU har undersøgt sammenhængen mellem kulturforbrug og helbred og livskvalitet i en spørgeundersøgelse med deltagelse af flere end 50.000 voksne nordmænd.

I den forgangne uge er resultaterne fra undersøgelsen så gået verdenspressen rundt – her et lille udpluk: Mænd har godt af at gå på museum (Politiken), Menn har godt av fotballkamper (Aftenposten), Cultural activities good for men’s health and happiness (The Telegraph) og NTNUs egen pressemeddelelse Cultural activities are good for you.

Undersøgelsens metode – kort fortalt:

1) Man spørger på baggrund af en hypotese en stor og nøje udvalgt gruppe mennesker om deres holdninger/oplevelser/adfærd inden for et område (her kulturforbrug og helbred m.v.).

2) Herefter undersøger man, om der umiddelbart er statistisk sammenhæng i svarene på de ting, man har spurgt om. Ofte ved hjælp af regressionsanalyser.

3) Hvis man finder en statistisk sammenhæng, kontrollerer man herefter rent statistisk, om sammenhængen skyldes andre faktorer, fx. socioøkonomisk status (uddannelse, indkomst, alder osv.). Det kaldes at kontrollere for 3. variabel.

4) Hvis sammenhængen “overlever” kontrollen for andre faktorer, har man dokumenteret en statistisk sammenhæng. Og det er, hvad de norske forskere har præsteret – og præsenteret.

Betyder det så, at der også er en årsagssammenhæng? Altså at det faktisk gavner mit helbred at se fodbold eller gå på museum? Det ved vi ikke. Og det kan ikke sådan lige bevises eller efterprøves. Desværre, er vi nogen, der kunne tilføje. At dokumentere en statistisk sammenhæng er noget ganske andet end at forklare den. Måske går sammenhængen den anden vej, altså at folk med godt helbred og god livskvalitet har tid til at gå på museum og til fodbold – og prioriterer det.

Hvorfor nu denne metodesnak? Fordi undersøgelsens metode er helt klassisk og af den slags, som journalister skal kende, forstå og kunne formidle sikkert til modtageren. Det dur ikke at fjerne nuancerne og præsentere årsagssammenhængen som undersøgelsens resultat.

Men er det ikke dræbende kedeligt for læseren med alle disse nuancer og forbehold? Næh, i hvert fald ikke mere kedeligt, end at Aftenposten bringer dem, Discovery News bringer dem, Economics Newspaper bringer dem … etc.

Men Politiken (og The Telegraph m.fl.) bringer dem ikke. Og dermed ødelægger de faktisk nyhedens troværdighed. Politikens Mette Olsen ærgrer sig da også over, at forbeholdet om kausaliteten ikke kom med i artiklen: Det forbehold burde i dén grad have været nævnt, svarer hun i en mail foreholdt problemstillingen. Og det kan faktisk gøres ret enkelt, som her hos Discovery News:

Questions remain, though, about cause and effect: are people healthier and happier because they are cultured — or do they seek out more culture because they feel good to begin with?

Svaret får indtil videre stå hen i det uvisse.