Tag-arkiv: Formidling af undersøgelser

Påvirker meningsmålinger faktisk vælgerne?

Udgivet den af

De seneste uger har de toneangivende medier været fyldt med selvransagelse: ”Vi lader os rive med af positive meningsmålinger”; ”Målinger overbeviser vælgerne” og ”Politiske prognoser flytter stemmer”.

De refererer alle til en ny forskningsrapport fra Institut for Statskundskab på Københavns Universitet forfattet af Kasper Møller Hansen m.fl. – med titlen: Hvordan påvirkes vælgerne af meningsmålinger?

Projektet er interessant – ikke mindst set i lyset af DR’s uheldige exitprognose ved seneste kommunalvalg. For spørgsmålet er jo, om DR – og refererende medier – har påvirket vælgerne og dermed valgresultatet med den tidlige skæve måling?

Nu er det undersøgt, for første gang i en dansk sammenhæng, via et såkaldt survey-eksperiment. Her har man inddelt ca. 3.000 repræsentativt udvalgte danskere i fire stimuligrupper og en kontrolgruppe, hver især bestående af ca. 600 personer, og herefter præsenteret stimuligrupperne for meningsmålinger og tilhørende nyhedsartikler, som giver fiktiv frem- eller tilbagegang for henholdsvis Socialdemokraterne og De Konservative. Så har man stillet de 3.000 danskere en række spørgsmål, herunder hvad de ville stemme, hvis der var folketingsvalg i morgen, og herudfra estimeret stimulieffekterne – altså mulige fremgangs- og tilbagegangseffekter.

Undersøgelsen konkluderer, at det er ”sandsynliggjort, at når et parti går frem i meningsmålingerne, kan det give dem et ekstra boost blandt vælgerne” og ”… der er en tendens til, at positive meningsmålinger sender partierne frem, mens dårlige målinger kan sende dem tilbage”. Definitionen af boost vil jeg overlade til andre, men faktum er, at undersøgelsen sandsynliggør en ganske lille fremgangseffekt (bandwagon effekt). For Socialdemokraternes vedkommende fraviger man i undersøgelsen det ellers bredt anerkendte krav om et 5 procents signifikansniveau. Effekten er blot signifikant på et 10 procents signifikansniveau.

I forskningssammenhæng taler man om, at en effekt kan være stærkt signifikant, svagt/marginalt signifikant eller slet ikke signifikant. Et 10 procents signifikansniveau vil i mange forskningssammenhænge betegnes ”ikke signifikant” eller ”marginalt signifikant”. Det er et gråzoneområde. Begrundelsen er, at der er en ikke ubetydelig risiko for, at den målte forskel blot er ”tilfældig støj” – altså, at der ingen virkelig effekt er. I fagsproget taler man om risikoen for fejlagtigt at forkaste en sand H0-hypotese, en såkaldt type 1 fejl. Hvis H0-hypotesen er sand, er der ingen effekt. Denne risiko er til stede her, også selv om eksperimentet forventes at have høj intervaliditet (høj intervaliditet: At den observerede stemmeeffekt kan tilskrives stimuli – her meningsmåling og artikel – og ikke andre “forstyrrende” årsager).

Min kritik af undersøgelsens hovedresultater – når man ser på stemmeadfærd – kan i forlængelse heraf sammenfattes i to pointer, som ikke afspejles i de seneste ugers mediedækning:

Pointe 1: Havde der været tale om virkelige meningsmålinger hver især baseret på ca. 600 svar og med samme fremgang i tilslutningen til Socialdemokraterne, ville fagpersoner rådgive journalister til ikke at vinkle på forskellen pga. den statistiske usikkerhed. Med henvisning til eksperimentets høje intervaliditet og evidens fra lignende eksperimenter mener forskerne, at det er forsvarligt her. Det fremgår dog ingen steder i rapporten eller i medieomtalen, at der er tale om marginal signifikans.

Pointe 2: Tilbagegangseffekterne er insignifikante, dvs. ikke sandsynliggjort i undersøgelsen. Men når det er tilfældet, hvordan kan rapporten så konkludere en tendens til, at dårlige målinger kan sende partierne tilbage? Det virker ikke stærkt underbygget i eksperimentets resultater.

Dertil kommer en tredje væsentlig pointe, som handler om selve forskningsdesignet, altså at der er tale om et survey-eksperiment: Fremgangseffekterne ville næppe være målbare ved et virkeligt valg, fordi man ved virkelige valg påvirkes af mange modsatrettede faktorer, og fordi de fleste danskere ikke læser en bestemt meningsmåling og ditto nyhedsartikel. Dette forhold diskuteres behørigt i forskningsrapporten og er et grundvilkår ved denne type forskningsdesign. Og jeg lever gerne med det – når blot det ikke negligeres i formidlingen af undersøgelsens resultater. Det, mener jeg desværre, er sket i flere af artiklerne.

Man har i landsdækkende medier kunnet læse, at der er tale om ”ret store effekter”, ”at det kan være ret fatalt at udkomme med en tidlig meningsmåling”, at der ”gerne kommer 3,4 procent oveni, hvis et parti går 5 procent frem”, at ”S kan have tabt på, at vælgerne har fået at vide, at det gik dårligt” – kort sagt: Man får indtryk af, at meningsmålinger kan påvirke et valgresultat i betydelig grad.

Men alle de nævnte citater, fortolkninger og vinkler er for hårdt strammede. Effekterne ved et virkeligt valg er nærmest umulige at estimere på baggrund af et eksperiment, som det man her har gennemført. Undersøgelsen dokumenterer ikke store effekter med potentielt fatale konsekvenser for fx Socialdemokraterne ved efterårets kommunalvalg.

Nu handler undersøgelsen ikke blot om stemmeadfærd. Stimulieffekter på ”partisympati” undersøges også. Og stemmeadfærdseffekterne for De Konservative er i undersøgelsen større end for Socialdemokraterne. Samlet set sandsynliggør undersøgelsen, at vælgere faktisk påvirkes af fremgangsmålinger. Men det ændrer ikke ved, at hovedparten af stemmeadfærdseffekterne er insignifikante eller marginalt signifikante med almindelig målestok, og at fremgangseffekten i populationen kan være meget begrænset.

Berlingske citerer Kasper Møller Hansen for at sige, at ”der hviler et stort ansvar på nyhedsmedierne som formidlere af meningsmålinger”. Enig. Men, kunne man tilføje, der hviler også et stort ansvar på selvsamme medier som formidlere af undersøgelser om meningsmålingers effekt. Og et ditto ansvar hos forskerne bag undersøgelsen for, at resultaterne ikke overeksponeres.

To skridt frem – og tre tilbage

Udgivet den af

Nogen burde kortlægge omfanget af ikke-historier baseret på meningsmålinger. Den seneste uge bød på et par af slagsen:

Thorning haler ind på oppositionen i ny meningsmåling

S efter god meningsmåling: »Danskerne kan godt se, at statsministeren har ret«

Overskrifterne baserer sig på en ny måling fra Voxmeter, som tilsyneladende viser, at Socialdemokraterne er gået frem fra 20,6 procent (Voxmeter-måling kort før jul) til 22,6 procent af stemmerne.

De danske netmedier er blevet bedre til at oplyse om den statistiske usikkerhed, når de skriver om meningsmålinger. Det har Erik Gahner Larsen (m.fl.) for nylig dokumenteret. Usikkerheden oplyses da også i de to nævnte  artikler. I førstnævnte artikel, som stammer fra Ritzau, får vi således at vide, at Bevægelserne ligger dog inden for målingens usikkerhed, som kan være op til 2,9 procentpoint for de største partier. Yes, det er korrekt. Bevægelserne ligger inden for målingens usikkerhed. Tjek selv efter her. Det er jo fint, at journalisten er opmærksom på problemet – og åbent og ærligt oplyser læseren om det. Vi får også at vide, hvor mange der har svaret, at undersøgelsen er repræsentativ, og hvornår den er gennemført. To skridt frem. Men æh …, når bevægelserne ligger inden for den statistiske usikkerhed, så ved vi ikke, om Thorning faktisk haler ind på oppositionen i den nye måling. Altså når målingen generaliseres til befolkningen. Der er således ikke belæg for rubrikken og vinklen.

Dette faktum afholder imidlertid ikke Ritzau fra at lave den – naturlige – opfølgende historie, hvor årsagsforklaringen køres i stilling: Fremgangen skyldes – ifølge Socialdemokraternes Magnus Heunicke – nytårstalen og de første synlige effekter af Socialdemokraternes lange seje træk. Også her oplyses om den statistiske usikkerhed, men konsekvensen drages ikke. Det er ikke kun undertegnede, som har studset over dette.

Lad os for en kort bemærkning dvæle ved Socialdemokraternes seneste målinger:

Voxmeter YouGov Gallup Voxmeter Rambøll Voxmeter YouGov Voxmeter Voxmeter
02-dec 03-dec 06-dec 09-dec 13-dec 15-dec 17-dec 22-dec 07-jan
19,9 18,5 23,1 20,6 21,3 20,2 19 20,6 22,6

Som man kan se, går det lidt op og ned med målingerne. Der er ikke rigtig noget mønster eller nogen ensartet udvikling, og næsten alle målingerne ligger så tæt, at det er inden for den statistiske usikkerhed. Tager man målingerne for pålydende, kan man lave historierne om Socialdemokraternes fald og stigning og fald og stigning og fald og fald og stigning og stigning. Det er meningsløst, men man kan gøre det. Med udokumenterede vinkler, afledte politiske kommentarer og postulerede årsagsforklaringer. Med korrekte informationer, men forkerte konklusioner. Det er to skridt frem og tre tilbage.

Mindst 11.000 studerende i bolignød – eller hvad?

Udgivet den af

I dag kunne man på Politiken.dk læse, at Mindst 11.000 studerende er i bolignød. Forbrugerøkonom hos Nordea, Ann Lehmann Erichsen, udtalte belejligt, at det kom bag på hende, at så stor en gruppe studerende er de facto hjemløse. Det kom da også bag på undertegnede – og sikkert på mange andre overraskede læsere.

Historien bygger på en undersøgelse foretaget af TNS Gallup for – ja, Nordea såmænd. Gallup har i undersøgelsen fået svar fra 490 studerende i alderen 18 til 29 år.

Ud af de 490 studerende, har 1% – eller 4-5 personer – oplyst, at de ikke har nogen permanent adresse. Derudover har yderligere 3% (omtrent 14-15 personer) oplyst, at de bor til fremleje. Smag lige på tallene et øjeblik: 1% uden permanent adresse og 3% til fremleje. Nu er det at bo til fremleje efter mine begreber ikke det samme, som at være de facto hjemløs eller at være i bolignød, men lad nu det ligge. Der er andre og mere væsentlige problemer ved historien.

Problem 1

Det er en – relativt – kendt sag, at den statistiske usikkerhed er relativt (forholdsmæssigt) stor ved små andele. En andel på 1% må siges at være en lille andel. Det samme gælder en andel på 3%. Alarmklokkerne burde derfor nok ringe, når man generaliserer fra undersøgelsen og til samtlige danske studerende på videregående uddannelser. Som man gør, når man skønner, at 11.000 studerende befinder sig i bolignød.

Men hvad er usikkerheden på tallene egentlig? En hurtig beregning på andelen på 1% uden permanent adresse viser, at konfidensintervallet (ved et 95% sikkerhedsniveau) ligger mellem 0,1-1,9 procent. Vi ved med andre ord ganske lidt om omfanget af problemet hos danske studerende som sådan. Det kan således være helt ned til 0,1%. Det er derfor også gætværk, når man konkluderer, at problemet tilsyneladende er dobbelt så stort som i Sverige, hvor man har lavet en lignende undersøgelse. Og det er gætværk, når man skønner, at 11.000 danske studerende er “ramt”.

Intet sted i artiklen forholder man sig til denne betydelige usikkerhed, som i sig selv er ødelæggende for vinklen.

Problem 2

Et andet grundlæggende problem er, at man i artiklen tager for givet, at en studerende uden permanent adresse er i bolignød. Det er bestemt ikke givet. Retfærdigvis skal det siges, at artiklen citerer uddannelsesøkonom, Mie Dalskov Pihl,  for den ret ædruelige indvending, at manglende fast bolig (for et fåtal af studerende) kan skyldes helt almindelige ting som hjemkomst fra udlandsophold, at man er gået fra kæresten eller lige har skiftet studieby. Det ville med andre ord være mærkeligt, hvis undersøgelsen ikke havde vist en lille gruppe uden fast bopæl.

Men når man nu har en kilde, som faktisk leverer den logiske og gode forklaring, hvorfor negligerer man det så fuldstændig i rubrikken og underrubrikken, og lader Nordeas forbrugerøkonom levere sine gætterier uimodsagt?

Det er meget muligt, at der rundt om i landet er problemer med at skaffe boliger nok til vores studerende. Og lad os da endelig tage den debat. Men lad os gøre det på et sagligt grundlag.

Aftenpostens kildekritik halter

Udgivet den af

Single Kvinner vil beholde boligen for seg selv. Halvparten av norske, single kvinner ønsker ikke at en fremtidig partner skal flytte inn hos dem.

Historien kunne i går læses hos Aftenposten – Norges største avis målt på oplag og traditionelt regnet for en seriøs avis. God historie. Overraskende pointe. Og måske uden hold i virkeligheden.

John Bones, journalist på konkurrerende VG, rejser en berettiget og saglig kritik af historiens manglende belæg.

Kilden til historien er en undersøgelse gennemført af datingtjenesten Match.com blandt 1300 af deres medlemmer (singler). Ikke med ét ord problematiserer Aftenposten brugen af denne kilde. Ingen forbehold. Ingen kildekritik.

Men det er altså for useriøst at generalisere fra 1300 brugere af et datingsite til norske single kvinner som sådan. Som om brugere af et datingsite pr definition er repræsentative for en hel nations singler. Eller som om repræsentativitet ikke for alvor betyder noget. Det gør det. Skulle man have glemt det, hjælper Ekstra Bladets meningsmåling fra efteråret på hukommelsen:

Det er til gengæld befriende at høre en journalist slå ned på Aftenpostens praksis.

Med John Bones egne ord:

Utvalget er dermed ikke representativt for norske kvinner. Aftenposten har ikke beskrevet metodebruken ytterligere, men det er grunn til å anta at svarene er gitt ved selvseleksjon. Enda verre!

I forrige uke gjorde Aftenposten den samme tabben, da avisen mente å kunne fastslå at halvparten av norske foreldre vil fjerne leksene. Undersøkelsen var utført ved selvseleksjon og var følgelig ikke representativ for norske foreldre.

Kan ikke vi som jobber i mediene gjøre det til en felles oppgave å forsikre oss om at undersøkelser vi presenterer faktisk er korrekte? Kildekritikken bør være den samme, uansett hva slags kilder vi bruker.

Man kan kun give manden ret.

Er “godt” godt nok?

Udgivet den af

I denne måned blev den årlige LUP-undersøgelse offentliggjort. LUP står for Landsdækkende Undersøgelse af Patientoplevelser, og der er i sandhed tale om en landsdækkende undersøgelse. Flere end 138.000 patienter har i efteråret 2011 besvaret det fremsendte spørgeskema. Nej, der er ikke et nul for meget med. Og ja, spørgeskemaerne er fremSENDT. Med posten. Som i de gode gamle dage.

LUP-undersøgelsen er god at blive klog af. Den rummer rigtig megen god metode – og tillige en række metodiske problemer.

Et af problemerne tematiseres i LUP-rapporten under overskriften Er “godt” godt nok? Indledningen lyder sådan her:

Flere spørgsmål i LUP har over 90 % positive besvarelser. “Positive besvarelser” dækker både over de patienter, der besvarer, at de oplever noget som “godt” og som “virkelig godt”.

Men hvad er historien bag tallene? Hvad gemmer sig fx bag bedømmelsen “god”? Det har folkene bag LUP gjort sig den ulejlighed at afdække via en interviewundersøgelse blandt et lille udvalg af patienter, der har vurderet den mundtlige information som “god”.

Interview med de pågældende patienter viser – ikke overraskende – at vurderingen “god” bliver en slags gennemsnitsvurdering, som dækker over både gode og dårlige oplevelser, og hvor de seneste besøg fylder mest. Konkret skjuler vurderingen “god” oplevelser med overfladiske læger og utryghed og nervøsitet, som bl.a. bunder i skiftende meldinger fra skiftende læger. Som tidligere beskrevet kan der være mange gode grunde til, at patienter ikke giver udtryk for dårlige oplevelser i et spørgeskema – eller i det mindste kun gør det indirekte med bedømmelsen “god”.

Man må derfor spørge sig selv, om vurderingen “god” er godt nok – som succesparameter. Og videre, hvordan man kan bruge store kvantitative undersøgelser som denne til at fremme det gode patientforløb – en erklæret målsætning.

I mellemtiden kan vi (metodenørder og andre) glæde os over et fint og gennemsigtigt studie i spørgeskemaundersøgelsens lyksaligheder og – ikke mindst – begrænsninger.

Berlingske vildledte om vuggestueundersøgelse

Udgivet den af

Den seneste uges debat om forholdene i de danske vuggestuer har handlet om fordrejede tal og spørgsmålstegn ved forskerens (Ole Henrik Hansen) undersøgelse. Uden at nogen dog tilsyneladende har set selve undersøgelsen. Debatten er med andre ord kørt af sporet.

I går bragte Berlingske så en rettelse: De beklager, at de kom til at skrive, at der i undersøgelsen var sendt spørgeskemaer ud til 40.000 pædagoger, når der nu rettelig kun var sendt skemaer ud til 38.487 potentielle respondenter. 40.000 er ikke det helt korrekte tal, og det beklager de.

Men hør nu lige her: Det er slet ikke pointen. Om tallet hedder 40.000 eller 38.500 er bedøvende ligegyldigt.

Det egentlige problem er, at Berlingske fandt det fornuftigt i første omgang at nævne det gigantiske antal mulige svarpersoner i stedet for at forholde sig til, hvor mange der faktisk havde svaret (1274). Og den lave svarprocent (3,3 procent samlet set).

Hvis Berlingske faktisk har troet, at der var tale om 40.000 svar fra relevante fagpersoner, så skal der nye batterier i bullshit-detektoren. Man må da som minimum bede forskeren bekræfte dette helt usandsynlige tal.

Hvis de derimod fra starten har været klar over, at der måtte være tale om en meget mindre svargruppe og en muligvis ringe svarprocent… Ja, så har de vildledt læserne med fuldstændig uvedkommende information, der uvilkårligt giver indtryk af meget større pondus og troværdighed, end tilfældet faktisk er.

Er det for store krav at stille til en avis som Berlingske? Kom nu med en seriøs beklagelse, som går på substansen. Det andet er noget pjat, som almindeligt begavede læsere alligevel gennemskuer.

 

Charterturister vil rejse for efterlønspengene

Udgivet den af

Intet er så godt som resultaterne af en frisk, lille undersøgelse, når man vil understrege et budskab. Det har Star Tours dygtige kommunikator, salgsdirektør Stig Elling, selvfølgelig også fundet ud af. Forleden benyttede han det lille trick i en udtalelse til Jyllands-Posten.
Artiklen ”Ferie i stedet for efterløn” handlede om, at danskerne vil bruge efterlønsmidler på dyre ferier. Stig Elling omtaler en ”lynspørge-undersøgelse” med 600 svar og siger:
”Vores undersøgelse viser, at 30 pct. har valgt at få efterløns-kronerne ud nu, og heraf vil 60 pct. af dem bruge pengene på en rejse.”
600 svarpersoner er et pænt antal, som ikke ligger langt under, hvad de store institutter bruger i politiske meningsmålinger. Den statistiske usikkerhed vokser dog i takt med, at der laves beregninger på undergrupper. 30 pct. af 600 er 180 svarpersoner, der altså har valgt at få efterlønskronerne ud nu, og af dem vil 108 (=60 pct.) bruge pengene på en rejse.
Beregneren på dette site viser et usikkerhedsinterval omkring de 60 pct. på +/- 7,2 procentpoint, så man burde altså kunne konkludere, at et pænt flertal af dem, der har valgt at få efterlønskronerne nu, har tænkt sig at rejse for pengene.
Det problematiske er, at vi ikke ved, om de 180 svarpersoner er repræsentative for alle dem, der ønsker at få efterlønsmidlerne udbetalt blandt de mere end 2 mio. danskere, der betaler til ordningen. Sandsynligvis har vi fat i en gruppe, der adskiller sig afgørende på ét punkt: De er mere interesserede i ferierejser end gennemsnittet.
En opringning til Star Tour viser nemlig, at ”lynspørgeundersøgelsen” ikke er foretaget blandt et repræsentativt udsnit af danskerne, men i løbet af et døgn blandt de mennesker, der er kommet forbi en webrundspørge på Star Tours hjemmeside.
Det stod der bare ikke noget om i artiklen i Jyllands-Posten. Og det kommer vel ikke bag på ret mange, at et pænt flertal af dem, der er på jagt efter en charterrejse, og som har valgt at få efterlønsmidlerne udbetalt, kunne finde på at bruge disse penge til at rejse for?

Ledende spørgsmål hos Sex & Samfund

Udgivet den af

P1s Detektor havde forleden generalsekretær for Sex & Samfund, Bjarne B. Christensen, i studiet og svare på kritik af en undersøgelse, foreningen havde lavet i forbindelse med Uge Sex 2012-kampagnen.

Sex & Samfund havde spurgt 605 folkeskolelærere, om de oplever faste kønsrollemønstre blandt deres elever, og konkluderede på baggrund af svarene, at næsten hver anden af dem (47,8 procent) har oplevet meget fastlåste opfattelser blandt deres elever af, hvad drenge og piger kan og bør.

Undersøgelsen og formidlingen af samme er et fint (negativt) studie i kunsten at formulere gode spørgsmål og vinkle sobert på svarene. Her følger en gennemgang.

Man formulerede hovedspørgsmålet på denne måde:

Oplever du – eller har du oplevet – meget faste opfattelser blandt dine elever af, hvad man kan og bør som henholdsvis dreng og pige? (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.)

 Spørgsmålet rummer adskillige spørgetekniske problemer, som til sammen gør svarene ubrugelige at konkludere på.

1) Oplever du – eller har du oplevet: Med formuleringen eller har du oplevet ved man ikke, om lærerne svarer ud fra deres aktuelle oplevelser eller noget, de engang har oplevet. Det bliver dermed umuligt at konkludere noget aktuelt ud fra svarene. Der mangler en tidsafgrænsning på spørgsmålet.

2) Blandt dine elever: Der mangler en styrkemarkør. Hvad betyder blandt dine elever? Ganske få elever? Halvdelen af eleverne? Flertallet af eleverne?

3) Som henholdsvis dreng og pige: Man slår kønnene sammen, hvor man med fordel kunne have bedt lærerne svare for henholdsvis drenge og piger. Hvem ved på forhånd, om de samme mønstre gør sig gældende på tværs af køn?

4) (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.): Man forsøger med disse eksempler at give lærerne en fælles referenceramme, når de skal svare. I praksis virker det mod hensigten. Hvis man blot oplever problemer på ét af de nævnte områder, skal man i princippet svare ja, men i så fald svarer folk ja på baggrund af vidt forskellige oplevelser.

Som spørgsmålet er stillet, er det voldsomt ledende i retning af at få lærerne til at svare, at de oplever faste mønstre. Man skal blot på et eller andet tidspunkt i et eller andet omfang have oplevet meget faste opfattelser på ét af de nævnte områder… og hvem har ikke det? Set i det lys, er det faktisk overraskende, at blot 48 procent af lærerne svarer ja. Det ligger lige for at vinkle på, at så lav en andel tilsyneladende oplever faste holdninger. I stedet gør Sex & Samfund det modsatte. Vinkler på, at næsten hver anden lærer har oplevet faste holdninger blandt eleverne. Den vinkel havde vist skrevet sig selv på forhånd.

Men hvordan skulle man have stillet spørgsmålet? Svaret er, at man skal lade være med at stille den slags komprimerede, sammenfattende spørgsmål, hvor det hele skal med på én gang. Fremgangsmåden er grundlæggende forkert. I stedet skal man – som Sex & Samfund også er på sporet af – stille åbne, enkle og konkrete spørgsmål a la:

Tag stilling til hvert af de nævnte eksempler på “faste opfattelser” og angiv, om du oplever dem blandt dine elever i din dagligdag som lærer:

  • Drenge går til fodbold
  • Piger går ikke til fodbold
  • Drenge leger med biler, krig og lignende
  • Piger har langt hår
  • osv.

Læreren skal altså tage stilling til en række konkrete eksempler på (stereotype) opfattelser. I tilfælde af, at læreren svarer ja, kan man efterfølgende bede læreren vurdere styrken/udbredelsen af den pågældende opfattelse og vurdere, om opfattelsen er kønsspecifik. Man kan eventuelt også bede læreren tage stilling til, om han/hun oplever opfattelserne som et problem for eleverne.

På baggrund af svarene på disse enkle og konkrete spørgsmål, kan man lave sin sammenfatning og – med belæg – konkludere

  1. om lærerne oplever meget faste opfattelser blandt eleverne i deres dagligdag som lærere
  2. om opfattelserne er udbredte blandt eleverne
  3. om opfattelserne er kønsspecifikke
  4. om lærerne oplever det som et problem for eleverne

Det ville ikke bare være mere retvisende, men også langt mere interessant.

Karakterer til ministrene

Udgivet den af

Ministerholdet er – som det efterhånden er sædvane op til jul – blevet bedømt af den danske befolkning i to offentliggjorte meningsmålinger; den ene for Jyllands-Posten; den anden for Ugebrevet A4.

Repræsentative udsnit af befolkningen har givet ministrene karakterer på forskellige skalaer, og de to undersøgelser kommer frem til nogenlunde enslydende resultater: Margrethe Vestager er topscorer fulgt af Mette Frederiksen og Bjarne Corydon; Carsten Hansen og Ole Sohn som bundskraberne.

Men hvad med den statistiske usikkerhed? Den forbigås i tavshed i mediernes hovedartikler, men betyder den egentlig noget for konklusionerne, og hvordan beregner man den overhovedet?

Lad os starte med metoden. Da der er tale om karaktergennemsnit (i modsætning til andele af vælgertilslutning ved de allestedsnærværende politiske meningsmålinger), kan man IKKE bruge de to beregningsmodeller, som er tilgængelige på denne blog. Grunden er denne: Når man beregner statistisk usikkerhed (konfidensintervaller) for gennemsnitsmål, skal man tage højde for det, der i fagterminologien hedder standardafvigelsen. Til hver enkelt ministers beregnede karaktergennemsnit knytter der sig en standardafvigelse. Populært sagt er standardafvigelsen et tal, der udtrykker, hvor tæt de afgivne karakterer til en minister ligger på vedkommendes gennemsnit. Det kan variere meget. Et gennemsnit på 5 kan fremkomme ved, at alle faktisk giver karakteren 5. Men det kan også fremkomme ved, at halvdelen giver karakteren 1, og resten giver karakteren 9. Jo tættere de enkelte karakterer ligger på gennemsnittet, jo mindre er standardafvigelsen, og jo mindre er også den statistiske usikkerhed, når man generaliserer målingen til hele befolkningen.

Vil du se medierne efter i kortene og beregne usikkerheden, kræver det altså, at det enkelte medie udleverer en oversigt over standardafvigelser, antal svarpersoner og de målte karaktergennemsnit – for hver minister. Herefter skal det hele blot plottes ind i et regneark. En simpel formel (=KONFIDENSINTERVAL) gør resten af arbejdet for dig.

Jeg kontaktede Jyllands-Posten, og de sendte mig uden videre tallene. Her er resultatet:

 

N er antal svar for hver enkelt minister. Øvre og Nedre er konfidensintervallernes grænseværdier. Der er i formlen anvendt et 95 procents sikkerhedsniveau.

Men er folk ikke flintrende ligeglade med standardafvigelser og konfidensintervaller? Sikkert, men kan man som medie eller journalist være ligeglad med, om vinklingen og konklusionerne holder?

Heldigvis lader hverken Jyllands-Posten eller Ugebrevet A4 til at være ligeglade. Jyllands-Posten var, trods den manglende formidling af usikkerheden, i stand til at sende mig overbevisende dokumentation. Og den statistiske usikkerhed rokker ikke ved, at Margrethe Vestager faktisk ER den aktuelle vinder, og at Carsten Hansen og Ole Sohn får den ringeste bedømmelse i befolkningen. Så formidlingen af resultaterne er også i orden. Tjek selv tallene.

 Note: Jeg har kun kontaktet Jyllands-Posten, da formålet med indlægget primært er at demonstrere metoden. Ugebrevet A4s tilsvarende undersøgelse er nævnt for fuldstændighedens skyld. Berlingske har gennemført en tilsvarende undersøgelse, men de tager betaling for adgang til resultaterne, som derfor ikke er umiddelbart tilgængelige.

Undersøgelse forvrænger ældres tilfredshed

Udgivet den af

Altinget kritiserer i denne uge den netop offentliggjorte tilfredshedsundersøgelse blandt ældre, der modtager praktisk hjælp eller personlig pleje.

Undersøgelsen viser, at

  • 87 procent af de ældre er tilfredse eller meget tilfredse med den praktiske hjælp
  • 91 procent er tilfredse eller meget tilfredse med den personlige pleje

Undersøgelsen er gennemført af Epinion for KL og Social- og Integrationsministeriet. Den bygger på svar fra i alt 1401 modtagere af praktisk hjælp og/eller personlig pleje.

Blandt kritikerne af undersøgelsen er direktør i Danske Patienter, Morten Freil, medieforsker Preben Sepstrup og undertegnede.

Der peges på tre grundlæggende problemer ved undersøgelsen:

1) Ældre har en tendens til at svare i sympati med personalet. Det er jo ikke “deres skyld”.

2) Der svares udelukkende via tilfredshedsskalaer (meget utilfreds – meget tilfreds). Når man udelukkende anvender skalasvar og ikke i tillæg giver mulighed for, at man kan uddybe og adressere sin kritik via åbne svar, afholder det nogle fra at udtrykke kritik.

3) Kategorierne “tilfreds “og “meget tilfreds” lægges sammen i fortolkningen og formidlingen af undersøgelsens resultater. Dermed forsvinder den moderate kritik, der kan ligge i at svare “tilfreds”.

Alle tre problemstillinger er dokumenteret gennem forskning i tilfredshedsundersøgelser, bl.a. i forskningsartiklen Er otte ud af ti patienter tilfredse? (Nordisk Sygeplejeforskning, 2011).

Problemerne betyder ikke, at undersøgelsen er uden værdi. Men det betyder, at man skal være meget forsigtig med at konkludere, at næsten alle er tilfredse med den hjælp, de får. Og hvis undersøgelsen skal bruges til at ændre og eventuelt forbedre hjemmehjælpen, er der behov for at supplere med kvalitative undersøgelser.