Mindst 11.000 studerende i bolignød – eller hvad?

Udgivet den af

I dag kunne man på Politiken.dk læse, at Mindst 11.000 studerende er i bolignød. Forbrugerøkonom hos Nordea, Ann Lehmann Erichsen, udtalte belejligt, at det kom bag på hende, at så stor en gruppe studerende er de facto hjemløse. Det kom da også bag på undertegnede – og sikkert på mange andre overraskede læsere.

Historien bygger på en undersøgelse foretaget af TNS Gallup for – ja, Nordea såmænd. Gallup har i undersøgelsen fået svar fra 490 studerende i alderen 18 til 29 år.

Ud af de 490 studerende, har 1% – eller 4-5 personer – oplyst, at de ikke har nogen permanent adresse. Derudover har yderligere 3% (omtrent 14-15 personer) oplyst, at de bor til fremleje. Smag lige på tallene et øjeblik: 1% uden permanent adresse og 3% til fremleje. Nu er det at bo til fremleje efter mine begreber ikke det samme, som at være de facto hjemløs eller at være i bolignød, men lad nu det ligge. Der er andre og mere væsentlige problemer ved historien.

Problem 1

Det er en – relativt – kendt sag, at den statistiske usikkerhed er relativt (forholdsmæssigt) stor ved små andele. En andel på 1% må siges at være en lille andel. Det samme gælder en andel på 3%. Alarmklokkerne burde derfor nok ringe, når man generaliserer fra undersøgelsen og til samtlige danske studerende på videregående uddannelser. Som man gør, når man skønner, at 11.000 studerende befinder sig i bolignød.

Men hvad er usikkerheden på tallene egentlig? En hurtig beregning på andelen på 1% uden permanent adresse viser, at konfidensintervallet (ved et 95% sikkerhedsniveau) ligger mellem 0,1-1,9 procent. Vi ved med andre ord ganske lidt om omfanget af problemet hos danske studerende som sådan. Det kan således være helt ned til 0,1%. Det er derfor også gætværk, når man konkluderer, at problemet tilsyneladende er dobbelt så stort som i Sverige, hvor man har lavet en lignende undersøgelse. Og det er gætværk, når man skønner, at 11.000 danske studerende er “ramt”.

Intet sted i artiklen forholder man sig til denne betydelige usikkerhed, som i sig selv er ødelæggende for vinklen.

Problem 2

Et andet grundlæggende problem er, at man i artiklen tager for givet, at en studerende uden permanent adresse er i bolignød. Det er bestemt ikke givet. Retfærdigvis skal det siges, at artiklen citerer uddannelsesøkonom, Mie Dalskov Pihl,  for den ret ædruelige indvending, at manglende fast bolig (for et fåtal af studerende) kan skyldes helt almindelige ting som hjemkomst fra udlandsophold, at man er gået fra kæresten eller lige har skiftet studieby. Det ville med andre ord være mærkeligt, hvis undersøgelsen ikke havde vist en lille gruppe uden fast bopæl.

Men når man nu har en kilde, som faktisk leverer den logiske og gode forklaring, hvorfor negligerer man det så fuldstændig i rubrikken og underrubrikken, og lader Nordeas forbrugerøkonom levere sine gætterier uimodsagt?

Det er meget muligt, at der rundt om i landet er problemer med at skaffe boliger nok til vores studerende. Og lad os da endelig tage den debat. Men lad os gøre det på et sagligt grundlag.

Er analyseinstitutterne ens?

Udgivet den af

Uanset hvilke medier man følger, kan man næsten dagligt læse, at den seneste meningsmåling viser.

Ethvert større dansk mediehus har sin egen hel eller halveksklusive aftale med et analyseinstitut: Epinion, TNS Gallup, Voxmeter, YouGov, Megafon og hvad de nu ellers hedder.

Men hvordan arbejder institutterne egentlig? Og hvad skal man som journalist eller bare almindelig medieforbruger være opmærksom på rent metodisk? Jeg vil her ridse nogle af de metodiske forskelligheder og karakteristika op.

Adgang til svarpersoner

Der anvendes grundlæggende tre indsamlingsmetoder: Telefoninterviews (CATI), webpaneler (CAWI) og en kombination af begge. YouGov anvender udelukkende webpanel, mens flertallet af de øvrige institutter arbejder med en kombi-model (fx med fordelingen 50-50, 60-40 eller 80-20). Der findes også institutter, som kun anvender CATI til politiske meningsmålinger. Og for at gøre forvirringen total er der også institutter, som varierer metoderne nærmest fra måling til måling.

Traditionelt har man kritiseret webpaneler for ikke at være repræsentative. Kritikken går blandt andet på, at ældre mennesker og lavtuddannede er underrepræsenterede, og at man påvirker folk i panelet gennem de spørgsmål, man stiller dem. Løbende udskiftning af panelets medlemmer kan til en vis grad afbøde problemet med påvirkning. Erfaringer fra bl.a. folketingsvalget i 2011 viser imidlertid, at webpaneler i nogle tilfælde ramte mere præcist end telefonbaserede målinger. Det er med andre ord ikke længere helt så selvfølgeligt, at CATI er bedst. Det er til gengæld klart, at CAWI er billigst. Kombi-metoden har dog stadig den – i hvert fald teoretiske – fordel, at man bedre kan sikre en demografisk repræsentativ svargruppe.

Kvaliteten af webpanelet

Kvaliteten af webpanelerne er – og bliver i tiltagende grad – et afgørende konkurrenceparameter. Her skal man særligt være opmærksom på panelets størrelse og sammensætning, den løbende udskiftning af panelets medlemmer og de baggrundsoplysninger, man indhenter på medlemmerne. Man skal også være opmærksom på, hvordan respondenterne er rekrutteret og eventuelle skævheder som følge heraf – er de fx selvrekrutterede eller inviterede eller købt fra et eller andet medlemsregister? Erfaring med webpaneler er et andet afgørende parameter. Det tager tid (og valg) at opdage et webpanels eventuelle indbyggede skævheder og lære at justere med relevante vægte.

Indsamling via webpaneler

Man skulle måske tro, at indsamlingen af panel-svar foregår på samme måde på tværs af institutterne. Det er dog ikke tilfældet. Nogle institutter anvender præstratificering, hvor de på forhånd udtrækker en repræsentativ stikprøve blandt panelets medlemmer. Hvis man her opnår en svarprocent nær 100, behøver man faktisk ikke nogen efterfølgende vægtning af svarene eller løbende kontrol. Det kræver dog, at man bruger ressourcer på at sikre en meget høj svarprocent.

Andre institutter anvender kvoteopfyldelse, hvor repræsentativiteten sikres løbende og automatisk i takt med, at svarene tikker ind. Her registreres med andre ord de hurtigste svar blandt panelets medlemmer. Det åbner op for nogle mulige skævheder, som ikke gør sig gældende ved præstratificerede stikprøver.

Endelig er der institutter, som kombinerer metoderne ved at udtrække en præstratificeret stikprøve og herefter løbende følger, om kvoterne opnås på de enkelte strata (og løbende supplerer kvoterne, hvor der måtte mangle svar). Det er naturligvis nødvendigt, hvis man ikke opnår den helt høje svarprocent, og der er systematiske skævheder.

Håndtering af tvivlere

Ved politiske meningsmålinger stiller institutterne det enslydende spørgsmål: Hvilket parti ville du stemme på, hvis der var folketingsvalg i morgen? Det er imidlertid ikke alle danskere, der har en klar holdning til partivalg. Nogle – ofte 10-15 procent – udtrykker i første omgang tvivl, når man stiller dem spørgsmålet. De fleste institutter prober. Det betyder, at de forsøger at vriste et svar ud af tvivlerne, fx ved at stille et opfølgende spørgsmål: Hvilket parti vil du mest sandsynligt stemme på? Eller: Hvilke partier kunne komme på tale/hælder du til? Det får en del af tvivlerne til at tilkendegive en holdning, og disse lidt usikre stemmer regnes så typisk ind på lige fod med dem, der har en sikker politisk overbevisning. Tilbage står en lille restgruppe af hårde tvivlere. De fleste institutter oplyser, at denne restgruppe smides ud eller ikke tillægges nogen betydning, når de estimerer mandat- og procentfordelingerne. Argumentet er, at det er for usikkert at forsøge at gætte dem ud. Nogle af disse tvivlere vil givetvis også tilhøre gruppen af sofavælgere eller stemme blankt.

Imidlertid indgår tvivlergruppen som regel i den oplyste sample size, dvs. i den oplyste stikprøve. Det betyder i praksis, at gruppen behandles, som om den ville stemme som ikke-tvivlerne. I virkeligheden burde man enten fjerne denne gruppe fra den oplyste stikprøve eller tydeligt skrive, at tvivlergruppen udgør xx procent og bør trækkes fra stikprøven, hvis man ønsker at beregne den statistiske usikkerhed. Måske flueknepperi og marginalt, men alligevel. Der findes givetvis også institutter, som vægter tvivlerne ind. Men her er vi inde og pille ved forretningshemmelighederne.

Metodisk forskellighed

Der er selvfølgelig andre ting, der differentierer institutterne: Hvordan vægter man svarene – hvis man vægter dem? Hvordan håndterer man førstegangsvælgere? Hvordan håndterer man, at folk har svært ved at huske (eller har fortrængt), hvad de stemte ved seneste valg?

Pointen er, at der formentlig er større metodisk forskellighed mellem institutterne, end de fleste forestiller sig. Og at vi pt. befinder os i en overgangsfase i forhold til adgang til svarpersoner.

Det er imidlertid vanskeligt at rangordne institutterne. Målingerne op til seneste folketingsvalg viste, at ingen af institutterne ramte helt skævt – eller helt præcist. Institutterne er nogenlunde enige om at spørge mellem 1000 og 1500 personer. Her kunne de differentiere sig. Og fx spørge 5000 repræsentative danskere. Det ville give større præcision – uanset metode.

 (Dette indlæg bygger bl.a. på interviews med en række af de toneangivende danske analyseinstitutter)

Aftenpostens kildekritik halter

Udgivet den af

Single Kvinner vil beholde boligen for seg selv. Halvparten av norske, single kvinner ønsker ikke at en fremtidig partner skal flytte inn hos dem.

Historien kunne i går læses hos Aftenposten – Norges største avis målt på oplag og traditionelt regnet for en seriøs avis. God historie. Overraskende pointe. Og måske uden hold i virkeligheden.

John Bones, journalist på konkurrerende VG, rejser en berettiget og saglig kritik af historiens manglende belæg.

Kilden til historien er en undersøgelse gennemført af datingtjenesten Match.com blandt 1300 af deres medlemmer (singler). Ikke med ét ord problematiserer Aftenposten brugen af denne kilde. Ingen forbehold. Ingen kildekritik.

Men det er altså for useriøst at generalisere fra 1300 brugere af et datingsite til norske single kvinner som sådan. Som om brugere af et datingsite pr definition er repræsentative for en hel nations singler. Eller som om repræsentativitet ikke for alvor betyder noget. Det gør det. Skulle man have glemt det, hjælper Ekstra Bladets meningsmåling fra efteråret på hukommelsen:

Det er til gengæld befriende at høre en journalist slå ned på Aftenpostens praksis.

Med John Bones egne ord:

Utvalget er dermed ikke representativt for norske kvinner. Aftenposten har ikke beskrevet metodebruken ytterligere, men det er grunn til å anta at svarene er gitt ved selvseleksjon. Enda verre!

I forrige uke gjorde Aftenposten den samme tabben, da avisen mente å kunne fastslå at halvparten av norske foreldre vil fjerne leksene. Undersøkelsen var utført ved selvseleksjon og var følgelig ikke representativ for norske foreldre.

Kan ikke vi som jobber i mediene gjøre det til en felles oppgave å forsikre oss om at undersøkelser vi presenterer faktisk er korrekte? Kildekritikken bør være den samme, uansett hva slags kilder vi bruker.

Man kan kun give manden ret.

Er “godt” godt nok?

Udgivet den af

I denne måned blev den årlige LUP-undersøgelse offentliggjort. LUP står for Landsdækkende Undersøgelse af Patientoplevelser, og der er i sandhed tale om en landsdækkende undersøgelse. Flere end 138.000 patienter har i efteråret 2011 besvaret det fremsendte spørgeskema. Nej, der er ikke et nul for meget med. Og ja, spørgeskemaerne er fremSENDT. Med posten. Som i de gode gamle dage.

LUP-undersøgelsen er god at blive klog af. Den rummer rigtig megen god metode – og tillige en række metodiske problemer.

Et af problemerne tematiseres i LUP-rapporten under overskriften Er “godt” godt nok? Indledningen lyder sådan her:

Flere spørgsmål i LUP har over 90 % positive besvarelser. “Positive besvarelser” dækker både over de patienter, der besvarer, at de oplever noget som “godt” og som “virkelig godt”.

Men hvad er historien bag tallene? Hvad gemmer sig fx bag bedømmelsen “god”? Det har folkene bag LUP gjort sig den ulejlighed at afdække via en interviewundersøgelse blandt et lille udvalg af patienter, der har vurderet den mundtlige information som “god”.

Interview med de pågældende patienter viser – ikke overraskende – at vurderingen “god” bliver en slags gennemsnitsvurdering, som dækker over både gode og dårlige oplevelser, og hvor de seneste besøg fylder mest. Konkret skjuler vurderingen “god” oplevelser med overfladiske læger og utryghed og nervøsitet, som bl.a. bunder i skiftende meldinger fra skiftende læger. Som tidligere beskrevet kan der være mange gode grunde til, at patienter ikke giver udtryk for dårlige oplevelser i et spørgeskema – eller i det mindste kun gør det indirekte med bedømmelsen “god”.

Man må derfor spørge sig selv, om vurderingen “god” er godt nok – som succesparameter. Og videre, hvordan man kan bruge store kvantitative undersøgelser som denne til at fremme det gode patientforløb – en erklæret målsætning.

I mellemtiden kan vi (metodenørder og andre) glæde os over et fint og gennemsigtigt studie i spørgeskemaundersøgelsens lyksaligheder og – ikke mindst – begrænsninger.

Uklare spørgsmål giver uklare svar

Udgivet den af

Når spørgsmål i en rundspørge skal formuleres, ligger der en væsentlig opgave i at indsnævre den såkaldte ”betydningsvidde”, der kommer af, at mange ord kan forstås forskelligt. Når problemstillingen er kompleks, bliver denne udfordring tilsvarende større.
Det er der et glimrende eksempel på i dagens udgave af Børsen, hvor emnet er den omlægning af skattesystemet, som regeringen har stillet i udsigt.

Under overskriften ”Danskerne vil mere end en skatteomlægning” præsenterer dagbladet Børsen resultatet af en undersøgelse foretaget af Greens Analyseinstitut. Avisen er selv lidt tilbageholdende med at overfortolke svaret på et lidt uklart spørgsmål, men det skinner tydeligt igennem, at der anes en opbakning fra 69 pct. af danskerne til egentligt skattelettelser.
En temmelig overraskende udvikling i danskernes holdning, når der på baggrund af andre undersøgelser tidligere er blevet konkluderet, at syv ud af ti danskere gerne vil betale en høj skat (også fra Børsen/Greens), og at ordentlig velfærd – i danskernes optik – er vigtigere end lav skat. Så sent som i april kunne man endda høre, at danskerne er meget villige til at betale mere i skat, hvis de øgede skatteindtægter går til velfærdsydelser som sundhedsvæsen og ældrepleje.

Omlægninger i skattesystemet er et komplekst emne, og man kan med rette stille kritiske spørgsmål til alle undersøgelser om holdningerne til det. Formuleringen i Børsens seneste undersøgelse sætter dog rekord i uklarhed:

”Regeringen vil sænke skatten på arbejde i en kommende reform. Mener du, at de alene skal finansieres ved nye stigninger i andre skatter eller bør man også lede efter penge uden for skattesystemet?”

De 1.108 svarpersoner, der indgår i den telefoniske rundspørge, har haft en række svarkategorier at vælge mellem, og 69 pct. svarer ”Uden for skattesystemet”, 16 pct. svarer ”Stigning i andre skatte og afgifter”, mens andre 16 pct. svarer ”Ved ikke/vil ikke svare”.

Det centrale spørgsmål er, hvad der menes med ”uden for skattesystemet”. Gælder det fx en ny beskatning af finansielle transaktioner, som er blevet nævnt i debatten? Gælder det en øget arveafgift, som også har været i spil? Eller handler det bare om, at ”den hårdtarbejdende skatteyder”, som politikerne kæmper om at appellere til, er blevet stillet en lettelse af beskatningen på sin arbejdsindkomst i udsigt og nødig ser den spist op af andre skatteforhøjelser?

Det er temmelig uklart. Og som man spørger, får man svar …

Berlingske vildledte om vuggestueundersøgelse

Udgivet den af

Den seneste uges debat om forholdene i de danske vuggestuer har handlet om fordrejede tal og spørgsmålstegn ved forskerens (Ole Henrik Hansen) undersøgelse. Uden at nogen dog tilsyneladende har set selve undersøgelsen. Debatten er med andre ord kørt af sporet.

I går bragte Berlingske så en rettelse: De beklager, at de kom til at skrive, at der i undersøgelsen var sendt spørgeskemaer ud til 40.000 pædagoger, når der nu rettelig kun var sendt skemaer ud til 38.487 potentielle respondenter. 40.000 er ikke det helt korrekte tal, og det beklager de.

Men hør nu lige her: Det er slet ikke pointen. Om tallet hedder 40.000 eller 38.500 er bedøvende ligegyldigt.

Det egentlige problem er, at Berlingske fandt det fornuftigt i første omgang at nævne det gigantiske antal mulige svarpersoner i stedet for at forholde sig til, hvor mange der faktisk havde svaret (1274). Og den lave svarprocent (3,3 procent samlet set).

Hvis Berlingske faktisk har troet, at der var tale om 40.000 svar fra relevante fagpersoner, så skal der nye batterier i bullshit-detektoren. Man må da som minimum bede forskeren bekræfte dette helt usandsynlige tal.

Hvis de derimod fra starten har været klar over, at der måtte være tale om en meget mindre svargruppe og en muligvis ringe svarprocent… Ja, så har de vildledt læserne med fuldstændig uvedkommende information, der uvilkårligt giver indtryk af meget større pondus og troværdighed, end tilfældet faktisk er.

Er det for store krav at stille til en avis som Berlingske? Kom nu med en seriøs beklagelse, som går på substansen. Det andet er noget pjat, som almindeligt begavede læsere alligevel gennemskuer.

 

Mistro til medierne?

Udgivet den af

I morgen åbner Nordiske Mediedager i Bergen – en 3-dages mediefestival, hvor branchen samles og vender blikket indad.

Et af festivalens omdrejningspunkter bliver en unik skandinavisk medieundersøgelse lavet til lejligheden. Sådan set ikke uinteressant – i hvert fald ikke for branchen selv. Flere af undersøgelsens resultater er allerede “lækket” til pressen. En af hovedkonklusionerne lader til at være, at Skandinavisk publikum uttrykker mistro til mediene. Baggrunden er dette spørgsmål:

Smag lige på formuleringen en gang: I hvilken grad har du tiltro til medierne generelt? Hvad ville du svare på det spørgsmål?

Medierne er en utrolig sammensat størrelse; det behøver man næppe være ekspert eller medieforsker for at være enig i.

Hvordan kan man meningsfuldt angive sin tiltro til medierne – generelt? Hvis man nu fx i almindelighed har tillid til nyhedsudsendelserne og de landsdækkende dagblade og måske også til sin lokalavis; ikke sådan ubetinget, blind tillid, men heller ikke stor og generel mistillid. Men til gengæld har lav tiltro til formiddagspressen? For nu blot at skitsere én stereotyp medieforbruger. Skal man så svare nogen tiltro? Eller mindre tiltro? Nej, det er ikke nemt at finde ét svar, som yder den samlede mediestand retfærdighed.

Når man ser på undersøgelsens resultat, er der markant forskel i befolkningens tiltro til medierne på tværs af de nordiske lande. De svenske tal ser skræmmende ud. Så langt, så skidt. Men hvad skal man egentlig mene om de 24 procent af danskerne (+/- 3 procentpoints usikkerhed), som udtrykker mindre eller ingen tiltro? Det er faktisk et godt spørgsmål, som man bør grave sig godt og grundigt ned i, før man drager forhastede dommedagskonklusioner.

En lignende undersøgelse viste i februar måned et tilsvarende billede: Hver fjerde dansker udtrykte her lille eller meget lille tillid til danske medier – sådan generelt. Men denne undersøgelse gjorde sig også den ulejlighed at undersøge tilliden til det enkelte medie (landsdækkende medier). Undersøgelsen tegnede her et klart billede: Mistilliden til tabloidpressen var massiv. Gratisaviserne stod også for skud, mens flertallet af de øvrige danske medier blot fik prædikatet lille eller meget lille tillid af 6-15 procent af danskerne.

Er det så et fair billede? Og er det godt nok? Det kan man fint diskutere, men lad os få nuanceret billedet, før vi skyder medierne ned fra hoften.

Note (tilføjet 11. maj):
Eurobarometer udkom i marts måned med den survey-baserede rapport Media Use in the European Union. Her måler man blandt andet trust in the media i samtlige EU-lande plus nogle få øvrige lande. Media operationaliseres her som henholdsvis Radio, Television, The Press og The Internet. Svenskernes mistrust – som også kommer til udtryk i denne rapport – er klart og tydeligt rettet mod den skrevne presse (54% tend not to trust) og internettet (54% tend not to trust), mens de udtrykker tillid til radio (18% tend not to trust) og tv (25% tend not to trust). Danskerne har nogenlunde samme mønster som svenskerne bortset fra internettet, som vi udtrykker stor tillid til. Dyk selv ned i tallene.
Pointen er, at man er nødt til at nedbryde (operationalisere) overbegrebet medier, hvis man vil vide, hvad der er på spil, når folk udtrykker tillid eller mistillid. Og det vil man vel – når man gør sig den ulejlighed at spørge..?

Charterturister vil rejse for efterlønspengene

Udgivet den af

Intet er så godt som resultaterne af en frisk, lille undersøgelse, når man vil understrege et budskab. Det har Star Tours dygtige kommunikator, salgsdirektør Stig Elling, selvfølgelig også fundet ud af. Forleden benyttede han det lille trick i en udtalelse til Jyllands-Posten.
Artiklen ”Ferie i stedet for efterløn” handlede om, at danskerne vil bruge efterlønsmidler på dyre ferier. Stig Elling omtaler en ”lynspørge-undersøgelse” med 600 svar og siger:
”Vores undersøgelse viser, at 30 pct. har valgt at få efterløns-kronerne ud nu, og heraf vil 60 pct. af dem bruge pengene på en rejse.”
600 svarpersoner er et pænt antal, som ikke ligger langt under, hvad de store institutter bruger i politiske meningsmålinger. Den statistiske usikkerhed vokser dog i takt med, at der laves beregninger på undergrupper. 30 pct. af 600 er 180 svarpersoner, der altså har valgt at få efterlønskronerne ud nu, og af dem vil 108 (=60 pct.) bruge pengene på en rejse.
Beregneren på dette site viser et usikkerhedsinterval omkring de 60 pct. på +/- 7,2 procentpoint, så man burde altså kunne konkludere, at et pænt flertal af dem, der har valgt at få efterlønskronerne nu, har tænkt sig at rejse for pengene.
Det problematiske er, at vi ikke ved, om de 180 svarpersoner er repræsentative for alle dem, der ønsker at få efterlønsmidlerne udbetalt blandt de mere end 2 mio. danskere, der betaler til ordningen. Sandsynligvis har vi fat i en gruppe, der adskiller sig afgørende på ét punkt: De er mere interesserede i ferierejser end gennemsnittet.
En opringning til Star Tour viser nemlig, at ”lynspørgeundersøgelsen” ikke er foretaget blandt et repræsentativt udsnit af danskerne, men i løbet af et døgn blandt de mennesker, der er kommet forbi en webrundspørge på Star Tours hjemmeside.
Det stod der bare ikke noget om i artiklen i Jyllands-Posten. Og det kommer vel ikke bag på ret mange, at et pænt flertal af dem, der er på jagt efter en charterrejse, og som har valgt at få efterlønsmidlerne udbetalt, kunne finde på at bruge disse penge til at rejse for?

Ledende spørgsmål hos Sex & Samfund

Udgivet den af

P1s Detektor havde forleden generalsekretær for Sex & Samfund, Bjarne B. Christensen, i studiet og svare på kritik af en undersøgelse, foreningen havde lavet i forbindelse med Uge Sex 2012-kampagnen.

Sex & Samfund havde spurgt 605 folkeskolelærere, om de oplever faste kønsrollemønstre blandt deres elever, og konkluderede på baggrund af svarene, at næsten hver anden af dem (47,8 procent) har oplevet meget fastlåste opfattelser blandt deres elever af, hvad drenge og piger kan og bør.

Undersøgelsen og formidlingen af samme er et fint (negativt) studie i kunsten at formulere gode spørgsmål og vinkle sobert på svarene. Her følger en gennemgang.

Man formulerede hovedspørgsmålet på denne måde:

Oplever du – eller har du oplevet – meget faste opfattelser blandt dine elever af, hvad man kan og bør som henholdsvis dreng og pige? (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.)

 Spørgsmålet rummer adskillige spørgetekniske problemer, som til sammen gør svarene ubrugelige at konkludere på.

1) Oplever du – eller har du oplevet: Med formuleringen eller har du oplevet ved man ikke, om lærerne svarer ud fra deres aktuelle oplevelser eller noget, de engang har oplevet. Det bliver dermed umuligt at konkludere noget aktuelt ud fra svarene. Der mangler en tidsafgrænsning på spørgsmålet.

2) Blandt dine elever: Der mangler en styrkemarkør. Hvad betyder blandt dine elever? Ganske få elever? Halvdelen af eleverne? Flertallet af eleverne?

3) Som henholdsvis dreng og pige: Man slår kønnene sammen, hvor man med fordel kunne have bedt lærerne svare for henholdsvis drenge og piger. Hvem ved på forhånd, om de samme mønstre gør sig gældende på tværs af køn?

4) (for eksempel hvordan man skal opføre sig, hvilke fritidsaktiviteter man kan gå til, hvilket tøj man kan/skal have på, hvor mange man må kysse etc.): Man forsøger med disse eksempler at give lærerne en fælles referenceramme, når de skal svare. I praksis virker det mod hensigten. Hvis man blot oplever problemer på ét af de nævnte områder, skal man i princippet svare ja, men i så fald svarer folk ja på baggrund af vidt forskellige oplevelser.

Som spørgsmålet er stillet, er det voldsomt ledende i retning af at få lærerne til at svare, at de oplever faste mønstre. Man skal blot på et eller andet tidspunkt i et eller andet omfang have oplevet meget faste opfattelser på ét af de nævnte områder… og hvem har ikke det? Set i det lys, er det faktisk overraskende, at blot 48 procent af lærerne svarer ja. Det ligger lige for at vinkle på, at så lav en andel tilsyneladende oplever faste holdninger. I stedet gør Sex & Samfund det modsatte. Vinkler på, at næsten hver anden lærer har oplevet faste holdninger blandt eleverne. Den vinkel havde vist skrevet sig selv på forhånd.

Men hvordan skulle man have stillet spørgsmålet? Svaret er, at man skal lade være med at stille den slags komprimerede, sammenfattende spørgsmål, hvor det hele skal med på én gang. Fremgangsmåden er grundlæggende forkert. I stedet skal man – som Sex & Samfund også er på sporet af – stille åbne, enkle og konkrete spørgsmål a la:

Tag stilling til hvert af de nævnte eksempler på “faste opfattelser” og angiv, om du oplever dem blandt dine elever i din dagligdag som lærer:

  • Drenge går til fodbold
  • Piger går ikke til fodbold
  • Drenge leger med biler, krig og lignende
  • Piger har langt hår
  • osv.

Læreren skal altså tage stilling til en række konkrete eksempler på (stereotype) opfattelser. I tilfælde af, at læreren svarer ja, kan man efterfølgende bede læreren vurdere styrken/udbredelsen af den pågældende opfattelse og vurdere, om opfattelsen er kønsspecifik. Man kan eventuelt også bede læreren tage stilling til, om han/hun oplever opfattelserne som et problem for eleverne.

På baggrund af svarene på disse enkle og konkrete spørgsmål, kan man lave sin sammenfatning og – med belæg – konkludere

  1. om lærerne oplever meget faste opfattelser blandt eleverne i deres dagligdag som lærere
  2. om opfattelserne er udbredte blandt eleverne
  3. om opfattelserne er kønsspecifikke
  4. om lærerne oplever det som et problem for eleverne

Det ville ikke bare være mere retvisende, men også langt mere interessant.

Karakterer til ministrene

Udgivet den af

Ministerholdet er – som det efterhånden er sædvane op til jul – blevet bedømt af den danske befolkning i to offentliggjorte meningsmålinger; den ene for Jyllands-Posten; den anden for Ugebrevet A4.

Repræsentative udsnit af befolkningen har givet ministrene karakterer på forskellige skalaer, og de to undersøgelser kommer frem til nogenlunde enslydende resultater: Margrethe Vestager er topscorer fulgt af Mette Frederiksen og Bjarne Corydon; Carsten Hansen og Ole Sohn som bundskraberne.

Men hvad med den statistiske usikkerhed? Den forbigås i tavshed i mediernes hovedartikler, men betyder den egentlig noget for konklusionerne, og hvordan beregner man den overhovedet?

Lad os starte med metoden. Da der er tale om karaktergennemsnit (i modsætning til andele af vælgertilslutning ved de allestedsnærværende politiske meningsmålinger), kan man IKKE bruge de to beregningsmodeller, som er tilgængelige på denne blog. Grunden er denne: Når man beregner statistisk usikkerhed (konfidensintervaller) for gennemsnitsmål, skal man tage højde for det, der i fagterminologien hedder standardafvigelsen. Til hver enkelt ministers beregnede karaktergennemsnit knytter der sig en standardafvigelse. Populært sagt er standardafvigelsen et tal, der udtrykker, hvor tæt de afgivne karakterer til en minister ligger på vedkommendes gennemsnit. Det kan variere meget. Et gennemsnit på 5 kan fremkomme ved, at alle faktisk giver karakteren 5. Men det kan også fremkomme ved, at halvdelen giver karakteren 1, og resten giver karakteren 9. Jo tættere de enkelte karakterer ligger på gennemsnittet, jo mindre er standardafvigelsen, og jo mindre er også den statistiske usikkerhed, når man generaliserer målingen til hele befolkningen.

Vil du se medierne efter i kortene og beregne usikkerheden, kræver det altså, at det enkelte medie udleverer en oversigt over standardafvigelser, antal svarpersoner og de målte karaktergennemsnit – for hver minister. Herefter skal det hele blot plottes ind i et regneark. En simpel formel (=KONFIDENSINTERVAL) gør resten af arbejdet for dig.

Jeg kontaktede Jyllands-Posten, og de sendte mig uden videre tallene. Her er resultatet:

 

N er antal svar for hver enkelt minister. Øvre og Nedre er konfidensintervallernes grænseværdier. Der er i formlen anvendt et 95 procents sikkerhedsniveau.

Men er folk ikke flintrende ligeglade med standardafvigelser og konfidensintervaller? Sikkert, men kan man som medie eller journalist være ligeglad med, om vinklingen og konklusionerne holder?

Heldigvis lader hverken Jyllands-Posten eller Ugebrevet A4 til at være ligeglade. Jyllands-Posten var, trods den manglende formidling af usikkerheden, i stand til at sende mig overbevisende dokumentation. Og den statistiske usikkerhed rokker ikke ved, at Margrethe Vestager faktisk ER den aktuelle vinder, og at Carsten Hansen og Ole Sohn får den ringeste bedømmelse i befolkningen. Så formidlingen af resultaterne er også i orden. Tjek selv tallene.

 Note: Jeg har kun kontaktet Jyllands-Posten, da formålet med indlægget primært er at demonstrere metoden. Ugebrevet A4s tilsvarende undersøgelse er nævnt for fuldstændighedens skyld. Berlingske har gennemført en tilsvarende undersøgelse, men de tager betaling for adgang til resultaterne, som derfor ikke er umiddelbart tilgængelige.