Gør kage på jobbet dig fed?

Det kunne man forleden læse i B.T., som også kunne fortælle, at 41 procent ønsker færre kager på arbejdspladsen. For en kageglad mand som mig lød det umiskendeligt som en tvivlsom historie. Kunne det virkelig passe? Gad vide hvad belægget mon var for de påstande?

Andre undrede sig også. Mandag Morgens TjekDet-redaktion bad mig (og andre metodenørder) kigge nærmere på undersøgelsen og artiklen. Resultatet kan du læse her.

Det er muligt, at man kan blive fed af kage på jobbet. Og det er muligt, at fire ud af ti danskere ønsker færre kager på arbejdspladsen. Men ingen af delene er dokumenteret i B.T.s artikel eller i undersøgelsen bag. Metodehints: #repræsentativitet; #spørgeteknik; #kausalitet; #sammenhæng mellem rubrik og undersøgelse;

TjekDet – selv.

Er klimapolitik danskernes foretrukne valgtema?

Klimapolitik er danskernes foretrukne valgtema. Forleden kunne man læse denne opsigtsvækkende nyhed hos den grønne tænketank Concito. Dagen forinden havde Berlingske imidlertid fortalt, at flygtninge- og indvandrerpolitikken ifølge danskerne er det vigtigste politikområde for en kommende regering. Flere medier undrede sig behørigt over de strittende budskaber. DR’s Detektor tog fat i undersøgelserne og skrev en glimrende artikel om metodeproblemerne ved Concitos undersøgelse, men kom ikke hele vejen rundt. Her er den lidt længere – og lidt mere nørdede – version.

Priming
Concitos undersøgelse bygger på en survey med 27 spørgsmål, som alle handler om klimaforandringer, grøn omstilling, drivhusgasser og klimaudfordringen. Efter de første 26 spørgsmål kommer så spørgsmålet om valgtemaer: “Hvilke af følgende temaer mener du, er vigtigst at få prioriteret i valgdebatten forud for det kommende folketingsvalg?” De 1076 respondenters svar fordelte sig således:

klimabarometer_valg

Problemet er, at respondenterne primes pga. måden, spørgeskemaet er bygget op. Priming kan defineres som “an implicit memory effect in which exposure to a stimulus influences a response to a later stimulus”. Altså en implicit hukommelseseffekt, hvor personen udsættes for et stimuli (her 26 klimaspørgsmål), hvilket påvirker personens svar på et senere stimuli (her spørgsmål 27 om valgtemaer), uden at personen selv er opmærksom på det. Det er derfor velegnet til manipulation og børnelærdom inden for marketing og salg. Det er bestemt ikke sikkert, at Concito gør det med intention om at manipulere resultatet. Men i praksis er det det, der sker. Der etableres en underliggende præmis om, at klimaområdet er vigtigt. En situationsbias. Er Berlingskes undersøgelse så et hak bedre? Ja, det er den faktisk. For den indeholder ikke 26 forudgående stimuli-spørgsmål. De spørger direkte ind til “de vigtigste politikområder” og får denne svarfordeling:

Berlingskes undersøgelse

Repræsentative svarpersoner
Når man undersøger danskernes foretrukne valgtemaer, skal det gøres med repræsentative udsnit (stikprøver) af den voksne danske befolkning. Begge undersøgelser er gennemført af anerkendte analysebureauer (Analyse Danmark og Kantar Gallup), som normalt gør en dyd ud af at fortælle, at svarpersonerne er repræsentativt udvalgte vælgere. Det hviler på en underliggende forudsætning om, at de udvalgte personer faktisk svarer. Er der frafald, kan det være med til at skævvride undersøgelsen og gøre den ikke-repræsentativ. Hvis det sker, er der problemer med den eksterne validitet. Frafald kan opstå undervejs i en undersøgelse. Der er risiko for, at svarpersonen giver op, hvis der er mange spørgsmål; hvis spørgsmålene virker uvedkommende; hvis man er uenig i præmissen for undersøgelsen. I en undersøgelse med 27 spørgsmål om klima er der risiko for, at svarpersoner giver op, hvis de ikke interesserer sig for klimaet og ikke mener, at det er et vigtigt politisk tema. Det kan potentielt skævvride undersøgelsens resultater. Det oplyses, at der undervejs i undersøgelsen sker et frafald på 8 procent. Vi ved ikke, om nogle af dem falder fra på grund af manglende interesse for emnet. Men risikoen er til stede.

Hvad betyder “foretrukne” og “vigtigst”?
Berlingske præsenterer med egne ord politikområder, som er “vigtigst for danskerne”. Concito taler om “danskernes foretrukne valgtema”. Men hvordan kommer man rent metodisk frem til “foretrukne” og “vigtigst”?

For det første opstiller man to forskellige lister med politikområder. Concito udvælger 17 valgtemaer, mens Berlingske udvælger 13 politiske områder. Det er svært på den baggrund at tale om objektive eller direkte sammenlignelige målinger af, hvad danskerne foretrækker. Der er (naturligvis) allerede på forhånd truffet nogle valg for svarpersonerne. Disse valg er præmisser og er forskellige for de to undersøgelser.

For det andet giver man ikke svarpersonerne det samme antal krydser at sætte. Concito lader svarpersonerne sætte fem krydser, mens Berlingske lader sine svarpersoner sætte tre krydser. Er det nu vigtigt? Ja! Det kan faktisk være helt afgørende for undersøgelsens resultat.

Lad mig illustrere pointen med to fiktive holdningsfordelinger, jeg har opfundet til lejligheden:

klimapolitik fiktiv grafik

Indvandrerpolitik fiktiv grafik

Tag et godt kig på de to fordelinger. Har du gættet pointen?

Hvis vi vælger Concitos model med fem krydser (hver person sætter kryds for de fem områder, som har højest prioritet), så vil 48% pege på klimapolitik. Og 48% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen peger på de to områder som lige vigtige.

Hvis vi derimod vælger Berlingskes model med tre krydser, så vil 28% pege på klimapolitik. Mens 39% vil pege på flygtninge- og indvandrerpolitik. Ergo har vores undersøgelse nu vist, at befolkningen klart peger på flygtninge- og indvandrerpolitik som vigtigst.

Jamen det var jo den samme undersøgelse med de samme spørgsmål og de samme svarpersoner? Nemlig. Vi vælger bare at kigge på to forskellige udsnit af disse personers politiske præferencer. Og det gør en verden til forskel. Ja, det giver faktisk to radikalt forskellige nyhedshistorier. Og hvad værre er: Vi kan ikke på forhånd entydigt sige, om det er mest korrekt at lade svarpersonerne sætte 1, 2, 3 eller 5 krydser. Men vi kan i det mindste være opmærksomme på problemstillingen.

Som sagt er fordelingerne fiktive. Vi ved ikke, hvordan det havde set ud, hvis Concito havde begrænset sig til tre krydser. Eller hvis Berlingske havde tilladt fem. Men “danskernes foretrukne temaer” og “de vigtigste politikområder” havde formentlig set anderledes ud.

 

Hvad har usexede sportsgrene og upopulære ministre til fælles?

Da agurkesæsonen i juli peakede i et slags omvendt proportionalt kapløb med det elendige sommervejr, kunne man hos Metroxpress læse Ny undersøgelse: Denne sport synes danske unge er MINDST sexet.

Kan ikke modstå maddingen. Jeg begynder at bladre den illustrerede liste med sportsgrene igennem. 0%. 0%. Hmm, gad vide hvad det betyder? Efter et par klik sker det. Et voldsomt ubehag rammer mig. Bladrer hurtigt frem, hurtigt tilbage, hurtigt frem igen. Har jeg misforstået listen? Nej, en hurtig skimning af artiklen bekræfter mine bange anelser. Ubehaget er nu blevet til kvalme. Jeg ser dem i glimt for mig. Waldner. Maze. Tugwell. Pedersen. Min ungdoms idoler. Nu reduceret til ikoner for den mindst sexede sportsgren. I Danmark. Ifølge unge. Bordtennis.

Værre: Det er ifølge den citerede køns- og til lejligheden showforsker, Karen Sjørup, slet ikke underligt, for bordtennis er en sport, der ikke er “meget show i”. Aaav.

Noget må være galt med den undersøgelse. Den MX-journalist har da vist været ramt af fikseringsfejl. Og det var da også en helt utrolig negativ vinkel. Jeg beslutter mig for i videnskabens tjeneste at kaste et KRITISK blik på metoden bag. Er undersøgelsen overhovedet repræsentativ? Tages der højde for den statistiske usikkerhed? Og hvad med målingsvaliditeten? Måler man faktisk det, man tror? Heldigvis har analysefirmaet bag, YouGov, været flinke og varedeklarere, og Metroxpress har været flinke at bringe deklarationen. Den ser sådan her ud:

usexet sport 2

Nedslået må jeg konstatere, at der ikke umiddelbart er noget alvorligt at udsætte på repræsentativiteten. Svarpersonerne kommer ganske vist næsten med sikkerhed fra YouGovs webpanel, og de rekrutterer ikke via simpel tilfældig udvælgelse, så måske kan der være systematiske forskelle, når man sammenholder de 900 svarpersoner med “alle danske unge”? Ja, det kan der godt. Men det er næppe noget, der rykker fundamentalt ved de overordnede resultater.

Nå, hvad så med den statistiske usikkerhed? Den er da vist blevet glemt i skyndingen? HVIS man tager højde for usikkerheden, kan man med rette så tvivl om, hvem der ligger sidst, næstsidst og tredjesidst osv. på listen. De nederste sportsgrene på listen har nemlig alle det til fælles, at de har fået lige omkring nul stemmer. Okay, så rubrikken er altså lidt skråsikkert konkluderende. Der kan sagtens være tale om en fejludråbt taber. Måske er den virkelige bundskraber karate eller ishockey? Eller en af de sportsgrene, som slet ikke optræder på Metroxpress’ ikke-udtømmende liste over sportsgrene? Mit humør stiger en anelse. Min mission – at genoprette Maze og Co.’s anseelse – er tilbage på sporet.

Men der er større og mere interessante problemer. For hvad er det egentlig, de 900 unge har svaret på? Spørgsmålet lyder: “Hvilken sportsgren synes du, er mest sexet?” Men kan man derudfra konkludere, hvad der er mindst sexet? Nej. Hvis man vil vide, hvad der er mindst sexet, så skal man … yes, rigtigt … spørge om det. Og her kommer de upopulære ministre ind i billedet. For hvis man vil undersøge, hvilke ministre der er mindst populære, så skal man også spørge om det. Og IKKE spørge, hvem der er mest populær. Det har Erik Gahner Larsen tidligere overbevisende demonstreret. Der er med andre ord tale om et problem, vi møder i andre sammenhænge i nyhedsstrømmen.

Undersøgelsen kan altså ikke bruges til at sige noget om, hvilken sportsgren der er mindst sexet. Jeg kan mærke, at denne her analyse er god. Det føles helt rigtigt. Det slår mig, at jeg burde sende et link til DBTU’s presseansvarlige. Og Maze. Han er sikkert også nedtrykt.

Men fortæller undersøgelsen så faktisk, hvilken sportsgren der er mest sexet? Njah, det kan man faktisk godt sætte spørgsmålstegn ved. I undersøgelsen peger hele 15 procent på fodbold som den mest sexede sportsgren. Til det kan man indvende to ting:

1) Er det i virkeligheden en kombination af eksponering, tilslutning og sexethed, vi måler? På samme måde, som man vanskeligt kan vurdere en ny-udnævnt (ikke-eksponeret) minister, kan man vel vanskeligt pege på de mindst eksponerede/dyrkede sportsgrene?

2) Hvad nu, hvis 15 procent samtidig peger på fodbold som direkte usexet? Altså, forudsat at de 900 unge fik chancen for at tage stilling til usexethed. Lad os rent hypotetisk forestille os, at fodbold deler vandene. Måske svarer de 15 procent, som dyrker fodbold, at det er mest sexet. Mens deres respektive partnere svarer, at det er dybt usexet. Det ville være et lidt ærgerligt resultat for de pågældende. Men tænkeligt. Ministerparallellen er til at få øje på. Støjberg.

Det konstruktive
Alternativt og bedre (!) kan man bede svarpersonerne bedømme hver enkelt sportsgren på en skala fra 1-5. Det gør YouGov da også i deres ministermålinger. På den måde kan man både se, hvem der får flest ekstreme værdier (1 og 5) og rangliste sportsgrenene efter deres gennemsnitsscorer eller efter andel positive minus andel negative bedømmelser. Det ville – måske – give helt andre resultater. Kan du også mærke endorfinerne nu, Maze? Og lad os så få det show.

Danskernes holdning til retsforbeholdet – et svært spørgsmål?

”Måling: Dødt løb mellem ja og nej inden folkeafstemning”. ”Dyk til ja-siden i kamp om retsforbehold”. ”Måling: Flertal vil stemme ja ved folkeafstemning”.

Det svirrer i luften. Medierne kappes om at tage temperaturen på den kommende folkeafstemning. Men hvordan måler man danskernes holdning? Hvordan stiller man bedst dette – skulle man mene – ret enkle spørgsmål?

Det er der langt fra enighed om. Grundlæggende har man to helt væsensforskellige muligheder:

1) Man kan forsøge at bibringe svarpersoner en fælles (bedre) forståelse af problemstillingen og mulige konsekvenser af et ja henholdsvis nej, før man beder dem tage stilling. Det kan man gøre med en vejledende, introducerende tekst. Udfordringen er, at det er enormt svært at gøre balanceret – og at det hurtigt bliver langstrakt og langhåret.

2) Man kan stille spørgsmålet nøgternt og ”nøgent”. Dermed undgår man at påvirke svarpersonernes holdning med selve spørgsmålet. Til gengæld må man så forvente, at svarpersonerne forestiller sig ret forskellige konsekvenser og for manges vedkommende svarer ud fra en ret begrænset viden.

DR har i alle forårets målinger anvendt den første strategi med denne spørgsmålsformulering:

”Et flertal i Folketinget vil have en folkeafstemning om det danske EU-forbehold på retsområdet for at omdanne forbeholdet til en såkaldt tilvalgsordning. En tilvalgsordning vil betyde, at Danmark selv kan vælge, hvilke europæiske samarbejder man vil deltage i, og hvilke man ønsker at stå uden for på det retslige område. Det vil eksempelvis betyde, at Danmark kan vælge at deltage i det europæiske politisamarbejde, Europol, men at stå uden for de fælles beslutninger omkring eksempelvis udlændingepolitikken. Støtter du en sådan ændring af retsforbeholdet?”

Formuleringen er – med rette – blevet beskyldt for at være ledende og favorisere et ”ja”. Man nævner, at et flertal i Folketinget ønsker ændringen; Man beskriver fordelene og fleksibiliteten ved frit-valg uden at nævne suverænitetsafgivelse, flytning af beslutningsmagt og uden at nævne muligheden for parallelaftaler ved den eksisterende ordning; Og man spørger, om du ”støtter denne ændring” i stedet for at spørge, om ”du er for eller imod ændringen”.

DR har nu ændret strategi og lavet en ny spørgsmålsformulering:

”Den 3. december skal der være folkeafstemning om at ændre det danske EU-retsforbehold til en tilvalgsordning. Hvad vil du stemme ved folkeafstemningen?”

Den nye formulering minder – overordnet set – om Børsens (som er fra januar måned): ”Hvad ville du stemme, hvis der var folkeafstemning om dansk deltagelse i den fælles rets- og udlændingepolitik i EU i morgen?”; om Altingets: ”Vælgerne skal i år til folkeafstemning om det danske retsforbehold over for EU. Hvad vil du stemme, hvis afstemningen var i dag?”; Og om TV2’s: ”Hvilket af følgende udsagn er du mest enig i? 1) Jeg synes, at det eksisterende retsforbehold skal omdannes til en tilvalgsordning. 2) Jeg synes, at retsforbeholdet skal bevares, som det er i dag”. Fælles for alle disse formuleringer er, at de IKKE beskriver fordele, ulemper og konsekvenser, og at de IKKE refererer til Folketingets eller partiernes holdninger.

Det betyder dog ikke, at spørgsmålene er ens eller kan forventes at give ”samme svar”. Langtfra. Djævelen ligger i detaljen. Børsens formulering nævner udlændingepolitikken, og netop spørgsmålet om udlændingepolitikken må forventes at trigge mange. Politiken har for nylig gennemført et interessant eksperiment for at undersøge netop denne problemstilling. De stillede spørgsmålet på to forskellige måder til repræsentative udsnit af den voksne danske befolkning. Den første formulering lød (min fremhævning):

”Den 3. december er der folkeafstemning. Her skal danskerne stemme om, hvorvidt Danmark skal overgive magt til EU på flere områder, der i dag er omfattet af det danske retsforbehold, herunder bl.a. dele af udlændingepolitikken. Vil du stemme ja eller nej?” (36% ja; 41% nej).

Den anden formulering lød (min fremhævning):

”Den 3. december er der folkeafstemning. Her skal danskerne stemme om, hvorvidt Danmark skal bevare sit retsforbehold i EU med en tilvalgsordning på udvalgte områder, herunder bl.a. deltagelse i kampen mod grænseoverskridende kriminalitet. Vil du stemme ja eller nej?” (42% ja; 26% nej).

Andelene, som svarer ja/nej i Politikens eksperiment, bekræfter, hvad man kunne forvente, nemlig at framingen af spørgsmålet betyder alverden for de svar, man får.

TV2’s formulering adskiller sig fra de øvrige ved at bestå af udsagn, som man kan erklære sig enig i. Dermed bliver det ikke længere et spørgsmål om at sige ja eller nej. Det har den fordel, at man neutraliserer eventuelle ”enighedseffekter”, altså mulige effekter af at det kræver mindre stillingtagen og fremstår mere positivt at erklære sig enig og sige ja, end det modsatte.

Hvad kan vi så lære? Essensen er, at man skal være meget forsigtig med at flette fordele, ulemper og konsekvenser ind i denne type holdningsspørgsmål. Hold det kort og nøgternt, så du undgår at påvirke svarpersonen. Det giver også det mest realistiske og repræsentative øjebliksbillede af folkestemningen.

Nogle vil sikkert mene, at alle disse målinger er ligegyldige og uinteressante, men forskning viser, at vi ikke er upåvirkede af dem. Målingerne betyder noget – om vi kan lide det eller ej. Det samme gør formuleringer. Og i sidste ende er der én formulering, vi ikke kan undslå os: Den på stemmesedlen ..

Fup, fejl og fordrejninger

Vil du gerne være din egen detektor? Eller bare blive bedre til at gennemskue tal, fakta og statistik i medierne? Så kan jeg kraftigt anbefale, at du investerer i netop udkomne “Fup, fejl og fordrejninger. Bliv din egen detektor”.

Indrømmet, jeg er ikke en helt uhildet betragter. Jeg er begejstret over, at vi i Danmark har et program som Detektor, og jeg har indimellem selv medvirket i udsendelserne.

9788702164763

Med det sagt, så er det en særdeles oplysende, velskrevet, mundret og eksempelrig bog, Thomas Buch-Andersen og Mads Bøgh Johansen er barslet med. Bogen er inddelt i 11 tematiske kapitler, og det er faktisk bogens helt åbenlyse styrke. Temaerne giver dig hurtigt et overblik over, hvilke typiske fejl og fordrejninger man som mediebruger (eller journalist, politiker, kommunikatør etc.) skal være særligt opmærksom på – tested by reality. Hvis jeg skal fremhæve enkelte temaer, så må det blive “om cherry-picking” – altså når man ved selektiv brug af tal tegner et forkert billede af helheden, “om årsagssammenhænge”, som ofte er nogle helt andre, “om sammenligninger”, som kræver sammenlignelige størrelser, og “om inflation”, som ofte “glemmes”, når priserne igen-igen er rekordhøje. Der er også et udmærket kapitel om meningsmålinger og spørgeskemabaserede undersøgelser, men det bliver dog mest til en indledende introduktion til de typiske validitetsproblemer.

Alle kapitler er krydret med Detektors egne eksempler, og de er både lærerige og underholdende. Bogen indeholder desuden en række korte bidrag fra politikere, erhvervs- og mediefolk, som selv har været en tur i Detektormøllen. Der er – som det nok fremgår – ikke tale om en lærebog. Du lærer ikke, hvordan du finder supplerende tal hos Danmarks Statistik, hvordan du tester for spuriøse sammenhænge, hvordan du korrigerer fra løbende til faste priser, eller hvordan du beregner statistisk usikkerhed ved meningsmålinger. Hvis du skal “kunne selv”, kræver det naturligvis mere end at læse denne bog.

Men med bogen under huden har du alle muligheder for at blive en mere kritisk og vågen medieforbruger. Så læs den. Også – og ikke mindst! – hvis du er journaliststuderende.

 

Politiets interviewteknik

Netop hjemvendt fra årets på alle måder storslåede SKUP-konference i Norge (SKUP er Stiftelsen for en Kritisk og Undersøkende Presse) må jeg reklamere for ét særligt inspirerende metode-oplæg. Han er hjernen bag afhøringerne af Anders Behring Breivik og manden, som har indført en egentlig forskningsbaseret afhøringsmetodik og systematik hos norsk politi: Asbjørn Rachlew.

Picture1Der er helt oplagte paralleller mellem politiets og journalisters interviewteknik, men – og det er måske lidt mindre selvindlysende – også inspiration til, hvordan man stiller gode spørgsmål i spørgeskemaundersøgelser. Lad os håbe, at nogen inviterer manden til Danmark også.

Spørgeteknik – og lukning af Thomas B. Thriges Gade

Hen over sommeren har odenseanerne diskuteret den mulige lukning af Odenses centrale færdselsåre, Thomas B. Thriges Gade, heftigt.  Et flertal i Odense Byråd har foreslået lukningen – til det lokale erhvervslivs og Venstres fortrydelse. Lokale meningsmålinger foretaget blandt almindelige odenseanere og lokale erhvervsdrivende har været et input til denne diskussion og er blevet forsøgt brugt som politisk løftestang af modstandere af lukningen – som beskrevet af Fyens Stiftstidende i går, 27. august 2013.

Så langt, så godt. Det kan være helt legitimt at bruge lødige og troværdige meningsmålinger som led i en politisk diskussion. Men lad os kigge nærmere på et par af målingerne og den spørgeteknik, de anvender.

En af målingerne er foretaget af analysefirmaet M3 Research. Det har spurgt 500 beboere bosat i Odense Kommune om deres holdning til lukningen af gaden. Sådan lyder spørgsmålet:

Et flertal i Odense Byråd har foreslået en lukning af Thomas B. Thriges Gade. I hvilken grad går du ind for en lukning af Thomas B. Thriges Gade? I meget høj grad, I høj grad, I nogen grad, I lille grad, Slet ikke, Ved ikke.

Er det ikke et helt tilforladeligt og afbalanceret spørgsmål at stille? Nej, det er det faktisk ikke. Det skyldes tre forhold:

  1. Man spørger: “I hvilken grad går du ind for en lukning …?” Man lægger dermed op til, at svarpersonen nok i en eller anden grad går ind for lukning.
  2. Man præsenterer spørgsmålet i en bestemt kontekst, nemlig: “Et flertal i Odense Byråd har foreslået en lukning”. Denne kontekst, som peger på lukning foreslået af byens politiske autoriteter, kan være med til at påvirke uafklarede odenseanere til at udtrykke en eller anden grad af enighed med byrødderne. Det faktum, at man nævner Odense Byråd i formuleringen, kan altså gøre den enkelte borgers stillingtagen til et spørgsmål, om man er for eller imod byrådet. Og det var jo ikke meningen.
  3. Man anvender et sæt svarmuligheder, som ikke er særligt velegnede til formålet. Hvad vil det sige at gå ind for noget i lille grad? Det er næsten en selvmodsigelse.

Man kunne i stedet have spurgt helt enkelt: “Er du tilhænger af at bevare eller lukke gaden?” Og så med 2-3 svarmuligheder uden gradbøjning (og “ved ikke” som udvej). Det ville gøre den efterfølgende fortolkning meget mere entydig.

Man kunne altså have grebet det hele noget mere enkelt – og balanceret – an. Og det er der faktisk nogen, som har gjort – tilbage i efteråret 2012. Hvilket analyseinstitut er der så tale om? Her kommer det morsomme: Det er såmænd en meningsmåling udarbejdet af gymnasieelever fra Sct. Knuds Gymnasium. De har stillet 380 odenseanere følgende spørgsmål:

Er du for eller imod lukningen af Thomas B. Thriges Gade? For, Imod, Både og, Ved ikke

De har i samme ombæring – og i lighed med M3 Research – stillet en lang række uddybende og supplerende spørgsmål, som de fint linker til fra deres netavis. Og så har de naturligvis vægtet svarene fra de 380 odenseanere på en række indsamlede baggrundsvariable for at sikre et mest muligt retvisende billede i forhold til den faktiske befolkningssammensætning i Odense Kommune. Hvis denne klasse sætter standarden for nutidens gymnasieelever, hvad angår metodisk forståelse og stringens (læs selv deres øvrige analyser på netavisen), så er jeg både tryg og imponeret.

Andres drømme er vanskelige at forholde sig til

At spørge ind til holdninger er en disciplin, der i en rundspørge stiller store krav til neutralitet i spørgsmålsformulering og afbalancerede svarkategorier. Det bliver ikke lettere, hvis man vil have svarpersonerne til at tage stilling til andres holdning, for holdninger bygger jo som regel på en bund af forudsætninger og argumentation med – som regel – mange nuancer.

Tænketanken Cepos har gjort forsøget med en holdning, som sundhedsminister Astrid Krag har givet udtryk for. Eller rettere: En drøm, som Astrid Krag har delt med offentligheden, nemlig at det offentlige sundhedsvæsen skal have en kvalitet, så det private bliver overflødigt.

Astrid Krags drøm blev præsenteret i en overskrift i Dagens Medicin: ”Astrid Krag: Min drøm er et sundhedsvæsen uden privathospitaler”, hvilket er en lidt problematisk forenkling, men mindre kritisk, når synspunktet – som det er tilfældet – bliver nuanceret i artiklens brødtekst.

Værre er det, når den skarpvinklede overskrift, forfattet af redaktionen, bliver brugt som et spørgsmål til 1.000 svarpersoner, formuleret på denne måde:

“Astrid Krag har været ude at sige, at hun drømmer om et sundhedsvæsen uden privathospitaler. Deler du Astrid Krags drøm?”

Det er der så 66 pct. af svarpersonerne, der ikke gør. En andel, der sandsynligvis havde ændret sig, hvis mere konkrete forudsætninger for ministerens æteriske drømmemål var blevet præsenteret.

At helt små ændringer af spørgsmåls formulering kan føre til signifikant forskellige svarfordelinger, er blandt andet dokumenteret af Danmarks fremmeste surveyforsker, Henning Olsen, der har både har konstrueret og studeret en lang række såkaldte split sample-eksperimenter, hvor man prøver at lave små ændringer af spørgsmål, som bliver stillet til forskellige repræsentative stikprøver. I sin bog ”Fra spørgsmål til svar” beretter han, at eksperimenterne ”har bidraget til en voksende erkendelse af, hvor sensitive respondenter er over for, hvordan spørgsmål – det gælder ikke mindst holdningsspørgsmål – formuleres.

I tirsdags havde radioudgaven af DR’s Detektor et indslag om undersøgelsen fra Cepos (19 min. henne i udsendelsen), som også er refereret i denne artikel. Tilbage er blot at tilføje, at Cepos – ud over en mere nuanceret spørgsmålsformulering – også burde have undladt at nævne Astrid Krag, hvis man ville have en mere pålidelig måling. Når personer, som er kendt for synspunkter på en lang række områder, og som i dette tilfælde endda repræsenterer et bestemt politisk parti, er der en stor risiko for, at svarpersonerne ved deres stillingtagen forholder sig til helt andre af hendes eller hendes partis synspunkter.

Er “godt” godt nok?

I denne måned blev den årlige LUP-undersøgelse offentliggjort. LUP står for Landsdækkende Undersøgelse af Patientoplevelser, og der er i sandhed tale om en landsdækkende undersøgelse. Flere end 138.000 patienter har i efteråret 2011 besvaret det fremsendte spørgeskema. Nej, der er ikke et nul for meget med. Og ja, spørgeskemaerne er fremSENDT. Med posten. Som i de gode gamle dage.

LUP-undersøgelsen er god at blive klog af. Den rummer rigtig megen god metode – og tillige en række metodiske problemer.

Et af problemerne tematiseres i LUP-rapporten under overskriften Er “godt” godt nok? Indledningen lyder sådan her:

Flere spørgsmål i LUP har over 90 % positive besvarelser. “Positive besvarelser” dækker både over de patienter, der besvarer, at de oplever noget som “godt” og som “virkelig godt”.

Men hvad er historien bag tallene? Hvad gemmer sig fx bag bedømmelsen “god”? Det har folkene bag LUP gjort sig den ulejlighed at afdække via en interviewundersøgelse blandt et lille udvalg af patienter, der har vurderet den mundtlige information som “god”.

Interview med de pågældende patienter viser – ikke overraskende – at vurderingen “god” bliver en slags gennemsnitsvurdering, som dækker over både gode og dårlige oplevelser, og hvor de seneste besøg fylder mest. Konkret skjuler vurderingen “god” oplevelser med overfladiske læger og utryghed og nervøsitet, som bl.a. bunder i skiftende meldinger fra skiftende læger. Som tidligere beskrevet kan der være mange gode grunde til, at patienter ikke giver udtryk for dårlige oplevelser i et spørgeskema – eller i det mindste kun gør det indirekte med bedømmelsen “god”.

Man må derfor spørge sig selv, om vurderingen “god” er godt nok – som succesparameter. Og videre, hvordan man kan bruge store kvantitative undersøgelser som denne til at fremme det gode patientforløb – en erklæret målsætning.

I mellemtiden kan vi (metodenørder og andre) glæde os over et fint og gennemsigtigt studie i spørgeskemaundersøgelsens lyksaligheder og – ikke mindst – begrænsninger.

Uklare spørgsmål giver uklare svar

Når spørgsmål i en rundspørge skal formuleres, ligger der en væsentlig opgave i at indsnævre den såkaldte ”betydningsvidde”, der kommer af, at mange ord kan forstås forskelligt. Når problemstillingen er kompleks, bliver denne udfordring tilsvarende større.
Det er der et glimrende eksempel på i dagens udgave af Børsen, hvor emnet er den omlægning af skattesystemet, som regeringen har stillet i udsigt.

Under overskriften ”Danskerne vil mere end en skatteomlægning” præsenterer dagbladet Børsen resultatet af en undersøgelse foretaget af Greens Analyseinstitut. Avisen er selv lidt tilbageholdende med at overfortolke svaret på et lidt uklart spørgsmål, men det skinner tydeligt igennem, at der anes en opbakning fra 69 pct. af danskerne til egentligt skattelettelser.
En temmelig overraskende udvikling i danskernes holdning, når der på baggrund af andre undersøgelser tidligere er blevet konkluderet, at syv ud af ti danskere gerne vil betale en høj skat (også fra Børsen/Greens), og at ordentlig velfærd – i danskernes optik – er vigtigere end lav skat. Så sent som i april kunne man endda høre, at danskerne er meget villige til at betale mere i skat, hvis de øgede skatteindtægter går til velfærdsydelser som sundhedsvæsen og ældrepleje.

Omlægninger i skattesystemet er et komplekst emne, og man kan med rette stille kritiske spørgsmål til alle undersøgelser om holdningerne til det. Formuleringen i Børsens seneste undersøgelse sætter dog rekord i uklarhed:

”Regeringen vil sænke skatten på arbejde i en kommende reform. Mener du, at de alene skal finansieres ved nye stigninger i andre skatter eller bør man også lede efter penge uden for skattesystemet?”

De 1.108 svarpersoner, der indgår i den telefoniske rundspørge, har haft en række svarkategorier at vælge mellem, og 69 pct. svarer ”Uden for skattesystemet”, 16 pct. svarer ”Stigning i andre skatte og afgifter”, mens andre 16 pct. svarer ”Ved ikke/vil ikke svare”.

Det centrale spørgsmål er, hvad der menes med ”uden for skattesystemet”. Gælder det fx en ny beskatning af finansielle transaktioner, som er blevet nævnt i debatten? Gælder det en øget arveafgift, som også har været i spil? Eller handler det bare om, at ”den hårdtarbejdende skatteyder”, som politikerne kæmper om at appellere til, er blevet stillet en lettelse af beskatningen på sin arbejdsindkomst i udsigt og nødig ser den spist op af andre skatteforhøjelser?

Det er temmelig uklart. Og som man spørger, får man svar …