Undersøgelse forvrænger ældres tilfredshed

Udgivet den af

Altinget kritiserer i denne uge den netop offentliggjorte tilfredshedsundersøgelse blandt ældre, der modtager praktisk hjælp eller personlig pleje.

Undersøgelsen viser, at

  • 87 procent af de ældre er tilfredse eller meget tilfredse med den praktiske hjælp
  • 91 procent er tilfredse eller meget tilfredse med den personlige pleje

Undersøgelsen er gennemført af Epinion for KL og Social- og Integrationsministeriet. Den bygger på svar fra i alt 1401 modtagere af praktisk hjælp og/eller personlig pleje.

Blandt kritikerne af undersøgelsen er direktør i Danske Patienter, Morten Freil, medieforsker Preben Sepstrup og undertegnede.

Der peges på tre grundlæggende problemer ved undersøgelsen:

1) Ældre har en tendens til at svare i sympati med personalet. Det er jo ikke “deres skyld”.

2) Der svares udelukkende via tilfredshedsskalaer (meget utilfreds – meget tilfreds). Når man udelukkende anvender skalasvar og ikke i tillæg giver mulighed for, at man kan uddybe og adressere sin kritik via åbne svar, afholder det nogle fra at udtrykke kritik.

3) Kategorierne “tilfreds “og “meget tilfreds” lægges sammen i fortolkningen og formidlingen af undersøgelsens resultater. Dermed forsvinder den moderate kritik, der kan ligge i at svare “tilfreds”.

Alle tre problemstillinger er dokumenteret gennem forskning i tilfredshedsundersøgelser, bl.a. i forskningsartiklen Er otte ud af ti patienter tilfredse? (Nordisk Sygeplejeforskning, 2011).

Problemerne betyder ikke, at undersøgelsen er uden værdi. Men det betyder, at man skal være meget forsigtig med at konkludere, at næsten alle er tilfredse med den hjælp, de får. Og hvis undersøgelsen skal bruges til at ændre og eventuelt forbedre hjemmehjælpen, er der behov for at supplere med kvalitative undersøgelser.

Piloter falder i søvn i cockpittet

Udgivet den af

Hvis man ikke led af flyveskræk i forvejen, så fik man en fin anledning forleden, hvor Ritzau kom ud med historien om, at hver anden pilot er faldet i søvn under flyvning.

Det er en god historie – og den har noget på sig. Historien bygger på en undersøgelse gennemført i sensommeren 2011 af analysefirmaet Axand Konsult blandt medlemmer af Svensk Pilotförening. 625 piloter har deltaget i undersøgelsen. I alt 1063 piloter er blevet spurgt, dvs. en svarprocent på 59.

Hvis nogen synes, historien vækker genklang, så er der en god grund. I april måned kørte der en lignende historie om danske piloters arbejdsvilkår og problemer med at holde sig vågne. Denne historie byggede på en undersøgelse foretaget af Sammenslutningen af danske Erhvervspiloter i samarbejde med Politiken. I denne undersøgelse svarede 575 af 1013 adspurgte piloter.

Selvfølgelig er der tale om partsindlæg med en klar dagsorden. Piloterne og deres organisationer bruger undersøgelserne som løftestang til at sikre sig bedre arbejdsvilkår. Men undersøgelserne skal bedømmes på deres troværdighed – ikke på, om de har en bagvedliggende dagsorden.

Axand Konsult allierede sig med Stressforskningsinstituttet ved Stockholms Universitet for at sikre sig spørgsmålenes videnskabelige relevans. Og det er der kommet noget godt ud af. Det gode er, at de kombinerer spørgsmål om piloternes vurderinger af sikkerhed og arbejdsmiljø med meget konkrete spørgsmål om piloternes faktiske arbejdstider, oplevelser med at falde i søvn og fejl begået pga. træthed. Styrken er de konkrete spørgsmål om piloternes egen adfærd. Det giver meget højere troværdighed end de alt for hyppigt forekommende hypotetiske og uforpligtende spørgsmål.

Men kan man stole på, at piloterne ikke overdriver problemerne? Sikker kan man ikke være, men ved at bede piloterne beskrive, hvilke fejl de måtte have begået som følge af træthed, gør man svarene mere forpligtende – og får i tilgift en værdifuld viden.

Hvad så med de piloter, der ikke har svaret? Er undersøgelserne overhovedet repræsentative for danske og svenske piloter? Nej, det er der ikke belæg for at sige. Men der er svar fra et stort antal piloter og en pæn andel af samtlige organiserede piloter. Derfor giver undersøgelserne vigtig viden om piloters arbejdsvilkår – også selv om det ikke nødvendigvis er hver anden pilot, som er faldet i søvn under flyvning.

Så må vi andre leve med flyskrækken. Og med, at Ritzau igen generaliserer for hårdt på en undersøgelse.

For mange ældre går med ble

Udgivet den af

De fleste beboere på danske plejehjem går med ble, skrev Politiken sidste søndag i en artikel, hvor data var indhentet via en spørgeskemaundersøgelse til plejehjemsledere. Avisen skal have ros for at bruge det udmærkede rundspørge-værktøj til at sætte fokus på et væsentligt emne, som generelt ikke giver så mange prestige-point blandt journalister. Efter valgkampen er det faktisk også ganske befriende med en afbrydelse i den evindelige strøm af undersøgelser, der viser marginale udsving i meningstilkendegivelser fra ”et repræsentativt udsnit af den danske befolkning”.

En væsentlig detalje i Politikens undersøgelse, som avisen da også valgte at vinkle på i forsidehenvisningen, er plejehjemsledernes holdning: ”For mange ældre går med ble”. Nærlæsning viser, at den overskrift er baseret på, at 92,1 pct. af de plejehjemsledere, der har svaret på rundspørgen, tilkendegiver holdningen ”meget enig” eller ”enig” i udsagnet: ”De ældre bør komme på toilettet og i mindre grad gå med ble”.

Man kan indvende, at udsagnet er tæt på at være farvet, så det er vanskeligt at være uenig i. På den anden side må man også gå ud fra, at svarpersonerne kender til de faktiske forhold i plejehjemsbranchen og derfor også de argumenter, der taler for, at ældre bør går med ble, fx problemer med inkontinens. Derfor kan man godt konkludere, at det har været med i overvejelserne hos svarpersonerne, inden de tilkendegav deres grad af enighed i spørgsmålet.

92,1 pct. er en overbevisende andel også selv om svarpersonerne ikke er repræsentative for alle plejehjemsledere. Og det er de faktisk ikke, skriver Politiken selv. I faktaboksen ved undersøgelsen er der nemlig denne ”varedeklaration”:

”Politiken Research har i en spørgeskemaundersøgelse fået svar fra 381 ledere af plejehjem og -boliger ud af i alt 886 mulige. Plejehjemsledere fra i alt 86 kommuner har deltaget. Rundspørgen, som ikke er statistisk repræsentativ, men udtrykker en tendens, er foretaget i perioden 24.2.-7.3.2011”.

Det er faktisk en deklaration, som mange andre medier kunne lære af. Avisen har fået svar fra under halvdelen (43 pct.) af de mulige svarpersoner. Det er en ret lille andel, og avisen har åbenbart ikke grundlag for at påstå, at de, der har svaret, er repræsentative for alle plejehjemsledere. Derfor nøjes man med at kalde resultatet af undersøgelsen for ”en tendens”.

Andre steder i formidlingen er der malet med en mere bred pensel på den måde, at man uden forbehold generaliserer til alle plejehjem i Danmark med ordene ”på halvdelene af plejehjemmene” og ”på hvert andet plejehjem”. Det vælger jeg i denne omgang at se mindre alvorligt på, når forbeholdet er nævnt i en forbilledlig deklaration. Og ”tendensen” i avisens undersøgelse er da både interessant, alvorlig og tankevækkende.

Ledende spørgsmål og bondefup med Galluptal

Udgivet den af

Som man spørger, får man svar. Det er en gammel kendt sandhed, som også gælder spørgeskemaundersøgelser.

Forleden blev jeg præsenteret for en undersøgelse, som Gallup havde lavet for JKL Group på vegne af foreningen Bæredygtigt Landbrug.

Undersøgelsen var et studie i ledende spørgsmåls- og svarformuleringer. Et lille udpluk:

Skal politikerne, når de lovgiver, lægge vægt på

At minimere administrativt bøvl?

At miljøet beskyttes uanset hvad det koster?

Er du enig eller uenig i følgende udsagn:

Der er en grænse for, hvor langt de danske politikere kan gå i forhold til at lægge særregler og afgifter over på dansk landbrug?

 Hvem er ikke imod bøvl, hvem vil beskytte miljøet uanset prisen, og hvem mener, at man kan pålægge noget erhverv i dette land ubegrænsede særregler og afgifter?

Hvis formålet med undersøgelsen er at blive klogere på danskernes holdning til landbruget, så er spørgsmålene forkert stillet.

Journalist Kjeld Hansen stiller skarpt på undersøgelsen og dens kontekst i en dugfrisk artikel: Bondefup med Gallup-tal publiceret på Åbenhedstingets hjemmeside. Læs selv og vurder undersøgelsens troværdighed.

Når svarpersoner pynter på virkeligheden

Udgivet den af

Forleden kunne man i Politiken læse en større undersøgelse af danskernes kulturforbrug. Megafon havde spurgt 1.026 danskere om følgende:

Har du inden for det seneste år gjort én eller flere af nedenstående ting? (Her er et udpluk af de svarmuligheder, man kunne krydse af)

  • Besøgt et kunstgalleri
  • Været til klassisk koncert
  • Været til koncert med rytmisk musik
  • Købt billedkunst
  • Været til opera
  • Hørt radioteater

Det viste sig, at blandt de universitetsuddannede svarpersoner havde halvdelen været i teatret, hver tredje købt billedkunst, hver fjerde været til opera og knap hver tredje været til klassisk koncert. Inden for det seneste år. Hvis man altså tager svarpersonerne på ordet.

Men kan man faktisk stole på den slags svar? Eller har folk en tilbøjelighed til at pynte lidt på virkeligheden? Ja, det har mange mennesker faktisk. Effekten kaldes i fagsproget social desirability bias – en betegnelse, som henviser til, at undersøgelser i almindelighed viser forkert, når de spørger folk om emner, der er socialt følsomme. Socialt følsomme emner kan fx være seksualitet, generøsitet, intolerance, intellektuel formåen og adfærd, som er forbundet med høj eller lav status. Fænomenet (socially desirable responding) er særlig udtalt, når man spørger folk direkte om deres egen adfærd/egne holdninger. Det er ikke nødvendigvis, fordi svarpersonerne lyver. Ofte husker de forkert og tror selv på det, de svarer. Men det hjælper lige lidt.

Hvordan skal man så undersøge folks kulturvaner – og alle mulige andre vaner – og få valide svar? Èn mulighed er at lade være med at spørge! I stedet kan man via Danmarks Statistik og kulturinstitutionerne undersøge, hvor mange billetter, der faktisk er solgt over en 1-årig periode. Men det besvarer jo ikke spørgsmål om køb af billedkunst m.v.

En anden mulighed er at gøre svarene mere forpligtende. Man kan fx bede svarpersonerne konkretisere, hvor og hvornår de har været i operaen, og eventuelt fortælle, hvad de har set. Det kan man problem- og omkostningsfrit gøre i en webbaseret undersøgelse, og det vil gøre det noget vanskeligere for svarpersonerne at pynte på virkeligheden. Det vil provokere svarpersonen til faktisk at tænke efter. Måske ligger operaturen og kunstkøbet et par år tilbage, når det kommer til stykket?

En anden problemstilling ved undersøgelsen er Megafons nedbrydning af stikprøven på 6 undergrupper (længste gennemførte uddannelse). Det er legitimt at gøre, men giver stor statistisk usikkerhed på de konkrete tal, når den samlede stikprøve ikke er større end 1.026 danskere. Denne betydelige usikkerhed forbigås i rungende tavshed.

Alt i alt er der god grund til at tage undersøgelsens resultater med et stort gran salt. Desværre bliver ingen af disse oplagte fejlkilder og forbehold nævnt i artiklen. Tværtimod. Undersøgelsens resultater tages for pålydende:

“Mens for eksempel 26 procent af kandidaterne fra universiteterne har været til opera inden for det seneste år, så gælder det 6 procent af håndværkerne og 9 procent af de ufaglærte.”

Det er for skråsikkert. For ukritisk. Og formentlig forkert. Og det havde faktisk ikke krævet meget at gøre det bedre.

Målingerne ramte skævt

Udgivet den af
Svar

Gårsdagens valgresultat vækker næppe professionel begejstring hos landets meningsmålingsinstitutter. Ved valget i 2007 ramte institutterne således noget tættere på resultatet, end tilfældet har været i år.

Her er overblikket over institutternes fejlprocenter*. I tabellen kan du også se fejlprocenter for Berlingske Barometer, Altingets gennemsnit og det uvægtede gennemsnit, som dagligt er blevet præsenteret her på siden.

Gallup kom i år tættest på med en fejlprocent på 2,4. Til sammenligning havde Megafon og Catinét i 2007 fejlprocenter på blot 1,2 og 1,8. Ingen af gennemsnitsmålene kom for alvor tæt på, men de blev dog kun slået af Gallup. Det uvægtede gennemsnit af de seneste 5 målinger viste sig at være mindst lige så retvisende, som Berlingske Barometer og Altingets mere avancerede modeller.

Hvad gik galt? Venstre og SF snød institutterne. Henholdsvis positivt og negativt. Omvendt lykkedes det i år at estimere tilslutningen til Dansk Folkeparti – noget som voldte enkelte institutter store problemer i 2007.

Tidsfaktoren spiller naturligvis en rolle: Der kan ske noget politisk på selve valgdagen, som målingerne ikke når at registrere. Men det er svært at pege på noget konkret ved årets valg. Måske er svaret helt enkelt, at institutterne ikke fik estimeret tvivlerne godt nok.

Hør indslag i Detektor på P1, hvor jeg udtaler mig om, hvordan målingerne ramte.

*Fejlprocent betyder, hvor mange procentpoint, der skal flyttes i en måling for at ramme valgresultatet. fejlprocenten er beregnet som summen (numerisk) af forskellene mellem de enkelte partiers valgresultatet og den enkelte målings estimat af samme. Summen er herefter divideret med to. Summen divideres med to, for at fejl ikke kommer til at tælle dobbelt (hvis et parti estimeres for højt, vil et andet parti jo nødvendigvis estimeres for lavt, når summen skal give 100%). Modellen er udarbejdet af Søren Risbjerg Thomsen, professor og valgekspert, Aarhus Universitet.

Drop enkeltmålingerne

Udgivet den af
2

Opdateret 15. september kl. 9:00 (5 målinger fra Gallup, Epinion, Megafon, Voxmeter og Rambøll)

Drop nu enkeltmålingerne og se på nogle gennemsnitsmål over tid i stedet. Nogenlunde sådan har jeg – og mange andre – sagt og skrevet den seneste uge. For hvad skal man stille op med 6 nye daglige meningsmålinger, som stritter indbyrdes?

Berlingske Barometer formidler sådan et dagligt gennemsnit, og dem ville jeg egentlig gerne anbefale. Men jeg ved ikke, hvordan de gør! “En avanceret model ligger til grund for beregningen” – sådan skriver de, på deres hjemmeside. Nogenlunde som ethvert andet analysefirma ville skrive det. Nå nej, Berlingske er jo ikke et analysefirma. Eller er de? Deres fremgangsmåde er under alle omstændigheder en forretningshemmelighed. Læseren må derfor bare stole på, at journalisterne og researchafdelingen er kloge og har ret. Hmm…

Jeg har derfor sat mig for hver dag at formidle et simpelt gennemsnit baseret på de seneste målinger fra 5-6 institutter* med svar indsamlet de seneste 3 dage** (tabellen opdateres dagligt – klik på den for fuld størrelse):


Nu er det simple gennemsnit jo hverken avanceret eller hemmeligt. Men baseret på de første 3 sammenligninger (4.-6.  5.-7.  og 6.-8. september) så rammer det en anelse anderledes end Berlingskes gennemsnit. Hvad kan det skyldes? Formentlig, at Berlingske medtager flere ældre målinger i deres vægtede gennemsnit. Det simple gennemsnit her på siden er i så fald mere følsomt over for dag-til-dag udviklinger.

Men er gennemsnittet så til at stole på? Ja, det lever i hvert fald op til kravene om aktualitet kombineret med mange svar, og det er givetvis bedre end alle de daglige enkeltmålinger. Med en stikprøve på ca. 6000 repræsentativt udvalgte svarpersoner bør gennemsnittet tegne et temmelig retvisende billede. Den matematiske usikkerhed er reduceret til maksimalt 1,3 procentpoint (plus/minus). Tjek selv med beregneren på denne hjemmeside (beregn usikkerhed 1 andel).

Vær opmærksom på, at der dagligt “kun” udskiftes ca. 2000 svarpersoner i de valgte målinger. Det betyder, at dag-til-dag udviklinger mellem blokkene baserer sig på disse 2000 nye svar – og ikke 6000 nye svar.

*Gennemsnittet er baseret på daglige målinger fra typisk Gallup, Epinion, Megafon, Voxmeter, Rambøll og Norstat.

**Svarene er indsamlet over tre dage. Institutterne anvender rullende målinger.

Rullende meningsmålinger og journalistiske fatamorganaer

Udgivet den af
Svar

Meningsmålingsinstitutterne benytter rullende målinger under valgkampen. En rullende måling består typisk af 2/3 svar, som er 1-3 dage gamle, og så 1/3 nye svar. Det betyder, at de målinger, vi præsenteres for som dugfriske og øjebliksbilleder, i virkeligheden for hovedpartens vedkommende består af gamle svar. Derfor ligner de hinanden. Derfor bider forskelle mellem institutterne sig fast. Og derfor er det et journalistisk fatamorgana, når man tror, at politisk spin, nye væksttal eller ny fnidder hos blå blok kan aflæses umiddelbart i de seneste målinger.

Læs hele blogindlægget på DMJXs valgblog

Læs også interview på journalisten.dk om samme

Eller hør indslag på P1-programmet  Detektor fra 7. september

Hvor peger pilen hen?

Udgivet den af
Svar

Opdateret 26. august kl. 21 med dagens meningsmålinger

Så blev spændingen udløst: Der er i dag knap tre uger til folketingsvalget. Men hvor peger pilen hen?

Her er august måneds meningsmålinger: 13 styk fra syv af landets meningsmålingsinstitutter. Heraf fire dugfriske (klik på tabellen for at se den i fuld størrelse):

Siden februar måned har stillingen mellem rød og blå blok været stort set uændret med procentfordelingen 53-47 i rød bloks favør. Der er små gennemgående forskelle mellem institutternes målinger. YouGov har svinget noget, ikke mindst i deres estimering af Liberal Alliance, som de ret konsekvent har skudt højere end alle tilsvarende målinger. På det seneste har YouGovs målinger dog rettet ind og lignet flertallets. Gallup har i 2011-målingerne typisk haft de to fløje mere lige, mens Epinion i de fleste samtidige målinger har haft en større føring til rød blok. Denne tendens fortsætter i dagens dugfriske målinger.

Gallup og Megafon spår et overraskende tæt løb. Tættere end i lang tid, hvis man ser bort fra enkeltstående målinger fra januar og maj måned. Men målinger fra Voxmeter og Epinion viser omvendt en konsolidering af forspringet til rød blok. Forskellene i målingerne kan ikke umiddelbart forklares med metodiske forskelle i indsamlingsmetode etc. Både Gallup og Epinion anvender en kombination af telefoninterviews og webpaneler med en nogenlunde ens fordeling. Kun YouGov anvender udelukkende webpanel – en metode, som indimellem får skyld for skæve udfald, men som finder større og større anvendelse og anerkendelse. Og YouGov er slet ikke blandt de seneste målinger.

Der tegner sig et mudret billede, og der vil sikkert blive spekuleret langt ud over, hvad der er dækning for, i den kommende tid. Men uanset hvad, så går vi nogle spændende uger i møde.

Hvad sker der med de meningsmålinger?

Udgivet den af
Svar

Så skete det igen. To samtidige meningsmålinger, der peger i hver sin retning. Gallup kom torsdag ud med en måling, der viste et overraskende svagt rødt flertal på 50,6 procent af stemmerne. Men senere samme dag kom Epinion så med en lige så dugfrisk måling, som viste et markant og øget rødt flertal på 55,5 procent af stemmerne.

Politiken konstaterede herefter, at meningsmålingerne er hamrende uenige, men lod det blive ved konstateringen. Berlingske Tidende gik videre og forsøgte at forklare, hvordan det kan lade sig gøre og hvad, der er op og ned. Jeg giver selv en forklaring i Berlingskes artikel.

Vi har det seneste års tid set flere af den slags – for mange mennesker overraskende – sammenfald af modstridende meningsmålinger, bl.a. efter Lars Løkke Rasmussens lancering af efterlønsreformen, som i en enkelt måling resulterede i en – tilsyneladende – voldsom borgerlig fremgang. Men er det nu så overraskende endda?

I de konkrete målinger, hvor de to blokke ligger tæt omkring 50 procent, er den statistiske usikkerhed ca. +- 3 procentpoint med 95 procents sikkerhed. Målingen, som viser ca. 51 procent til rød blok, indikerer altså, at befolkningens tilslutning til rød blok ligger mellem 48 og 54 procent. Men altså “kun” med 95 procents sikkerhed. Ca. hver 20. måling (de sidste 5 procent) vil give en forkert indikation af befolkningens tilslutning. Man vil med andre ord ca. hver 20. gang ramme mere skævt end +- 3 procentpoint med sin stikprøve. Og det endda under forudsætning af, at stikprøven er udtrukket korrekt, og at ingen andre faktorer spiller ind. Men det gør de.

Der er nemlig altid risiko for systematiske fejl, når man spørger levende mennesker. Eksemplerne er legio: Folk er i tvivl om, hvad de vil stemme, og hvor hårdt skal man så presse dem for et svar? Folk husker forkert, når de skal svare på, hvad de stemte ved seneste folketingsvalg. Folk svarer uærligt. Folk ønsker ikke at deltage eller kan ikke træffes med lav svarprocent som konsekvens. Osv. Osv. Med alle disse potentielle fejlkilder skulle man måske forvente, at institutterne ramte meget mere forbi, end tilfældet faktisk er. Meningsmålingsinstitutterne er imidlertid ret skrappe til at korrigere for potentielle fejl og “kvalitetssikre” deres stikprøver. Kvoter, stratificering, vægtning og miksede indsamlingsmetoder indgår i deres værktøjskasser.

Tilbage står dog, at modstridende og misvisende undersøgelser er umulige helt at undgå, og der er al mulig grund til at mejsle den kendsgerning fast i læserens bevidsthed. Man skal ikke tage enkeltmålinger FOR alvorligt.

Heldigvis er flere medier begyndt at gribe i egen barm og forholde sig kritisk til brugen af meningsmålinger som sandhedsvidne. Men som regel for en meget kort bemærkning. Det ville klæde medierne at indføre en fast varedeklaration på den slags undersøgelser og formidle resultaterne med de nødvendige forbehold.