Mäter våra frågor det vi vill att de ska mäta? En missuppfattad fråga skapar mätfel som ofta inte syns i statistiska tabeller och diagram.

Tänk efter före, och testa. Det är budskapet från Fredrik Scheffer, som arbetar som mättekniker på SCB. Han arbetar alltså med att granska, testa och förbättra frågor och blanketter, ett arbete som inte blivit mindre aktuellt genom de processer som pågår för att digitalisera datainsamlingen.

– Vi vet att de som deltar i undersök­ningar gärna vill svara vare sig man förstår frågan eller inte. De svaren blir sedan ettor och nollor som analyseras likadant oavsett hur den som svarat uppfattat frågan. Tidigare kunde en personlig kontakt med intervjuaren kontrollera att frågans budskap gått fram. I en webbenkät måste man vässa tydligheten än mer för att inte få mätfel. Själv tycker jag samtidigt att det är hög tid att anpassa undersökningarna till mobilens lilla skärm, men då måste vi ju också ta hänsyn till att enkäten kommer att besvaras på bussen eller i väntrummet och utforma den efter det. I framtiden får vi kanske vara ödmjuka och mäta mindre, men bättre?

Testa, och testa igen

För att få bästa förståelse rekommenderar Fredrik Scheffer att alltid testa frågor, helst genom att låta någon som är representativ för dem som sedan ska besvara undersökningen svara och efteråt intervjua dem om hur de tänkt och tolkat frågorna. Då kan man tidigt upptäcka problem och tveksamheter. Ett sådant test ger dock inga kvantifierbara resultat, utan måste kombineras med forskningsdata och erfarenhet till nya versioner av frågorna.

– Det bästa är att utforma frågor i flera steg. Tyvärr gör man ofta bara ett enda test, och skickar sedan ut en version av frågorna som ändrats efter de första resultaten, men inte testats igen.

– Om man inte har resurser att göra ett regelrätt test kan man ändå testa på vänner och bekanta. Det ger alltid något.

Mätteknik handlar mycket om erfarenhet menar Fredrik Scheffer.

– När statistiken möter språket blir det väldigt spännande. Men det är inte något man kan utbilda sig för. Det handlar om sunt förnuft och känsla, mer rutin än utbildning.

Och dagens snabba digitalisering gör samarbete och erfarenhetsutbyte än viktigare.

– Utvecklingen går rasande fort, och forskningen hinner inte riktigt med att berätta vad som fungerar eller inte.

Test kan höja kvaliteten

När SCB samlar in data på uppdrag åt andra ingår det i priset att enkätunderlaget testas.

– Det är en förutsättning för att vi ska få behålla vår kvalitetscertifiering. Så står det SCB på undersökningen har vi testat den. Det är helt enkelt vår skyldighet att ställa frågor som folk förstår.

Fredrik Scheffer menar att man ofta underskattar betydelsen av frågornas kvalitet för datakvaliteten.

– Vi lägger stora resurser på att öka antalet som svarar på våra undersökningar. Men om 90 procent svarat på frågan, och förstått den på tre olika sätt kan det ge ett långt större fel än ett högt bortfall. Det felet kan vi inte korrigera med matematik. Förstår vi att det är fel kan vi förhoppningsvis ta bort frågan, annars är risken att vi sprider data som kan tolkas helt fel.

– Jag föreläser ofta på andra myndigheter och organisationer och förståelsen för problematiken har ökat enormt. Folk får aha-upplevelser, tyvärr blir man också ofta lite bedrövad över att man mätt fel i så många år.