På scb.se använder vi kakor (cookies) för att webbplatsen ska fungera på ett bra sätt för dig. Genom att surfa vidare godkänner du att vi använder kakor. Vad är kakor?

Publicerad: 2012-05-24
Nr 2012:2

Författare

Martin Ribe

är metod­statistiker på SCB.

010-479 48 54

martin.ribe@scb.se

Statistikskolan:

Granskat för kvalitet

Kvaliteten i statistiken hänger mycket på att förebygga osäkerhet av olika slag. När statistiken görs är det också viktigt att kolla upp i olika led att uppgifterna verkar rimliga eller kan bekräftas. Vi talar om att granska.

En tabell genom ett förstoringsglas

Låt oss kort ta det lite från början. Allmänt finns en viss osäkerhet i statistik, och det bidrar olika faktorer till. Statistik är ofta räknad på ett slumpat urval av personer, inte på hela befolkningen man vill spegla, och det ger en form av osäkerhet. En annan form av osäkerhet härrör från bortfallet, att man inte får svar från alla man avser att fråga i en statistisk undersökning.

Och de svar man får in är i regel mer eller mindre störda av mätosäkerhet, genom att de svarande kan missuppfatta frågorna eller ta miste när de svarar. Det finns också osäkerhetsmoment i bearbetningen av uppgifterna, när statistiken framställs.

Till exempel kommer det in en osäkerhet när ett svar om yrke ska ”kodas” eller klassificeras till en viss yrkeskategori för statistikredovisningen. Svaret kan vara oprecist, eller om yrket är mycket nytt är det kanske ännu inte bestämt hur det ska klassificeras.

Förebygga i planeringen är den huvudsakliga vägen för att hålla olika slags osäkerheter under kontroll i en statistisk undersökning. Urvalsosäkerheten går att kalkylera matematiskt när man planerar undersökningen, så man kan avpassa urvalets storlek efter kraven på precision och på prislappen för undersökningen.

Bortfall och mätosäkerhet är inte minst viktiga faktorer att tänka på i planeringen och upplägget av undersökningen. Frågeformuläret, det vi kallar mätinstrumentet, har en nyckelroll. Frågeformuläret gäller det att utforma och testa så att det fungerar så bra som möjligt för dem som ska svara. Detta är väsentligt både för att folk ska svara villigt, och för att de ska uppfatta frågorna rätt.

Den nu snabbt skissade bakgrunden är bra att ha i minnet när vi kommer in på granskningen.

Granskning är skyddsnätet kan man säga. Granskningen ingår i själva statistikproduktionen, när man arbetar med uppgifterna som man har samlat in och framställer statistiken.

Granska betyder här att spåra uppgifter som ser ut att kunna skvallra om fel. Det kan vara uppgifter som inte stämmer inbördes, eller som sticker ut oväntat i nivå eller förändring.

Granskningen görs på uppgifterna i olika led:

  • Granska mikrodata – gäller de insamlade uppgifterna till statistiken
  • Granska makrodata – gäller de framställda statistiksiffrorna

Dessa granskningar i olika led kompletterar varandra. De behövs tillsammans för säkra kvaliteten effektivt, genom att fånga upp eventuella fel i uppgifter på grund av till exempel mätosäkerheten.

Granska mikrodata gäller de insamlade uppgifterna, alltså svaren från uppgiftslämnarna. Det är traditionellt ett omfattande arbete, för det kan vara många uppgifter att gå igenom från alla svarande. Sedan lång tid används datorstöd med programvara som kollar igenom materialet maskinellt. Programmet ger ”signal” för uppgifter som kan misstänkas vara fel och behöva tittas närmare på. Programmet arbetar efter vissa valda kontrollkriterier för när signal om misstänkt fel ska ges.

Hur man väljer dessa kriterier beror på vilket slags material det är frågan om. Kriterierna kan vara av olika slag. En del av dem kan vara rent logiska, som att en uppgift om hushållstyp ”Par utan barn” inte går ihop med en uppgift att samma hushåll har antal barn större än noll.

För kvantitativa svar om penningbelopp så har man i regel kriterier som anger gränser uppåt och nedåt för hur stort talet kan väntas vara. Ett exempel är när priser på olika slags varor samlas in till konsumentprisindex (KPI). Vissa slags varor är det mindre ofta rea på, och priserna brukar där ligga ganska still för det mesta. Om priset på en sådan vara ändå har ändrats kraftigt från månaden före, så ger programmet signal att priset ska kollas.

Uppgifter som programmet signalerar för misstänkt fel kollar man upp mer eller mindre. Om det är möjligt och lämpligt kan man återkontakta uppgiftslämnaren och reda ut om uppgiften ändå är korrekt, vilket den är i många fall, eller annars hur den ska rättas.

I intervjuundersökningar kan denna process gå smidigt. Under intervjun matar intervjuaren löpande in svaren i en dator, som automatiskt granskar svaren innan den lagrar dem. När datorn ger signal för att svaret var oväntat kan intervjuaren direkt fråga om detta. Samma idé tillämpas också i prisinsamlingen för KPI, och i formulär på webben som uppgiftslämnarna fyller i själva.

På senare år har man vidare utvecklat metoder för så kallad selektiv granskning. Det innebär att de flesta potentiella småfelen låter man vara. Man bryr sig bara om att kolla upp sådana potentiella fel som är stora nog att märkbart påverka statistikresultaten. Särskilda mått, och även kontroller i form av diagram, vägleder om hur uppgifterna kan slå. Metoden kan spara en hel del jobb och besvär både för statistikproducenten och för uppgiftslämnarna, som slipper bli återkontaktade i onödan.

Granska makrodata gör man i statistikproduktionen på de färdiga statistiksiffrorna som man just har räknat fram. Här gäller det att märka ut och följa upp siffror som avviker från vad som kunde förväntas och möjligen kan vara fel.

Det går till så att man jämför siffrorna med andra motsvarande siffror, till exempel från en tidigare produktionsomgång. Då kan man se om några av de aktuella siffrorna sticker ut. När sådana oväntat avvikande värden träffas på gäller det att följa upp vad som kan ligga bakom. Till exempel kan det bli frågan om att gå tillbaka till mikrogranskningen och eventuella noteringar där om avvikande värden.

Det hör även till att bedöma om siffrorna verkar rimliga allmänt sett, med hänsyn till tidigare kunskap och erfarenhet.

Denna form av granskning behövs som sagt också, utöver mikrogranskningen på de insamlade uppgifterna. För bland annat kan det hända att fel i insamlade uppgifter blir tydligt märkbara först genom att de resulterande statistiksiffrorna ser konstiga ut.

Granskningen av makrodata gör vidare att statistikproducenten kan ha upplysande svar i bakfickan när användare hör av sig och frågar om oväntade siffror, vad som kan ligga bakom.

Till sist handlar granskning inte bara om att säkra kvaliteten här och nu. För nog så viktigt är att dra slutsatser till kommande produktion. Till exempel, ett återkommande problem med svaren på en fråga kan peka på att frågan kan förtydligas för att fungera optimalt.

Etiketter