Checklista för outputgranskning

1. Tema 3 – Statistikproduktionen Checklista för outputgranskning Martin Ribe och Jörgen Svensson SCB, Sverige Nordiska statistikermötet 2010

2. Checklista för outputgranskning:Outputgranskningens roll 1 • Upptäcka fel i värden genom mätfel • Upptäcka misstag, fel i processutförande

3. Checklista för outputgranskning:Outputgranskningens roll 2 • Ge underlag för: • Korrigering i aktuell produktionsomgång • Kommentarer i statistikredovisningen • Kvalitetsredovisning • Förbättring av processer, minska felrisker 20 3

4. Checklista för outputgranskning:Outputgranskningens roll 3 • Är granskning på makrodata – statistikresultat • På engelska: Output validation, Output editing • Kompletterar föregående mikrogranskning Obs: ”makrogranskning” kan betyda antingen outputgranskning eller selektiv mikrogranskning • Säkrar inför efterföljande leveranskontroll • Inte så mycket fokuserad i metodlitteratur Selektiv mikrogranskning finns mera skrivet om • Väsentlig för kvalitetssäkring av statistiken 4 4

5. Checklista för outputgranskning:Plats på processkartan (SCB:s ) Determine needs 1 Design and plan 2 Build and Test 3 Collect 4 Process 5 Analyse 6 Disseminate and communicate 7 Design end product 2.1 Build collection instrument 3.1 Generate frame and register population 4.1 Classify and code microdata 5.1 Produce statistics 6.1 Prepare dissemination 7.1 Map information needs and supply 1.1 Map customers 1.2 Design frame, register population and sample 2.2 Build and adapt tools 3.2 Generate sample 4.2 Edit microdata 5.2 Edit macrodata 6.2 Compile end product 7.2 Establish customer contact 1.3 Design data collection 2.3 Build workflow 3.3 Set up data collection 4.3 Impute for nonresponse 5.3 Conduct disclosure control 6.3 Disseminate product to customer 7.3 Determine Information needs 1.4 Design processing 2.4 Test collection instrument 3.4 Complement microdata 5.4 Run data collection 4.4 Finalise observation register 6.4 Communicate product 7.4 Negotiate and contract 1.5 Design analysis 2.5 Test tools and workflow 3.5 Transfer and storage of data electronically 4.5 Calculate weights 5.5 Interpret and explain 6.5 Dispose and archive 7.5 Design dissemination and communication 2.6 Conduct pilot study 3.6 Finalise outputs for dissemination 6.6 Design workflow 2.7 Initialise workflow 3.7 Plan production cycle 2.8

6. Checklista för outputgranskning:Behov av kvalitetsåtgärder • Plan på certifiering av SCB enligt ISO 20252  Standard för marknads-, opinions- och samhällsundersökningar • Inträffade fel genom misstag i publicerad statistik

7. Checklista för outputgranskning:Stärkta säkerhetsrutiner på SCB • på uppdrag av regeringen, efter KPI-fel: • Stärkta testrutiner • Loggning av systemändringar • Uppföljning av fel • Uppföljning av avvikande värden  Berör outputgranskning • med mera

8. Checklista för outputgranskning:Checklistans idé • Ska säkra systematiken i outputgranskningen • Ska enl. GD-beslut tillämpas på alla statistikprodukter • Tillgänglig internt genomVerksamhetsstödet – intranätbaserat system för stöddokument • Anpassas för varje statistikprodukt • Fokus på att identifiera och följa upp misstänkt avvikande värden  Värden som så avviker från förväntat/normalt, att fel kan misstänkas i indata eller processut- förande

9. Checklista för outputgranskning:Checklistans struktur • Före produktion – Skapa stöd produktspecifikt • I produktion – Identifiera misstänkt avvikande värden • I produktion – Följ upp misstänkt avvikande värden • I produktion – Hantera slutsatser

10. Checklista för outputgranskning:Del 1 – Skapa stöd produktspecifikt • Specificera en checklista anpassad för produkten. • Exempel på punkter: • (1.2) Specificera saklogiska samband mellan värden, att kollas. – Exempel: summor som ska stämma. • (1.5) För rimlighetskontroll: Välj resultat från tidigare produktionsomgångar, att jämföra med. • (1.8) Om möjligt, formulera kriterier för misstänkt avvikande värden.

11. Checklista för outputgranskning:Del 2 – Identifiera misstänkt avvikande värden • Exempel på punkter: • (2.3) Genomför outputgranskningen med det produktspecifika stödet – identifiera eventuella misstänkt avvikande värden. • (2.4) Bedöm översiktligt resultaten utifrån ämnes-kännedom, allmän erfarenhet och sunt förnuft.

12. Checklista för outputgranskning:Del 3 – Följ upp misstänkt avvikande värden • Utred misstänkt avvikande värden, för endera slutsatsen: • att processerna bedöms ha utförts korrekt • att fel eller misstag i processutförande har identifierats • Exempel på punkter: • (3.1) Om någon orsak är särskilt tänkbar, utred den. • (3.2) Ta reda på ev. driftstörning, kör om vid behov. • (3.8) Ta reda på ev. ändring i rutiner eller system – utred om den har utförts korrekt, anlita metod- och IT-kompetens vid behov.

13. Checklista för outputgranskning:Del 4 – Hantera slutsatser • Exempel på punkter: • (4.1) Vid fel eller misstag i processutförande: Utred felets orsak och hur det ska undvikas framöver. • (4.4) Bedöm om tillräcklig klarhet har uppnåtts om orsakerna till misstänkt avvikande värden. Är så inte fallet, dokumentera kommentarer om osäkerhet i statistiken genom detta.

14. Checklista för outputgranskning:Uppföljning, vidare utveckling • Ta vara på synpunkter från checklistans tillämpningpå statistikprodukter • Överväga ev. modifieringar i checklistan, för bästa tillämplighet