1 / 32

Hvordan bliver vi bedre til at måle statistikkens kvalitet?

Hvordan bliver vi bedre til at måle statistikkens kvalitet?. 29. september 2008. Tre udsagn. Tal er tyranni Man kan kun have tillid til statistik man selv har manipuleret (Churchill) Ikke alt der tæller kan tælles – og ikke at der kan tælles tæller (Einstein). Varedeklarationer i pressen.

warren
Download Presentation

Hvordan bliver vi bedre til at måle statistikkens kvalitet?

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Hvordan bliver vi bedretil at måle statistikkens kvalitet? 29. september 2008

  2. Tre udsagn • Tal er tyranni • Man kan kun have tillid til statistik man selv har manipuleret (Churchill) • Ikke alt der tæller kan tælles – og ikke at der kan tælles tæller (Einstein)

  3. Varedeklarationer i pressen

  4. Tal er tyranni • Hvad er forskellen på: • ”Varedeklarationerne kan gøres bedre” og kun hver femte dansker kan tyde dem • ”Nogle få genstande for meget” og en promille på 1,37 • ”Kødpriserne stiger” og de er steget 3,78% siden nytår Eksakte tal har en selvbekræftende rigtighed og autoritet, der ikke stilles spørgsmålstegn ved. Danmarks Statistik har en stærk troværdighed, og mange mener at statistik enten er helt rigtig eller forkert. Virkeligheden mere nuanceret. Ethvert (demokratisk) samfund har brug for statistik

  5. Kun tillid til statistik man selv har manipuleret • Statistik er bearbejdning af informationer baseret på på metoder og valg - informationerne kan have forskellig kvalitet - metoderne kan være fagligt forankret eller subjektive - valgene kan forbedre eller forværre • Hvis man kender dem kan man bruge statistikken • Producentens ansvar

  6. Ikke alt der tæller kan tælles • Det gælder også mål for kvaliteten af statistik • Tre ting kan gå helt galt: - hvordan man måler (spørgeskemaet) - mangelfuld udvalgsramme (population) og udvælgelse - bortfald og dataindsamlingen og selvfølgelig forkerte metoder/principper • Noget er svært at måle med tal, fx kvaliteten og betydningen af spørgeskemaet, udvalgsrammen og bortfaldet – og selvfølgelig forkerte metoder/principper • Ingen statistik er stærkere end sit svageste led

  7. Disposition • Hvorfor skal kvalitet måles? • Hvilke redskaber findes der? • Hvordan kan de bruges?

  8. Hvordan bliver kvalitetsmål anvendelige? • Flere andre lande har store manualer for kvalitet, fx ONS, Finland og Canada • EUROSTAT og internationale organisationer arbejder med fælles kvalitetsmål – OG kontrol • Arbejdsgrupper i DST om delemner: Stikprøver, registre, indeks eller sæsonkorrektion • Overordnet mål: • Kan vi finde en vinkel der giver os et anvendeligt mål der reelt beskriver statistikkens og sikkerhed uden det ”drukner i store rapporter og kontrol” - og sætter fokus på brugerne, ressourcer og forbedringer?

  9. Hvorfor skal kvalitet måles? • Brugernes nytteværdi af statistikken • Vores interesse i korrekt anvendelse • Mere målrettet fokus på kvalitet - og derved bedre kvalitet • Optimal anvendelse egne ressourcer • Omverden ved hvad de får for pengene

  10. Hvilke redskaber findes der? • Indikatorer forkvaliteten af outputtet • Standarder for produktionen • Kvalitative analyser, test eller beskrivelser

  11. 2 - Hvilke redskaber findes der? • Svage indikatorer (I1), fx andel af fejl i en fejlsøgning - kan kun sammenlignes inden for tællingen • Stærke indikatorer (I2), fx bortfaldet eller uoplyste - kan sammenlignes over tid for en konkret tælling og mellem tællinger af samme type • Universelle indikatorer (I3), fx varianskoefficienten i en stikprøve - kan sammenlignes over tid, mellem tællinger og lande.

  12. Input og output • Grundlæggende kvalitet i inputtet Eksterne forhold, fx forskerbeskyttelse i CPR eller selvrapportering i CVR Ressourcer, fx stikprøvestørrelsen Målingen, fx indholdet i registeret eller kvaliteten spørgsmålene i spørgeskemaet Dataindsamlingen, fx bortfald • Endelige kvalitet i outputtet – det relevante mål Efter bearbejdning, fx fejlsøgning, sæsonkorrektion eller opregning Analyser, der dokumenterer problemer, metoder og effekt • Kompetencer påvirker begge dele

  13. Fire kvalitetsniveauer Fire kvalitetsniveauer • A - Meget høj kvalitet • B - Høj kvalitet • C - Rimelig kvalitet • D - Usikker kvalitet De to højeste niveauer kræver tilgængelig dokumentation

  14. 2- Hvordan kan fire mål bruges? • Den basale kvalitet af en indikatorer kan hæves: • analyser der kvalitativt og kvantitativt beskriver og håndtere et problem • analyser der dokumenterer en effekt Fx kan bortfaldet i en stikprøveundersøgelse være så stort, at den basale kvalitet er Usikker eller Rimelig, men bortfaldsanalyser og opregningen kan hæve kvaliteten – hvis de er dokumenteret og tilgængelige

  15. 3 - Hvordan kan de fire mål bruges? • Generelle fælles mål for - fx stikprøveusikkerhed - opfyldelsen af forudsætninger for sæsonkorrektion - andelen af uoplyste - graden af entydig flet af registre • Konkrete defineret for den konkrete statistik, fx • Prisindeks • Fejlsøgning • Specifikationsgrad af kommunale budgetposter

  16. Hvordan kommer vi i gang? • Første trin en afprøvning på udvalgte statistiker • Først bruges de generelle, der relevante • Derefter suppleres evt. med konkrete, der er relevante • Man står selv inden for tilgængelig dokumentation overfor eksterne brugere eller interne brugere, hvis man vurdere høj eller meget høj kvalitet • Kontorchefen godkender den endelige vurdering

  17. Eksempel 1 Uoplyste værdier for hovedvariabler (I2) + Korrektion (imputering, vægtning) for uoplyst, der inddrager korreleret registerinformation kan flytte en grad. + Dokumenteret reduktion af uoplyst bias endnu en grad Usikker kvalitet: Over 5 % af enhederne Rimelig kvalitet: Under 5 % af enhederne Høj kvalitet: Under 3 % af enhederne Meget høj kvalitet: Under 1 % af enhederne

  18. Eksempel 2 Populationsudvikling over tid (K) Usikker kvalitet: Ingen analyser over tid Rimelig kvalitet: Beskrivende macroanalyser af variabler over tid Høj kvalitet: Beskrivende microanalyser af enheder over tid Meget høj kvalitet: Microanalyser af enheder over tid dokumenteret i en kvalitetsrapport med vurdering af betydningen for ændringer over tid

  19. Eksempel 3 Revisioner samt foreløbige og endelige tal (I2) + Analyse, der beskriver størrelsen og retningen af forskellen mellem første og endelig publicering Usikker kvalitet: Over 2 % forskel Rimelig kvalitet: Under 2 % forskel Høj kvalitet: Under 1 % forskel Meget høj kvalitet: Under ½ % forskel

  20. Eksempel 4 Kontrol/fejlsøgning af registeret inden det overdrages til DST (S) + Analyse, der beskriver kvaliteten Usikker kvalitet: Ikke systematisk fejlsøgning Rimelig kvalitet: Stikprøvebaseret fejlsøgning Høj kvalitet: Fejlsøgning af mindst halvdelen af alle enheder i praksis Meget høj kvalitet: Fejlsøgning af ”alle” enheder i praksis

  21. Eksempel 5 Sammenlignelighed over tid uden databrud (I2) + Korrektion for eller analyser af betydningen af databruddet + Dokumenteret stor reduktion af bias ved databruddet endnu en grad Usikker kvalitet: Kan ikke sammenlignes en periode tilbage Rimelig kvalitet: Mindst en periode Høj kvalitet: Over 5 år Meget høj kvalitet: Over 10 år

  22. Eksempel 6 Alder på stikprøve (I2) Usikker kvalitet: Opdateret mere end to år siden Rimelig kvalitet: Der trækkes en ny stikprøve hvert andet år Høj kvalitet: Der trækkes en ny stikprøve hvert år Meget høj kvalitet: Der trækkes en ny stikprøve ved hver tælling

  23. Eksempel 7 Cut-off (I2) (i erhvervsundersøgelser) + Korrektion (vægtning, imputering) for cut-off, der inddrager korreleret registerinformation + Dokumenteret stor reduktion af cut-off bias endnu en grad Usikker kvalitet: Over 20 % Rimelig kvalitet: Under 20 % Høj kvalitet: Under 10 % Meget høj kvalitet: Under 5 %

  24. Eksempel 8 Stikprøveusikkerhed for hovedvariabler (I3) Hvis fokus er på ændringer også usikkerheden af ændringen Usikker kvalitet: Stikprøvefejl på over 3 % på totaler hhv. 15 % for undergrupper Rimelig kvalitet: Under 3%/15% Høj kvalitet: Under 2/10% Meget høj kvalitet: Under 1%/5%

  25. Eksempel 9 Bortfald (I2) + Korrektion for bortfald, der inddrager korreleret registerinformation + Dokumenteret stor reduktion af bortfaldsbias endnu en grad Usikker kvalitet: Over 40% af de udvalgte enheder Rimelig kvalitet: Under 40% af de udvalgte enheder Høj kvalitet: Under 20% af de udvalgte enheder Meget høj kvalitet: Under 5% af de udvalgte enheder

  26. Eksempel 10 Kvaliteten af opregning(K) Usikker kvalitet: Ikke baseret på udvalgssandsynlighederne på udtrækstidspunktet (ikke repræsentativ) Rimelig kvalitet: Simpel opregning for udvalgssandsynligheder ved udtrækstidspunktet Høj kvalitet: Registerinformation inddrages som hjælpeinformation, men effekten er ikke dokumenteret Meget høj kvalitet: Registerinformation inddrages som hjælpeinformation og effekten er dokumenteret

  27. Eksempel 11 – et eksakt fra statistikkontoret Indeks (I2) Statistikkontoret fastlægger niveauer for dækning (xx) og antal indberetninger (yy), der er relevant for at belyse sikkerheden af både aggregerede indeks og delindeks. Fx på baggrund af EU krav eller målsætningen for suppleringen med nye indberetninger. Usikker kvalitet: Under 80 % af alle offentliggjorte indeks opfylder kravet Rimelig kvalitet: Over 80% opfylder kravet Høj kvalitet: Over 90% opfylder kravet Meget høj kvalitet: Over 95% opfylder kravet

  28. Eksempel 12 – et eksakt fra statistikkontoret Specifikationsgrad i offentlige budgetter Steget eller faldet, måske opdelt i intervaller

  29. Samlet vurdering • Sjældent højere end det svageste led - og aldrig højere end det/de vigtigste led - fx hæves kvaliteten ikke ved at øge stikprøvestørrelsen, hvis det største problem er bortfaldet eller underrapportering

  30. Samlet vurdering 2 • Samlet vurdering af kvaliteten - statistikkens smertegrænse Fx at ændringer på op til 1 % kan skyldes statistikkens usikkerhed. Samt om man generelt undervurderer eller overvurderer udviklingen. • Samlet vurdering op forrest i varedeklarationen

  31. Samlet vurdering 3 • Når brugerne ved hvordan statistikken er blevet ”manipuleret” har de mulighed for at vurdere dens anvendelighed • Statistikproducenten har ansvaret for at fortælle hvor langt den kan fortolkes og ikke dække sig bag tallenes ”tyranni” • Hvis man ikke er åben om sin kvalitet og/eller ikke kan måle og beskrive den - er alt lige godt/dårligt og man kan jo så lige så godt vælge den billigste datafangst - og kan ikke begrunde ønsket om flere ressourcer • Når producenten bliver mere bevist om sit svageste punkt har man mulighed for at sætte ind hvor problemet er størst

  32. En stadig proces • Kvalitet er svært at måle • og det er umuligt hvis man ikke prøver • Måleredskabet skal løbende forbedres • første versionen bliver aldrig perfekt • første fase i 2008 • de vigtigste derudover i 2009 Tak for ordet

More Related