260 likes | 635 Views
Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie . Deirdre Giesen Centraal Bureau voor de Statistiek Divisie Methodologie en Kwaliteit d.giesen@cbs.nl . Inhoud presentatie . Impressie van CBS vragenlijsten Organisatie vragenlijst ontwikkeling Ontwikkelproces vragenlijsten
E N D
Vragenlijstontwikkeling op het CBS: van pre-test tot evaluatie Deirdre Giesen Centraal Bureau voor de Statistiek Divisie Methodologie en Kwaliteit d.giesen@cbs.nl VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Inhoud presentatie • Impressie van CBS vragenlijsten • Organisatie vragenlijst ontwikkeling • Ontwikkelproces vragenlijsten • Voorbeeld: PS vragenlijst • Voorbeeld: IIT vragenlijst • Vragen en discussie VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Soorten vragenlijsten • Zeer diverse onderwerpen en groepen respondenten • Huishoudens, personen, instellingen, bedrijven. • CAWI, CATI, CAPI, e-mail, papier. • Vooral feitelijke vragen: bijv. omzet, vierkante meters winkeloppervlak, doktersbezoek, werkzame status et cetera. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Top 10 statistieken met enquêtering (naar steekproefomvang per jaar, * = panelonderzoek) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Organisatie waarneming CBS • Centralisering van alle waarneming • Vragenlijsten in alle modes • Upload bestanden • XBRL • Registers • Generieke processen en systemen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Belangrijkste doelen bij vragenlijstontwikkeling • Kwalitatief goede data verzamelen (valide, betrouwbaar, nauwkeurig, relevant, tijdig). • Met zo min mogelijk belasting van respondenten. • Tegen zo laag mogelijke kosten. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Ontwikkelproces vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Soorten tests / evaluaties • informele tests • expert raadpleging • kleinschalige, kwalitatieve test • functioneel en technisch testen • kleinschalige, operationele test (pilot) • grootschalige tests: experimenten, pilots • analyse van procesdata • analyse van surveydata VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Voorbeeld 1: Herontwerp vragenlijst productiestatistieken • PS-vragenlijst: • Gedetailleerde uitvraag van kosten en opbrengsten bedrijven • Papier • Circa 75.000 bedrijven in steekproef • Praktisch alle branches en grootteklassen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Aanpak herontwerp vragenlijst productiestatistieken (2003-2006) • Twee sporen beleid: • Reduceren uitvraag Inventarisatie output Gebruik secundaire bronnen • Verbeteren uitvraag Evaluatie oude vragenlijst Herontwerp + test Pilot (2006) Implementatie (2007) Evaluatie VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Evaluatie oude vragenlijst stap 1: • Analyse van beschikbare informatie: • Reeds bestaande nota’s over de PS • Ingevulde formulieren • Focusgroepen met mensen van helpdesk,buitendienst, gaafmaken en analyse • Coderen van ruim 2000 inhoudelijke opmerkingen van respondenten • Hoogte en snelheid respons • Kwaliteit verzamelde data: item non respons en plausibiliteit VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Evaluatie oude vragenlijst stap (2): Kwalitatief onderzoek responsproces • Telefoongesprekken non-respondenten (14) • Bedrijfsbezoeken respondenten (27) deels observatie – deels nagesprekken VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
<< Vernieuwde huisstijl:2. Onderzoek naar de PS • Q oud VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Belangrijkste conclusies • Responslast is hoog en motivatie laag • Correcties kosten veel tijd • Layout formulier veroorzaakt fouten • Structuur formulier onhandig • Toelichtingen worden niet gelezen VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Wijzigingen • Reductie aantal items (van gemiddeld 119 naar 92) • Andere structuur van de vragenlijst (soortgelijke vragen meer bij elkaar) • Andere redactie toelichtingen (korter) • Herziene layout papieren vragenlijst • Ontwikkeling elektronische vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Ontwikkeling nieuwe vragenlijst • Papieren vragenlijst (verschillende varianten): • Test met CBS medewerkers • Test met bedrijven (n=26) • Elektronische vragenlijst (verschillende prototypes, test + pilot) • Online ‘tabblad’ variant test met CBS medewerkers • Offline – CD ‘tabblad’ variant getest bij 37 bedrijven • Offline- downloadable ‘herontwerp’ variant getest bij 6 bedrijven • Pilot 7800 bedrijven (5 waarneemdomeinen) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Eerste prototype e-vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Pilot versie e-vragenlijst VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Evaluatie nieuwe PS • Bedrijfsbezoeken (N=20) • Telefonische enquête respondenten (N=2210 oude design en N=2499 nieuwe design) • Analyse responsedata VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Belangrijkste uitkomsten • Overall respons blijft gelijk (80%) • E-respons hoog (80%) • Responstijd daalt (135 105 dagen) • Invultijd daalt (4 3 uur) • % dat invullen moeilijk vindt daalt (6857) • Waardering voor CBS blijft gelijk (6,5) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Voorbeeld 2: Pilot IIT • IIT bevolking: bevolking in Instellingen, Instituties en Tehuizen • Doel: onderzoek of en hoe regulier survey naar gezondheid kan worden uitgevoerd onder • bewoners van verzorgingshuizen en verpleeghuizen. • Deel van strategisch onderzoeksprogramma “non-respons en moeilijk waarneembare groepen” (samenwerking tussen CBS en oa Universiteit Utrecht) VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Ontwikkelproces • Literatuuronderzoek + expertraadpleging • Ontwikkeling concept vragenlijst en benadermethode • Interviews met contactpersonen tehuizen en cliëntenraden (N=6) • Herziening methode • Kwalitatieve testinterviews bewoners (N=6) • Herziening methode en vragenlijst • Pilot met 3 interviewers, 6 tehuizen, 9 bewoners. • Herziening methode en vragenlijst • Pilot met 537 bewoners VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Overall conclusies Pilot IIT (Feskens, 2009) • 1) Enquêtering is goed mogelijk onder bewoners verpleeg- en verzorgingstehuizen met enige aanpassingen: • Vraagstellingen eenvoudiger • Steekproeftrekking door interviewer bij verpleeghuizen • Screening om enquêteerbaarheid te bepalen • Familieenquête voor niet- enquêteerbare personen • 2) Bevolking verpleeg- en verzorgingstehuizen wijkt af van leeftijdgenoten die zelfstandig wonen. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009
Meer informatie • Informatie over o.a. gebruikte vragenlijsten, onderzoeksdesigns en methodologisch onderzoek: www.cbs.nl/nl-NL/menu/methoden/default.htm • Feskens, R. (2009) Difficult Groups in Survey Research and the Development of Tailor-Made approach strategies. Dissertatie: Universiteit Utrecht • Giesen, D & Hak, T. (2005) Revising the Structural Business Survey: From a Multi-Method Evaluation to Design. Proceedings of the Federal Committee on Statistical Methodology Research Conference, November 14-16 2005, Arlington, Virginia • Giesen, D. (2007b). The Response Process Model as a Tool for Evaluating Business Surveys. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18- 21 June, Montreal, Canada, pp 871-880. Alexandria, VA: ASA. • Snijkers, G. (2002) Cognitive Laboratory Experiences. On Pre-testing Computerized Questionnaires and data quality. Dissertatie: Statistics Netherlands/Utrecht University. • Snijkers, G., Onat, E. & Vis-Vischers, R. (2007). The Annual Structural Business Survey: Developing and testing an electronic form. Proceedings 3rd International Conference on Establishment Surveys (ICES-3), 18-21 June, Montreal, Canada, pp 456-463. Alexandria, VA: ASA. VVS-dag Ontwikkeling van meetinstrumenten in de praktijk 6-11-2009