Responsmaximalisatietechnieken bij Organisatieonderzoek

1. Responsmaximalisatietechniekenbij Organisatieonderzoek André Zijdenbos Kees Brammer Survey@marktonderzoek bv Zoetermeer (Netherlands)

2. Inhoud • Survey@marktonderzoek bv • Het OSA Arbeidsvraagpanel 2.1 Verleden 2.2 Heden 2.3 Toekomst 3 Eventueel: vragen

3. Organisatie EIM Groep

4. De organisatie • Sinds 1993 actief met telefonisch veldwerk • Sinds 2001 zelfstandig opererend als Survey@marktonderzoek bv • Kwantitatief georiënteerd • Gespecialiseerd in business-to-business onderzoek • 8 vaste medewerkers, 50 flexmedewerkers • ca. 125 projecten per jaar

5. OSA ArbeidsvraagpanelOnderzoeksdesign • panel • onderzoekspopulatie: ca. 210.000 vestigingen van bedrijven en instellingen waar 5 of meer personen werkzaam zijn • naar grootte en type (NACE-code) disproportioneel gestratificeerde steekproef (ca. 100 cellen) • informant/respondent: ‘vestigingsmanager’ • informatiebehoefte: ca. 230 vraageenheden • iedere 2 jaar een peiling; t/m 2001 7 peilingen uitgevoerd

6. Steekproefdesign 2001

7. OSA Arbeidsvraagpanel Uitvoering t/m 2001 Methode van dataverzameling: • face-to-face ondervraging van de directeur/ vestigingsmanager, gevolgd door self completion door HRM-verantwoordelijke • procedure: telefonische screening + afspraak, interview (gem. 60 min.) en na afloop uitreiken

8. Evaluatie • moeizame en tijdrovende operatie • werving van respondenten was moeilijk • steekproefsamenstelling  steekproefplan • klachten over gesprekslengte • hoge non-respons; m.n. bij selfcompletion

9. Verwachtingen voor 2003 verwachting voor 2003: niet veel beter, maar in ieder geval moeilijker en duurder daarbij: teruglopende onderzoeksbudgetten conclusie: het moet anders!

10. Alternatief: telefonisch geknipt • vragenlijst kan telefonisch worden afgenomen. • positieve ervaringen bij MKB Beleidspanel en het VNO Conjunctuurpanel; respons van ca. 70% bij herhalingsgesprekken;

11. Responsontwikkeling telefonisch veldwerk

12. Voordelen telefonisch geknipt • hogere response; door Survey@ geschat: • respondenten uit panel 2001 : 65% • Nieuwe respondenten : 50% • betere monitoring en sturing van het proces op samenstelling steekproef en kwaliteit • alles onder één dak; daardoor betere controle en beheersing van het steekproefdesign • informatie is sneller beschikbaar • flexibeler in opzet • recalls

13. Nadelen • Om tot 3.200 volledige cases te komen moeten meer organisaties worden ondervraagd met als gevolg onvolledige waarnemingen. • De vragenlijst moet voor sommige vragen voor telefonische ondervraging worden aangepast, hetgeen vergelijking met voorgaande metingen kan bemoeilijken • Er kan geen gebruik worden gemaakt van toonmateriaal; ook om deze redenen moeten er aanpassingen in de vragenlijst komen; • Er is concensus binnen de OSA nodig over samenstelling vragenlijst; welke vragen in welke meting (prioritering van vragen)

14. OSA Arbeidsvraagpanel 2003 Uitvoeringsspecificaties • telefonische ondervraging in 3 golven (voorjaar 2003, najaar 2003 en voorjaar 2004); • spreiding over 2 jaren; • N1 = ca. 4.600; • N2 = 3.200(= ca. 70% van N1) • N3 = ca. 2.300 (= ca. 70% van N2) • Nog gecompliceerder steekproefdesign (ca. 200 stratificatiecellen!) • Bij T1: vooraf toezending aankondigingsbrief • Bij T2 en T3 : vooraf toezending aankondigingsbrief + korte rapportage

15. Veldwerkresultaat 1e golf

16. Veldwerkresultaat-2 • Resultaten eind juli beschikbaar; • Steekproef exact volgens plan gerealiseerd; • Kwaliteit van de antwoorden is minimaal gelijk aan die bij f-to-f • Data zijn consistent in relatie tot vorige meting • Resultaten tweede golf (voorlopig) boven verwachting

17. Uitvoering: De toekomst De opkomst van multi/mixed mode

18. 1975 1980 1985 1990 1995 2000 tijdlijn CAWI WAP Evolutie van dataverzameling CASI Technologie Onafhankelijk Disk by mail Technologie Afhankelijk CAPI MCAPI CATI TCASI (IVR) Telephone Face-to-face OMR scanning bron: Tim Macer OCR scanning

19. MOEILIJKHEIDSNIVEAU Wat verstaan wij onder multi/mixed mode? • Multi-mode • Aparte deelsteekproeven worden met verschillende vormen van dataverzameling benaderd • Mixed mode • Serieel • Verschillende vormen worden na elkaar ingezet in de verschillende fasen van een onderzoek • Parallel • De respondent kan kiezen uit verschillende vormen van dataverzameling of zelfs kan switchen

20. Mixed mode: voorbeelden • Vragenlijst geknipt • Eerste deel via telefoon • Vervolg (opzoekvragen) via web Serieel Parallel • In meer landen tegelijkertijd • Web in Amerika • CATI in Europa • CAPI of papier in Azië

21. OSA Arbeidsvraagpanel en multi/mixed mode (1) Welke alternatieven zijn er? • Telefonisch interview gevolgd door enquete via het internet voor de opzoekvragen (serieel) • Telefonisch contact met vraag op welke wijze men de vragen wil beantwoorden, via de telefoon of via het web (parallel)

22. OSA Arbeidsvraagpanel en multi/mixed mode (2) Welke problemen kunnen zich voordoen? • Kalibratie • Het risico van verschillende meetfouten door verschillende vormen van dataverzameling • Dekking • Steekproefproblemen—verschillende non-response bij deelsteekproeven voor elke vorm van dataverzameling • Complexiteit • Dupliceren van operationele en programmeer werkzaamheden bij meer vormen van dataverzameling • Toenemende kosten, vertragingen en fouten door dupliceren

23. OSA Arbeidsvraagpanel en multi/mixed mode (3) Welke voordelen kan dit opleveren? • Verlaging van de kosten (minder tijd interviewers) • Kortere doorlooptijd (geen data-entry). • Hogere response (benadering op maat) • Benadering op maat • Groter bereik • Meer controle/Makkelijker rappeleren (één database)

24. Multi-mode: the challenge “Survey organizations, whether they are in universities like mine, in private-sector organizations or in government organizations, are going to have to change dramatically in some ways in order to do effective surveys as we bring these new technologies online and still use our other technologies where they work.” Don Dillman, Washington State University