JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA

1. VI KONFERENCJA EWALUACYJNA WARSZAWA, 13-14.12.2010 JADWIGA PRZEWŁOCKAMAŁGORZATA PÓŁTORAKGemius SA Wyzwania badań ilościowych online

2. Jaką pozycję mają internetowe badania ankietowe? Z czego wynika wzrost ich popularności? Jakie są bariery ich rozwoju? Jak pokonać te bariery? innowacyjne metody poprawy jakości badań dobór próby – wiedza dzięki technologii kształt ankiety – wiedza dzięki doświadczeniu korekta struktury – wiedza dzięki porównaniu O czym opowiemy

3. Pozycja badań online

4. Pozycja badań online Struktura wydatków na badania ilościowe na świecie (ESOMAR 2010) • Najpopularniejsza technika badań ilościowych • W 2009 na badania online wydano 6,4 mld $ • Stały wzrost udziału w rynku • W Kanadzie, Japonii, Australii - blisko połowa wydatków badania oprowadzone przez agencje i instytuty badawcze (bez uwzględnienia działań niekomercyjnych podmiotów, np. uniwersytetów, instytucji publicznych)

5. Stały wzrost liczby osób korzystających z internetu Rosnące kompetencje użytkowników Dlaczego online? Przedsiębiorstwa z dostępem do internetu (GUS 2009) • Prawie każde polskie przedsiębiorstwo ma dostęp do internetu • Rosnący zakres korzystania z sieci

6. komfort, dogodny czas i miejsce wywiadu łatwa prezentacja materiałów multimedialnych brak efektu ankieterskiego brak błędów ankieterskich trudne / drażliwe tematy krótki czas realizacji, szybki dostęp niskie koszty duży zasięg geograficzny Dlaczego online?

7. Brak zaufania części badaczy i odbiorców Fakty czy mity? problem doboru próby kwestia populacji metoda doboru niska stopa zwrotu, autoselekcja problem wszelkich badań ankietowych duża odpowiedzialność badacza – konstrukcja narzędzia, metoda kontaktu nierzetelni respondenci kilka % możliwość weryfikacji spójności odpowiedzi Jakość próby – największy problem badań online szeroko zakrojony projekt R&D Obawy – fakty i mity

8. Projekt poprawy jakości • „Innowacyjne metody poprawy jakości badań prowadzonych przez internet” • projekt realizowany przez Gemius • przedsięwzięcie IniTech2 • IniTech: • przedsięwzięcie Ministra Nauki i Szkolnictwa Wyższego • realizowane przez Narodowe Centrum Badań i Rozwoju • finansowanie badań naukowych lub prac rozwojowych nakierowanych na zastosowanie w działalności gospodarczej

9. Jakość próby Trzy etapy, na których decyduje się jakość finalnej próby: • Etap doboru próby – sposób wyboru użytkowników, sposób dotarcia • Etap realizacji próby – zwiększenie stopy zwrotu  optymalizacja kwestionariusza • Etap poprawy zrealizowanej próby – ważenie danych

10. Jakość próby • Dobór próby • Realizacja próby • Korekcja struktury (ważenie) Źródło: badanie Gemius,luty 2008 r. (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)

11. Wysyłka zaproszeń do badania e-mailem: uczestnicy panelu badawczego osoby zarejestrowane na witrynie lub w bazie usługodawcy zarejestrowani beneficjenci, odbiorcy danego programu/usługi Emisja zaproszeń do badania na witrynach internetowych: użytkownicy stron internetowych użytkownicy konkretnej usługi / serwisu W projekcie skupienie na emisji 1. Dobór próby @

12. Emisja na witrynach – ogromne możliwości dotarcia Problem: ankiety wypełniają częściej osoby, które są łatwe do zrekrutowania: CAPI i CATI  osoby dużo przebywające w domu CAWI  osoby intensywniej korzystające z internetu Skutek: skrzywienie struktury Rozwiązanie:wykorzystanie wiedzy o użytkowniku podczas emisji! 1. Dobór próby – emisja

13. Zamiast równych prawdopodobieństw  dobór warstwowy Do warstwowania wykorzystujemy „twarde dane”: dane o aktywności cookie dane o parametrach komputera i przeglądarki Efekty:poprawa struktury próby Dodatkowy zysk:zmniejszenie potrzebnej liczby emisji o ¼ ! 1. Dobór próby – emisja Źródło: badanie Gemius w ramach projektu INITECH, zrealizowanewe wrześniu 2010 na próbie N=2706 (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)

14. Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety 2. Realizacja próby

15. 2. Realizacja próby • Optymalizacja zaproszenia i samej ankiety • Analiza: • kilkadziesiąt badań, kilkaset pytań • cechy formalne i treściowe pytań • Wnioski: • Konieczność minimalizacji ilości tekstu

16. 2. Realizacja próby • Optymalizacja zaproszenia i samej ankiety • Analiza: • kilkadziesiąt badań, kilkaset pytań • cechy formalne i treściowe pytań • Wnioski: • kluczowa rola miejsca w ankiecie – krytyczny początek ankiety • konieczność minimalizacji ilości tekstu • konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel • Internet  zasady usability  „Nie każ im myśleć!”

17. Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie –krytyczny początek ankiety konieczność minimalizacji ilości tekstu konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel Internet  zasady usability  „Nie każ im myśleć!” 2. Realizacja próby

18. Pomimo poprawy doboru i zwiększeniu QRR – nadal problem struktury Konieczność zastosowania wag analitycznych przez co ważyć (zmienne)? jak ważyć (algorytm)? Analiza: wykonano ponad 15 tysięcy ważeń stosując różne zmienne i algorytmy Wnioski: klasyczne ważenie stratyfikacyjne nie wystarcza! 3. Korekcja struktury

19. Niezbędne wykorzystanie innych zmiennych wpływających na dostępność w badaniu online: chęć udziału w badaniach styl życia, zwyczaje, korzystanie z technologii Efekt:znaczna redukcja błędu 3. Korekcja struktury dane CAWI = badanie Gemius, maj 2010 r. (N=5453) dane zewnętrzne CAPI = omnibus MB SMG/KRC, maj 2010 r. (N=1575) analizowany target: Polacy 15-55 lat korzystający z internetu

20. Badania ewaluacyjne – część problemów nie występuje, potencjał badań online Realizacja próby skomplikowane kwestionariusze ewaluacyjne muszą być dostosowane do realiów internetu rola metody rekrutacji (wsparcie innymi kanałami dotarcia), liczby kontaktów Ważenie – warto wyjść poza demografię W praktyce

21. Dziękujemy! Gemius SA ul. Wołoska 7, budynek Mars, klatka D, II piętro 02-675 Warszawa tel. (0 22) 390 90 90 fax (0 22) 874 41 01 kontakt: malgorzata.poltorak@gemius.pl