Twarze sondaży

1. Twarze sondaży Henryk Banaszak Warsztat 2013

2. Nieznana proporcja zielonych w populacji Znana własność próby skład próby: k kulek zielonych losowanie obliczenia pytanie ze zwracaniem Estymacja p odpowiedź wniosek Czym jest sondaż błąd zawsze Populacja Schemat doboru próby Metoda wnioskowania

3. Sondaż jest badaniem statystycznym Przedmiot populacja Cel zestaw pytańna temat populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania Zakres Metoda badanie próbypobieranej z badanej populacjiwedług schematu opisywanego w kategoriach probabilistycznych Wynik odpowiedzi na pytaniana temat populacjina podstawie analizy łącznego rozkładu zmiennychwyznaczonych w próbiedobranej wedle schematu opisywanego w kategoriach probabilistycznych; oszacowania parametrów populacji + błąd oszacowań

4. Wynik sondażu zawsze zawiera błąd Populacja Field-work Próba zbadana 1600 3 Non- response (400) Próba wylosowana 4 No answer (30%) 2000 5 False responses (5%) Operat 1 Dziurawa, stara 2 lista obiektów populacji Źródła dodatkowego błędu oszacowań Złożony wielstopniowy Schemat doboru próby Dlatego błąd jest prawie zawsze większy niż

5. Specyfika badania statystycznego • Wynik badania jest parametrem statystycznym • Wynik badania jest obciążony błędem • Wielkość błędu można wyliczyć znając: • Własności operatu • Schemat doboru próby • Poziom non-response • Poziom braków odpowiedzi • Jakość realizacji (false records) Czynniki 3, 4 i 5 zależą głównie od wykonawcy badania

6. Kogo potrzebujemy w sondażu? Teoria zjawiska Teoria pomiaru Dobór póby, fieldwork, estymacja Teoria skalowania Analiza danych Dobór wskaźników Statystyczneodpowiedzi na statystycznepytania Błąd !!! „KWESTIONARIUSZ” Interpretacjawyników analizw teorii zjawiska Pytania statystyczne kompetencje statystyczne Zmienne statystyczne

7. Podział zadań i odpowiedzialności Zamawiający Zadaje pytania o stan populacji: JAK/CZY Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz Przekłada swoje pytania na pytania statystyczne Definiuje dopuszczalny poziom błędu oszacowań Definiuje jakościowe kryteria wykonania „field-work” (przetarg) Statystyk zamawiającego Szuka operatu doboru próby Projektuje optymalny dla operatu i kosztów badania schemat doboru próby Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5 Uczestniczy w interpetacji wyników analizy danych

8. Taki podział ról i zadań jest możliwy, gdy zamawiający: umie badanie zaprojektować, umiekontrolować jakość realizacji umie wyniki wykorzystać Często zamawiający nie umie 1, 2, 3 Często zamawiający nie wie że powinien umieć

9. Budżet badania Koszt realizacji Wielkość próby Dokładność oszacowań Koszt jakości Koszt dojazdów Schemat doboru próby Jakość realizacji badania Fieldwork Operat Czas trwania - koszt 1 wywiadu Response-rate Missing values False records Koszt operatu Kwestionariusz Pominięte pytanie Odmowa odpowiedzi Odpowiedzialność zamawiającego Odpowiedzialność wykonawcy

10. Zamawiający

11. Kto zamawia sondaż • nadawca, wydawca, dziennikarz • urzędnikpublicznej administracji • sprzedawca, producent, agencja reklamowa • naukowiec, zazwyczaj socjolog

12. teoria Po co zamawia Aby poinformować widownię o jej preferencjach, nastrojach, ocenach wydarzeń, instytucji i osób Media Diagnoza potrzeb, ocena efektywności programów (unijnych), konsultacje decyzji, ocena jakości usług publicznych Administracja Rozpoznanie klientów obecnych i potencjalnych (segmentacja, szacowanie popytu), wyznaczanie optymalnych cen produktów, ocena efektywności kampanii reklamowej Rynek Test hipotez teoretycznych, eksploracja struktury populacji, identyfikacja trendów, modelowanie dynamiki populacji (nauki społeczne, medyczne) Nauka

13. Praktyka – patologia? Po co płaci Aby utrzymać lub zwiększyć swoje audytorium: liczbę widzów, czytelników Media Administracja Aby wydać środki zaplanowane na badanie Aby podjąć optymalne decyzje o inwestycjach, polityce cenowej, kampanii relamowej Rynek Nauka Rozszerzyć lub zweryfikować wiedzę o populacji Kto potrzebuje sondażu dobrej jakości aby osiągnąć swój faktyczny cel ?

14. Sondaż dobrej jakości • Odpowiada na pytania: • które zamawiający postawił [ZAMAWIAJĄCY] • Odpowiada wystarczająco precyzyjnie [WYKONAWCA] • Odpowiada wiarygodnie [WYKONAWCA]

15. Dobry sondaż • Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe [ZAMAWIAJĄCY] • Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów [ZAMAWIAJĄCY] • Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego [WYKONAWCA] • Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie [ZAMAWIAJĄCY]

16. Kwestionariusz – Próba – Realizacja – Analiza danych Kwestionariusz Kwestionariusz – Próba – Realizacja – Analiza danych

17. Dobry kwestionariusz: zadanie dla zamawiającego Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe • Odpowiedzi to wskaźniki • Wskaźnikicechy ukrytej Teoriazjawiska, teoriareakcji, teoriaskalowania model pomiarowy Cecha ukryta (estymacja parametru populacji)

18. Inteligentne wskaźniki Szacowanie frekwencji wyborczej w wyborach parlamentarnych Jak Pan(i)sądzi, jaka będzie frekwencja w wyborachw najbliższą niedzielę? Czyzamierza Pan(i)wziąć udziałw wyborachw najbliższą niedzielę? 1. Tak2. Nie3. Nie wiem |___| % Średnia odsetków podawanych przez respondentów % odpowiedzi TAK

19. Inteligentne wskaźniki Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) Za ile kupiłbyś produkt? |_______| zł kwota średniaśrodkowa

20. Skalowanie złożone – SEI Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu

21. Skalowanie złożone: poziom zadowolenia z …. Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? % odpowiedzi 1, 2 Jak bardzo zadowolony(a) jest Pan(i) X1 ze swoich sąsiadów Cecha ukryta: poziom zadowoleniaZ X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y Wskaźniki typu „źródła” Wskaźniki typu „skutki”

22. Q1 ogólne oczekiwania Q9 czy złożył skargę poziom wymagańwzględem usługi skargi na jakość usługi i sposób ich załatwiania Q6 ogólna satysfakcja Q5 ogólna ocena jakości Q10A/B reakcja na skargę poziom satysfakcji z usługi Q11 polecanie usługi innym Q8 porównaniez ideałem wskaźnikijakości zaufanie do jakości usługiw przyszłości Q7 spełnianie oczekiwań Q12 wiara w stabilność poziomu jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Skalowanie złożone: American Consumer Satisfaction Index (ACSI) Jak bardzo zadwolony(a) jest Pan(i) z usługi? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 odczuwana jakość usługi Model pomiarowy ACSI dla usług

23. Źródła kapitału ekonomicznego Kapitał sieciowy Źródła kapitału kulturowego Manifestacje kapitału ekonomicznego Manifestacje kapitału kulturowego Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki KE-in Model skalowania strukturalnego inspirowany przez teorię Bourdieu KK-in KE-out KK-out KE-in KK-in Wskaźniki Wskaźniki KK-out KE-out Wskaźniki Wskaźniki

24. Kwestionariusz – Próba – Realizacja – Analiza danych Próba Kwestionariusz – Próba – Realizacja – Analiza danych

25. Schemat logiczny wnioskowania w sondażu Dobór próby (1) Populacja n-elementowa próba losowa z populacji Probabilistyczny schemat doboru, opisany w kategoriach rachunku prawdopodobieństwa Statystyka opisowa: wyznaczenie parametrów w próbie Parametry próby (2) Parametry populacyjne (3) Wnioskowanie statystyczne Statystyka inferencyjna – zastosowanie rachunku prawdopodobieństwa do uzasadnienia reguł wnioskowania (3) (1) & (2) wniosek Przesłanki Kwestionariusz – Próba – Realizacja – Analiza danych

26. W badaniu sondażow mamy do czynienia z sytuacją, w której wiadomo, co się może zdarzyć, wiadomo z jakim prawdopodobieństwem co się zdarza lecz nie wiadomo, co zdarzy się w pojedynczym doświadczeniu Cel doświadczenia – odpowiedź na pytanie: Doświadczenie • Rzucamy monetą o nieznanym prawdopodobieństwie upadania z 1EU na wierzchu n-razy Jakie jest p-two wyrzucenia „1” • Losujemy n-kul • ze zwracaniem • z urny • o nieznanej zawartości Jaka jest w urnie proporcja kul czerwonych Kwestionariusz – Próba – Realizacja – Analiza danych

27. Ile razy trzeba rzucać monetą aby sprawdzić, czy jest rzetelna? n=1 P=0,5 P=0,5 n=2 P=0,25 P=0,50 P=0,25 n=3 P=0,125 P=0,375 P=0,375 P=0,125 Kwestionariusz – Próba – Realizacja – Analiza danych

28. Losowanie próby w badaniu sondażowym to jak rzucanie monetą lub lub lub 3 2 1 0 P=0,064 P=0,288 P=0,432 P=0,216

29. Probabilistyczny sposób doboru próby 1) o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji: 2) każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, a w konsekwencji: 3) dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji: a) umożliwia obliczenie prawdopodobieństwa popełnienia błędów wnioskowania (nazywanego błędem statystycznym) dla każdego rozmiaru błędu przy założonym schemacie doboru, b) pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań (wielkości błędu wnioskowania) błędu przy założonym schemacie doboru

30. Przy losowym doborze próby § Wynik losowania próby jest zdarzeniemlosowym. § Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi. § Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi. § Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego. § Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa. § Zbieżność rozkładów statystyk z póby badają zawodowi matematycy (specjaliści w zakresie raachunku prawdopodobieństwa) a rezultaty ich badań noszą nazwę twierdzeń granicznych

31. Rozkład normalny  =10 Kwestionariusz – Próba – Realizacja – Analiza danych

32. Rozkład normalny standaryzowany m=0, s=1 x Kwestionariusz – Próba – Realizacja – Analiza danych

33. Rozkład chi-kwadrat dla kilku stopni swobody r Kwestionariusz – Próba – Realizacja – Analiza danych

34. Forma twierdzeń granicznych Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat Kwestionariusz – Próba – Realizacja – Analiza danych

35. Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG) Błąd oszacowania Minimalna liczebność próby Kwestionariusz – Próba – Realizacja – Analiza danych

37. Dokładność oszacowań frakcji populacyjnej a wielkość losowej próby

38. Granice stosowalności CTG w estymacji populacyjnej frakcji

39. Popularne statystyki z póby o rozkładach N, t , F, 2 Kwestionariusz – Próba – Realizacja – Analiza danych

40. Schemat wnioskowania w badaniu sondażowym • (1) Dobrano losowo 1600-osobową próbę wyborców • (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X • wobec tego • (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%. (1) & (2) (3) Kwestionariusz – Próba – Realizacja – Analiza danych

41. Przykład wnioskowania w badaniu sondażowym (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące? Kwestionariusz – Próba – Realizacja – Analiza danych

42. Losowy dobór prób – problemy praktyczne • Wnioskowanie statystystyczne: • Dokładność oszacowań • Testowanie hipotez – „znaczące statystycznie” • Operaty • Response rate a dokładność oszacowań • Schematy doboru prób • Mitologie agencji badawczych Kwestionariusz – Próba – Realizacja – Analiza danych

43. Losowy dobór w praktyce - operat losowania Operat= lista wszystkich obiektów badanej populacji Kwestionariusz – Próba – Realizacja – Analiza danych

44. Dostępne operaty dla prób ogólnopolskich Kwestionariusz – Próba – Realizacja – Analiza danych

45. Schematy doboru prób • Dobór prosty zależny • po jednym obiekcie z badanej zbiorowości (jak liczby w normalnym lotku): • przykłady: adresowa próba osób zamieszkałych we wskazanej gminie (uzyskiwana z PESEL,), próba mieszkań z rejonu spisowego (GUS); Dobór taki w postaci czystej dla badań ogólnopolskich nie jest stosowany - można by otrzymać np. 1000- osobową próbę rozrzuconą między 1000 miejscowości. • Dobór systematyczny • „co k-ty obiekt wylosowany” - np. co 40-ty wychodzący z lokalu wyborczego. losuje się jedną tylko liczbę (od 1 do k) określającą punkt startowy; przykłady: co któryś wychodzący ( exit poll), stosowany także w badaniach audytoriów kinowych; • Dobór zespołowy • zbiorowość podzielona jest na zespoły (części) - losuje się części i potem bada wszystkie obiekty, które do nich należą; np. losowanie klas szkolnych (bada się wszystkich uczniów w klasie) • Dobór wielostopniowy: • warstwowy: najpierw dzieli się zbiorowość na rozłączne części - warstwy (np. na regiony, województwa, na część miejską i wiejską), a potem losuje obiekty z każdej z warstw osobno (być może nawet dla każdej w inny sposób); zazwyczaj celem badania jest szacowanie parametrów warstwy jak i populacji generalnej. • zespołowy: losuje się najpierw zespół a potem z zespołu losuje się obiekty. Np. losujemy gminy (miejscowości) a potem osoby w nich zamieszkałe. Kwestionariusz – Próba – Realizacja – Analiza danych

46. Popularne złożone schematy doboru prób • Próba adresowa gospodarstw domowych i schemat Kish • Jednostką losowania jest mieszkanie losowane z operatu GUS • W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego • Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem • Wady: • Trudność kontroli jakości mikrospisu • trudność kontroli przyczyn niezrealizowania wywiadu • Konieczność wyznaczania wag analitycznych post-factum • Losowo-kwotowy dobór prób w badaniach typu OMNIBUS • Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości • Dla każdej z warstw losuje się taką liczbę gmin wjaka wynika z założonego sposobu podziału próby między warstwy, • W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) • Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Kwestionariusz – Próba – Realizacja – Analiza danych

47. Dobór nielosowy • Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, • do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych . Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Pożądane własności nielosowych metod doboru: uzyskanie “dobrego przedstawicielstwa” populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Kwestionariusz – Próba – Realizacja – Analiza danych

48. Próba losowo-kwotowa: konstrukcja Kwestionariusz – Próba – Realizacja – Analiza danych

49. Kiedy warto stosować próby kwotowe • Warto stosować próby kwotowe oraz losowo-kwotowe gdy: • Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania • Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); • Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne, • Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji Kwestionariusz – Próba – Realizacja – Analiza danych

50. Sondaże nietypowe i ich ograniczenia Kwestionariusz – Próba – Realizacja – Analiza danych