Przykłady błędów w komunikatach prasowych dotyczących badań sondażowych

1. Przykłady błędów w komunikatach prasowych dotyczących badań sondażowych Etyka dziennikarska czy niewiedza?

2. Co jest niezbędne?

3. Co jest niezbędne?podstawowe informacje o sondażu Na podstawie: artykułu „Zasady prezentacji wyników sondaży w prasie ze szczególnym uwzględnieniem sondaży politycznych” (Sułek, 2001) przewodnika „ESOMAR/WAPOR – sondaże opinii publicznej i publikowanie wyników badań” (OFBOR, 2011) Na Straży Sondaży określiło siedem informacji o metodologii badania ankietowego, których pojawienie się w artykułach opisujących sondaże jest niezbędne, by można było samodzielnie ocenić wiarygodność prezentowanych informacji.

4. Przykłady błędów popełnianych w komunikatach prasowych i ich znaczenie

5. Źródło danych, czyli skąd są dane? Informacja o źródle danych pojawia się w97% publikacji (styczeń - lipiec 2013) Informacja o źródle danych powinna określać instytucję przeprowadzającą prezentowane badanie. Bez informacji o źródle danych trudna staje się ocena jakości badania. • Mieszkańcy: pieniądze dla samorządów, „Dziennik Gazeta Prawna“, 29.05.2013 : • Prawie trzy czwarte Polaków dostrzega rozwój swojej gminy lub miasta. Z kolei niemal 60% uważa, że więcej pieniędzy niż obecnie z płaconych przez nas podatków powinno wracać do budżetów lokalnych – wynika z badania przeprowadzonego we wszystkich województwach (po 100 ankietowanych na każde województwo) na zlecenie Związku Miast Polskich (ZMP). • Artykuł zamieszczony na stronie internetowej „Gościa Niedzielnego”: • Na 1000 pedofilów, 400 to homoseksualiści, a 1 to ksiądz. Dopiero po kilku dniach redakcja opublikowała sprostowanie – przytoczono w nim literaturę dotyczącą problemu pedofilii, jednak nadal trudno było określić, skąd wzięły się tak precyzyjne dane w poprzednim artykule.

6. Kto był badany? – populacja Określenie, na jaką populację można uogólnić wyniki badania, polega na przedstawieniu, dla jakiej zbiorowości zbadana próba była reprezentatywna (Polacy, studenci UW, mieszkańcy dużych miast a uogólnianie na wszystkich Polaków?). Informacja o populacji, na którą można uogólnić wyniki, pojawiła się w 66% artykułów W niektórych artykułach zupełnie pomija się populację, na którą można uogólnić wyniki badania, i mówi się tylko o respondentach bez precyzowania, kim byli. Polacy zaciskają pasa, „Rzeczpospolita”, 01.02.2013: „Kolejne badania potwierdzają, że konsumenci bojąc się negatywnego wpływu spowolnienia gospodarczego na swój domowy budżet, zaczynają ograniczanie wydatków w wielu dziedzinach. Z przeprowadzonego w styczniu przez dom mediowy OMD badania wynika, że aż 62 proc. z nich w najbliższym czasie planuje mniej wydawać, a jedynie 3 proc. zapowiada wzrost wydatków”.

7. Kiedy? - czyli termin realizacji badania Dokładność określenia terminu realizacji badania powinna być dostosowana do jego tematyki. Są takie zjawiska społeczne, przy badaniu których powinno się podawać dzienną datę realizacji. Tak dzieje się np. w przypadku sondaży politycznych. Wiadome jest, że poglądy badanych zmieniają się w czasie, w związku z czym brak określenia w artykule terminu realizacji badania uniemożliwia stwierdzenie, jakiego okresu dotyczą prezentowane informacje. Informacja o terminie realizacji badania pojawiła się w 41% artykułów • To nieszczęsne szczęście, „Przegląd“, 08.04.2013 • Autorka artykułu przytacza informacje na temat wyników badań sondażowych dotyczących szczęścia i satysfakcji z życia. Badania prowadzono w różnych krajach w różnym czasie, a na ich podstawie opisano trendy, które dostrzeżono.

8. Czy wystarczająco duża grupa? – liczebność próby Opis liczebności próby jest ważną informacją przy ocenie jakości badania sondażowego. Brak tych danych uniemożliwia określenie, na ile wyniki uzyskane w sondażu odpowiadają tym w populacji – odsetki w próbie tylko w pewnym przybliżeniu odpowiadają odsetkom w badanej populacji, a liczba respondentów pozytywnie wpływa na dokładność oszacowań. Monitorowane gazety w analizowanym okresie informację o liczebności próby podały jedynie w 36%artykułów. • Brudni nie jadą, „Newsweek“, 20.05.2013: • W miastach powyżej 500 tys. mieszkańców jest za tym 77 proc. badanych. ŹRÓDŁO: GRUPA IQS DLA „NEWSWEEKA”; SONDAŻ TELEFONICZNY PRZEPROWADZONY 15 MAJA 2013 ROKU; PRÓBA REPREZENTATYWNA 500 POLAKÓW.

9. O co właściwie zapytano? - jak brzmi dokładne sformułowanie pytania? Często zmiana jednego słowa – nawet na wyrażenie synonimiczne – może zupełnie zmienić jego odbiór wśród respondentów. Dokładne przedstawienie respondentom treści pytania, pojawiało się rzadziej niż w co czwartym spośród monitorowanych artykułów (24%) W artykułach konieczne jest przytoczenie dokładnego brzmienia pytania. Pozwala ono uniknąć nieporozumień, mogących pojawić się choćby ze względów stylistycznych w samej treści artykułu. • Szum medialny po publikacji CBOS na temat przerywania ciąży przez Polki. • W publikacjach pojawiały się wnioski na temat tego, ile obywatelek Polski dokonało aborcji, a jednak przynajmniej dla części respondentów „przerwanie ciąży” i „aborcja” mogły nie być wyrażeniami pokrywającymi się. Część dziennikarzy zamiast o liczbie kobiet, które dokonały aborcji, pisało o liczbie przeprowadzonych aborcji. • Uczniowie: »Nie chcemy mieć Żydów w swoim otoczeniu«, „Gazeta Wyborcza“, 15.04.2013: • „Niedoinformowanie młodych ludzi dało o sobie znać przy pytaniach o eksterminację ludności żydowskiej w czasie II wojny światowej. Niemal połowa badanych (44%) stwierdziła, że Polacy i Żydzi ucierpieli wtedy w tym samym stopniu, 27,9% uznało większą ofiarę Żydów, a 24,7%. – Polaków. – Ten wynik może dziwić, zważywszy, że w czasie wojny zginęło 90% populacji Żydów i 10% populacji Polaków”– ocenia dr Michał Bilewicz z Centrum Badań nad Uprzedzeniami Uniwersytetu Warszawskiego“; PYTANIE brzmiało: „Kto bardziej ucierpiał w czasie II wojny światowej?”.

10. Na kartce czy przez telefon? – technika zbierania danych Wyniki badań zrealizowanych z wykorzystaniem różnych sposobów pozyskiwania danych mogą dawać różne wyniki. Brak określenia techniki zbierania danych zastosowanej w sondażu poważnie utrudnia ocenę wiarygodności i dokładności uzyskanych wyników. Badania ankietowe mogą być przeprowadzone w różny sposób. Informacja o technice zbierania danych pojawiła się jedynie w 13% artykułów • Europa ciągle nieprzyjazna dla gejów i lesbijek, „Gazeta Wyborcza“, 18.05.2013: • Autorzy sondażu, w ramach którego opowiedziano te historie, przepytali w internecie 93 tys. pełnoletnich osób z krajów UE i Chorwacji: gejów, lesbijek, biseksualistów i osób transseksualnych.

11. Na ile reprezentatywny wynik? – metoda doboru respondentów Informacja na temat metody doboru respondentów jest zupełnie podstawowa przy ocenie jakości sondażu. Opis metodologiczny powinien przede wszystkim określać, czy próba jest reprezentatywna, a więc czy jej wyniki można uogólnić na populację, której dotyczy badanie. Metoda doboru respondentów pojawiła się jedynie w 6% analizowanych artykułów Bez tej informacji nie ma możliwości oceny wiarygodności wyników uzyskanych na podstawie sondażu. • Kilka razy w tygodniu „Rzeczpospolita” publikuje wykres z treścią pytania i procentami przy poszczególnych odpowiedziach. Niestety, z reguły nic nie wspomina się na temat metodologii badania, a przede wszystkim nie mówi się, jaką techniką dobrano respondentów do jego realizacji. W serii Sondy „Rzeczpospolitej” każdego tygodnia prezentowanych jest mnóstwo danych. Wskazuje się np. że 81,3% respondentów uważa, że nowe zasady wywozu śmieci są gorsze (20.08.2013), w innym numerze zaś, że 60,4% uważa ustawę emerytalną za „bubel prawny 2012 roku“ (03.01.2013), a w jeszcze innej, że 74,4% ankietowanych pozostawiłoby sześciolatka przedszkolu (29.04.2013).

12. Podsumowanie

13. Podsumowanie Prezentowane przykłady pochodzą z najbardziej poczytnych tytułów prasowych i są uważane za opiniotwórcze, w związku z czym oczekuje się od nich utrzymywania standardów. Zwrócenie uwagi na siedem podstawowych elementów noty metodologicznej nie jest wygórowanym wymogiem. Na konkretnych przykładach prasowych relacji, które ukazały się w pierwszym półroczu 2013 roku, pokazałam, jakiej wiedzy pozbawia czytelnika brak każdego z elementów pełnej noty metodologicznej, a nawet jak może zafałszowywać to obraz przedstawiany za pomocą wyników sondażu. Niestety dziennikarze nie dość, że nie podają pełnej noty metodologicznej to jeszcze nie zwracają uwagi w tekście na możliwe błędy. Dziennikarze powinni być bardziej „rzetelni” podczas pisania komunikatów prasowych i zwracać większą uwagę na błędy - nawet kosztem ryzyka podważania wniosków autora odwołującego się do badań. PYTANIE: etyka dziennikarska (kreowanie „newsa”) czy niewiedza? Zmiana w tym kierunku doprowadzi do ZWIĘKSZENIA ZAUFANIA SPOŁECZNEGO DO SONDAŻY!

14. DZIĘKUJĘ Agnieszka Sochacka Instytut Socjologii Uniwersytet Warszawski