Grenzen und Gefahren der Umfrageforschung

1. Grenzen und Gefahren der Umfrageforschung Stichprobenziehung • Fehlerquellen • Treten bei der Auswahl und Bestimmung der Grundgesamtheit und Stichprobe Fehler auf, so können sich die entstandenen Verzerrungen bis in die Auswertung und Ergebnisse fortsetzen und im Extremfall zu falschen Ergebnissen führen. • Wenn wir eine Aussage über die Wahlbeteiligung bei der letzten Bundestagswahl treffen wollen, sollten in der Umfrage z.B. keine Personen ohne deutsche Staatsbürgerschaft oder Minderjährige befragt werden, da diese Personengruppen nicht wählen dürfen und daher für unser Problem nicht relevant sind. • Beispiel • Untersuchungsproblem: Die Wahlbeteiligung bei der letzten Bundestagswahl war sehr gering. • Grundgesamtheit: Wahlberechtigte der letzten Bundestagswahl, also 61,8 Millionen Menschen (=zu viele, um alle zu befragen). • Stichprobe: 1000 Wahlberechtigte der letzten Bundestagswahl, zufällig ausgewählt. • Wir befragen 10 Personen, die uns zufällig in der Fußgängerzone über den Weg laufen. • Wir befragen 100 Personen, die wir zufällig bei einer Veranstaltung zu “Frauen im Beruf” ausfindig machen. • Wir befragen 1000 zufällig aus einer Liste aller Wahlberechtigten gezogene Personen und lassen die Befragung persönlich durch ein Umfrageinstitut durchführen. • Wir befragen 10.000 Personen in einer Online-Befragung. • Theoretische Überlegungen • Was wollen wir untersuchen und über wen wollen wir eine Aussage treffen? Welche Personengruppe untersuchen wir? • Wir müssen überlegen, über welche Personengruppe wir eine Aussage treffen wollen (=Grundgesamtheit). Da bei Fragestellungen in der Politikwissenschaft meistens nicht alle betroffenen Personen befragt werden können, weil es zu teuer wäre und zu lange dauern würde, müssen wir die Befragung mit einem Teil aller Personen durchführen (Stichprobe). • Wie viele Personen müssen wir befragen, um eine Aussage über die Grundgesamtheit treffen zu können? Was passiert, wenn unsere Stichprobe nur Personen enthält, die nicht repräsentativ für die Grundgesamtheit antworten? • Wie viele Personen aus der Stichprobe nehmen auch wirklich an der Umfrage teil? Was passiert, wenn wir nur Frauen in unsere Stichprobe aufgenommen haben? • Problem: Es können nur diejenigen befragt werden, die auch in der Fußgängerzone unterwegs sind, d.h. keine Alten, Gebrechlichen, Kranken, Online-Shopper;  nicht „zufällig” im statistischen Sinn! • Problem: Es werden wahrscheinlich nur Frauen befragt  nicht “zufällig” im statistischen Sinn! • Das Umfrageinstitut muss kontrolliert werden  dennoch beste Wahl! • Problem: Nicht alle Wahlberechtigten sind Online erreichbar  nicht „zufällig” im statistischen Sinn! Fragebogenkonstruktion Befragungsformen • Frageformulierung • Wissenschaftliche Fragestellungen müssen in Fragen und Fragemodelle übersetzt werden, da viele wissenschaftliche Konstrukte nicht direkt beobachtbar sind. Vielmehr werden häufig mehrere Fragen zur Erfassung eines Merkmals benötigt. • Beispiel • Wenn wir die Einstellung eines Befragten zum Thema Fremdenfeindlichkeit erfahren wollen, fragen wir nicht: „Haben Sie eine fremdenfeindliche Einstellung?“ Hier benutzen wir unsere vorher konzipierte Fragenbatterie, mit der wir durch mehrere indirekte Fragen zum Thema Fremdenfeindlichkeit die Einstellung erfassen können. • Face-to-Face • Zu den Vorteilen der persönlichen Befragungen zählt vor allem die Möglichkeit des Interviewers, Beobachtungen während des Interviews zu machen und die Situation einzuschätzen. • Nachteilig wirken sich bei persönlichen Befragungen die hohen finanziellen Kosten aus. • Außerdem lassen sich manche Befragte durch die Anwesenheit des Interviewers in ihren Antworten beeinflussen. • Beispiel: „Haben Sie bei der letzten Bundestagswahl an der Wahl teilgenommen?“ Der Befragte antwortet mit ja, da er nicht zugeben möchte, dass er nicht wählen war. Dieses Phänomen bezeichnet man in der Umfrageforschung als „soziale Erwünschtheit“. Durch die persönliche Anwesenheit des Interviewers will der Befragte einen guten Eindruck hinterlassen und antwortet nicht wahrheitsgemäß. • Fragen sollten ausgewogen gestellt werden, alle Alternativen dabei genannt werden, um die Befragten nicht zu beeinflussen. • Man fragt nicht „Ist die große Koalition für Sie eher Anlass zur Freude?“, sondern „Ist die große Koalition für Sie eher Anlass zur Freude oder zur Sorge?“. • Telefoninterview • Durch die räumliche Distanz zwischen Befragtem und Interviewer kann das Phänomen der sozialen Erwünschtheit bei Telefoninterviews besser vermieden werden. • Einen Nachteil des Telefoninterviews stellt vor allem die geringere Teilnahmequote dar. • Das liegt daran, dass sich viele Befragte durch die wachsende Zahl von Telefonanfragen aus der Werbung und dem Verkauf belästigt fühlen. • Nicht alle Befragungspersonen sind tagsüber • telefonisch erreichbar. • Bei einigen Wissensfragen muss man die Alternative weglassen, weil der Befragte sonst sauer werden könnte. • Also nicht: „Wissen Sie wie der deutsche Außenminister heißt, oder haben Sie keine Ahnung?“ • Fragen müssen eindimensional gestellt werden, d.h. nur auf ein interessierendes Merkmal abheben. Jede Frage muss so formuliert sein, dass am Ende ganz klar ist, worauf sich die Antwort bezieht. Ansonsten gibt es Probleme bei der Auswertung! • „Halten Sie Angela Merkel für eine kluge und verlässliche Politikerin, oder würden Sie das nicht sagen?“ (fragt nach klug und verlässlich gleichzeitig, vielleicht findet der Befragte sie klug, aber nicht verlässlich) • Schriftliche Befragung • Schriftliche Befragungen dauern oft sehr lange, Fragebögen verschwinden. • Bei schriftlichen Befragungen kann nicht kontrolliert werden, ob die Zielperson den Fragebogen selbst ausgefüllt hat. • Beispiel: Der Befragte schickt den Fragebogen erst einen Monat nach Rücksendeschluss ein oder meldet sich gar nicht zurück, da ihm die Rückversendung zu umständlich ist. • Beispiel: Der Enkel füllt den Fragebogen für den Großvater aus. • Befragte sollen nicht in eine bestimmte Richtung gelenkt werden (keine Suggestivfragen!) • „Sind Sie auch für die Einführung von Videoüberwachung von öffentlichen Plätzen oder legen Sie keinen Wert auf die Sicherheit Ihrer Kinder?“ • Online-Befragung • Online-Befragungen stellen die kostengünstigste Befragungsmethode dar. Durch die computergestützte Erfassung und Bearbeitung können Interviewerfehler vermieden werden. Die Zielgruppe ist bei der Online-Befragung auf Personen mit Computerkenntnissen beschränkt. • Das führt dazu, dass die Online-Umfrage meistens nur Personen zwischen 10 und 45 Jahren anspricht, die Zugang zum Internet haben. Damit wird eine große und wichtige Gruppe der Wahlberechtigten ausgeschlossen und die Stichprobe verzerrt. Auswertung/Darstellung Bild 1: Verzerrte Darstellung Bild 2: Korrekte Darstellung Bild 3: Verzerrte Darstellung Bild 4: Korrekte Darstellung Argumentiert eine Partei mit Hilfe von Bild 3 mit dem großen Anstieg des Wachstums während ihrer Regierungszeit ab Zeitpunkt 11, so ist der Betrachter von dem vermeintlich gestiegenen Wachstum sehr beeindruckt. Der aufmerksame Betrachter sieht aber, dass in Bild 3 auf der unteren Achse die Zeitpunkte 12-19 ausgeblendet wurden und dadurch nur die Kurve “angestiegen” ist, nicht aber das Wachstum. Eine korrekte Darstellung des Sachverhaltes ist erst in Bild 4 gegeben. Dieselben Daten führen durch eine veränderte Darstellungsweise zu einem unterschiedlichen Fazit durch den Betrachter. Verzichtet man auf das Weglassen wichtiger Zeitpunkte, so wird deutlich, dass es keine Veränderung der Wachstumsrate zwischen Zeitpunkt 12-19 zu entdecken gibt, sondern das Wachstum konstant ist. Als Betrachter von Bild 1 sehen wir große Schwankungen in der Wahlbeteiligung seit 1949. Nachdem die Wahlbeteiligung bis in die 80er Jahre stark angestiegen ist, sehen wir seither einen großen Rückgang in der Wahlbeteiligung. Bei genauer Betrachtung sehen wir jedoch, dass die Skala bei Bild 1 erst bei 70% Wahlbeteiligung beginnt. Auf Bild 2 sehen wir nun die Darstellung des gleichen Sachverhaltes, allerdings mit einer Skala, die bei 0 beginnt. Die Unterschiede in der Wahlbeteiligung fallen im Auge des Betrachters nun sehr viel geringer aus. Es zeigt sich, dass die Wahlbeteiligung trotz rückgängiger Zahlen weiterhin in einem Intervall von nur 10% schwankt. • Bei der Darstellung in Tabellenform und der Betrachtung von Diagrammen müssen Skaleneinheiten und Auslassungen beachtet werden!