Empirical Research in Communication: Interviews and Surveys

1. 1 Empirical Research in Communication:Interviews and Surveys Jella Hoffmann, M.A. Department of Communication and Media Research University of Munich Autumn 2005

2. 2

3. 3 Part I: Interviews and surveys: the basics types of interviews and surveys

4. 4 Why do we need interviews and surveys?

5. 5 Types of interviews and surveys by standardization not standardized partly standardized fully standardized by method face-to-tace paper-and-pencil (self-administered questionnaires) media-assisted

6. 6 Types of interviews and surveys

7. 7 Types of interviews and surveys by time span cross-section studies longitudinal designs (cohorts, panels, multiple cross-sections)

8. 8

9. 9 Why is sampling necessary? Kosten: Zeit, Geld, Arbeitsaufwand Genauigkeit: bessere Kontrollmöglichkeiten, präzisere Datenerhebung, intensivere Auswertung Einzige Erhebungsmöglichkeit: Z. B. Qualitätskontrolle in der Industrie Kosten: Zeit, Geld, Arbeitsaufwand Genauigkeit: bessere Kontrollmöglichkeiten, präzisere Datenerhebung, intensivere Auswertung Einzige Erhebungsmöglichkeit: Z. B. Qualitätskontrolle in der Industrie

10. 10 Sampling procedure defining the universe defining the sampling frame determining the sample size choosing a sampling method drawing the sample

11. 11 The problem of representativeness

12. 12 Sample requirements The sample should be a small copy of the universe. The units or elements of the sampling frame should be defined. The universe should be assignable and definable. The sampling method should be assignable and should meet requirement 1. Die Stichprobe muss ein verkleinertes Abbild der Grundgesamtheit hinsichtlich der Heterogenität der Elemente und hinsichtlich der Repräsentativität der für die Hypothesenprüfung relevanten Variablen sein. Die Stichprobe muss ein verkleinertes Abbild der Grundgesamtheit hinsichtlich der Heterogenität der Elemente und hinsichtlich der Repräsentativität der für die Hypothesenprüfung relevanten Variablen sein.

13. 13 Sampling methods in general: two types of sampling methods nonprobability sampling methods probability sampling methods Nicht zufallsgesteuerte Auswahlverfahren Nicht jedes Element der Grundgesamtheit hat die gleiche Chance, in die Stichprobe zu gelangen Nicht bzw. nur begrenzt repräsentativ für die Grundgesamtheit Zufallsgesteuerte Auswahlverfahren Jedes Element der Grundgesamtheit hat die gleiche Chance, in die Stichprobe zu gelangen Repräsentativ für die Grundgesamtheit Nicht zufallsgesteuerte Auswahlverfahren Nicht jedes Element der Grundgesamtheit hat die gleiche Chance, in die Stichprobe zu gelangen Nicht bzw. nur begrenzt repräsentativ für die Grundgesamtheit Zufallsgesteuerte Auswahlverfahren Jedes Element der Grundgesamtheit hat die gleiche Chance, in die Stichprobe zu gelangen Repräsentativ für die Grundgesamtheit

14. 14 Nonprobability sampling methods deliberate selection typical people purposive samples volunteer subjects haphazard sampling „mixed method“: quota sampling

15. 15 Nonprobability sampling methods

16. 16 Probability sampling simple random samples lottery random numbers systematic selection procedure next birthday method/ last birthday method Einfache Zufallsauswahl Lotterieprinzip Zufallszahlentafel Systematische Auswahl (z. B. jeder Dritte) Schlussziffernverfahren (z. B. – nach einer Durchnummerierung – alle mit der Endziffer 4) Geburtstagsverfahren (z. B. wer zuletzt Geburtstag hatte) Buchstabenauswahl (z. B. alle, deren Nachname mit K beginnt) Einfache Zufallsauswahl Lotterieprinzip Zufallszahlentafel Systematische Auswahl (z. B. jeder Dritte) Schlussziffernverfahren (z. B. – nach einer Durchnummerierung – alle mit der Endziffer 4) Geburtstagsverfahren (z. B. wer zuletzt Geburtstag hatte) Buchstabenauswahl (z. B. alle, deren Nachname mit K beginnt)

17. 17 Probability sampling complex random samples stratified samples (proportional or disproportional) cluster samples multistage sampling Komplexe Zufallsauswahl Zufallsauswahl mit Schichtung (Bildung von Teilgrundgesamtheiten, aus denen anschließend eine Zufallsauswahl getroffen wird) Klumpenauswahl Bei unbekannter Grundgesamtheit Heterogenität in den einzelnen Klumpen, Homogenität über alle Klumpen hinweg Mehrstufige Auswahl (verschiedene Auswahlkriterien in den einzelnen Stufen) Random-Route-Verfahren Mehrphasige Auswahl (gleiches Auswahlkriterium in allen Auswahlphasen) Komplexe Zufallsauswahl Zufallsauswahl mit Schichtung (Bildung von Teilgrundgesamtheiten, aus denen anschließend eine Zufallsauswahl getroffen wird) Klumpenauswahl Bei unbekannter Grundgesamtheit Heterogenität in den einzelnen Klumpen, Homogenität über alle Klumpen hinweg Mehrstufige Auswahl (verschiedene Auswahlkriterien in den einzelnen Stufen) Random-Route-Verfahren Mehrphasige Auswahl (gleiches Auswahlkriterium in allen Auswahlphasen)

18. 18 Example: Multistage sampling

19. 19 Probability sampling methods

20. 20 Sample size determines accuracy of results depends on budget depth of analysis

21. 21

22. 22 Interviews and surveys as social situations parameters of willingness to participate: cooperation necessity personal interest personal involvement talkativeness „compassion“ helpfulness denial need of anonymity fear of expectations fear of consequences mistrust/ fear of social contacts sponsor boredom, not feeling like it unfriendly interviewer bad experiences Auftraggeber und Verwendung der Daten Loyalität zu bestimmten Einrichtungen Abneigung gegenüber amtlicher Statistik Befürchtung der Deanonymisierung Soziodemografie des Befragten Alter, Geschlecht, Bildung: Generelles Interesse vs. „Disengagement“ Unsicherheit bei fremdartigen Situationen Einkommensverhältnisse: „Mittelstands-Bias“ Thema der Befragung: Interessen, Abwechslung, neue Erfahrung Gestaltung des Erhebungsinstruments: Fragebogen, Anschreiben Zeitaufwand u. Konkurrenz zu anderen Verpflichtungen u. Vorlieben Auftraggeber und Verwendung der Daten Loyalität zu bestimmten Einrichtungen Abneigung gegenüber amtlicher Statistik Befürchtung der Deanonymisierung Soziodemografie des Befragten Alter, Geschlecht, Bildung: Generelles Interesse vs. „Disengagement“ Unsicherheit bei fremdartigen Situationen Einkommensverhältnisse: „Mittelstands-Bias“ Thema der Befragung: Interessen, Abwechslung, neue Erfahrung Gestaltung des Erhebungsinstruments: Fragebogen, Anschreiben Zeitaufwand u. Konkurrenz zu anderen Verpflichtungen u. Vorlieben

23. 23 Interviews and surveys as social situations any interview or survey is a social situation three main sources of influence: interviewer interviewee situation/ environment

24. 24 Source of influence: interviewer especially in face-to-face-interviews interviewer has a key position in following sampling instructions precisely completing the sample motivating interviewees (participation and perseverence) working through standardized questionnaires with as much neutrality as possible größtmögliche Neutralität beim „Abarbeiten“ standardisierter Fragebögen (Generelles Problem: der Befragte will eigentlich ein persönliches Gespräch aufbauen, der Interviewer muss sich aber an seinen Leitfaden bzw. seinen Fragebogen halten) Höflichkeitsnormen => Reziprozitätseffekt größtmögliche Neutralität beim „Abarbeiten“ standardisierter Fragebögen (Generelles Problem: der Befragte will eigentlich ein persönliches Gespräch aufbauen, der Interviewer muss sich aber an seinen Leitfaden bzw. seinen Fragebogen halten) Höflichkeitsnormen => Reziprozitätseffekt

25. 25 Source of influence: interviewer personality and behavior sympathy - antipathy politeness visible features invisible features größtmögliche Neutralität beim „Abarbeiten“ standardisierter Fragebögen (Generelles Problem: der Befragte will eigentlich ein persönliches Gespräch aufbauen, der Interviewer muss sich aber an seinen Leitfaden bzw. seinen Fragebogen halten) Höflichkeitsnormen => Reziprozitätseffekt größtmögliche Neutralität beim „Abarbeiten“ standardisierter Fragebögen (Generelles Problem: der Befragte will eigentlich ein persönliches Gespräch aufbauen, der Interviewer muss sich aber an seinen Leitfaden bzw. seinen Fragebogen halten) Höflichkeitsnormen => Reziprozitätseffekt

26. 26 Source of influence: interviewer visible features age sex status ethnicity (real or perceived) religious affiliation overall interviewer appearance mode of reciting the questions Effekte sichtbarer Merkmale Alter Geschlecht Sozioökonomischer Status (z. B. Bildung, Sprachkompetenz, Kleidung) ethnische Zugehörigkeit (echte oder zugeschriebene) Religionszugehörigkeit der Gesamtauftritt des Interviewers seine Vortragsweise der Fragen Sichtbare Merkmale haben immer dann einen systematischen Einfluss, wenn zwischen dem Inhalt der Fragen und den entsprechenden Merkmalen eine Beziehung besteht. Effekte sichtbarer Merkmale Alter Geschlecht Sozioökonomischer Status (z. B. Bildung, Sprachkompetenz, Kleidung) ethnische Zugehörigkeit (echte oder zugeschriebene) Religionszugehörigkeit der Gesamtauftritt des Interviewers seine Vortragsweise der Fragen Sichtbare Merkmale haben immer dann einen systematischen Einfluss, wenn zwischen dem Inhalt der Fragen und den entsprechenden Merkmalen eine Beziehung besteht.

27. 27 Source of influence: interviewer „If you think about men as a group, would you say, men have too much influence, the right amount of influence or too little influence in our society?“

28. 28 Source of influence: interviewer

29. 29 Source of influence: interviewer overall appearance and mode of reciting the questions eye contact, body language verbal additives paraverbal variations annotation of questions Gesamtauftritt und Vortragsweise Blickkontakt, körpersprachliche Gesten verbale Konditionierung Reaktion auf die Antworten mit „ja“, „hm“, „wirklich?“ Paraverbale Variationen Vorlesen der Frage Betonung von Antwortalternativen (besonders im Telefoninterview) Kommentierung von Fragen nach dem VorlesenGesamtauftritt und Vortragsweise Blickkontakt, körpersprachliche Gesten verbale Konditionierung Reaktion auf die Antworten mit „ja“, „hm“, „wirklich?“ Paraverbale Variationen Vorlesen der Frage Betonung von Antwortalternativen (besonders im Telefoninterview) Kommentierung von Fragen nach dem Vorlesen

30. 30 Source of influence: interviewer invisible features expectations in view of roles expectations in view of probability expectations in view of answering behavior (consistency) stereotypes of the interviewer/ the interviewee Rollenerwartungen: der Interviewer erwartet ein bestimmtes Verhalten vom Befragten (z. B. aufgrund soziodemografischer Merkmale) Wahrscheinlichkeitserwartungen: der Interviewer kennt z. B. die Verteilung einer Meinung in der Bevölkerung und erwartet deshalb eine bestimmte Antwort attitüdenstrukturierte Erwartungen: der Interviewer erwartet Widerspruchsfreiheit beim Befragten hinsichtlich bereits beantworteter FragenRollenerwartungen: der Interviewer erwartet ein bestimmtes Verhalten vom Befragten (z. B. aufgrund soziodemografischer Merkmale) Wahrscheinlichkeitserwartungen: der Interviewer kennt z. B. die Verteilung einer Meinung in der Bevölkerung und erwartet deshalb eine bestimmte Antwort attitüdenstrukturierte Erwartungen: der Interviewer erwartet Widerspruchsfreiheit beim Befragten hinsichtlich bereits beantworteter Fragen

31. 31 Source of influence: interviewee pursuit of appreciation possible responses by interviewee „true“ answer inadequate answer „false“ answer dont know-answer denial of an answer explanation by additional information further inquiries Soziale Erwünschtheit: Besonders bei persönlichen Interviews vorhanden, aber auch bei Selbstausfüller-FragebögenSoziale Erwünschtheit: Besonders bei persönlichen Interviews vorhanden, aber auch bei Selbstausfüller-Fragebögen

32. 32 Additional sources of influence: situation presence of other persons noisy environment disturbances pressure of time

33. 33

34. 34 The survey process Problem What do I want to know? Statement of study objectives What are important concepts? What do I already know about the study objectives? Hypotheses/ research questions What assumption do I have? Operationalization of the problem: How can the interesting aspects be measured? Selection of type of survey or interview

35. 35 The survey process Study design an preparation Who should be interviewed? How many interviews do I need? Sampling Questionnaire construction and pretest Data collection Entering the data into the computer Data analysis Reporting results

36. 36 4. Allgemeines Vorgehen Ideen- und Materialsammlung Systematisierung Auswahl der untersuchungsrelevanten Aspekte Übersetzung der Programmfragen (aus der ersten dimensionalen Analyse) in Testfragen Finden von Indikatoren, mit denen sich die relevanten Sachverhalte messen lassen Systematisierung Ordnung der gesammelten Ideen und Materialien Notwendig, um eventuelle Lücken in der Ideen- und Materialsammlung zu erkennen Strategien: Theoretische Ordnung (Rückgriff auf Hypothesen) Ordnung in Form eines Ablaufschemas (z. B. Entscheidungs- oder Ereignisabfolge) Formale Ordnung (z. B. vom Allgemeinen zum Spezifischen) Systematisierung Ordnung der gesammelten Ideen und Materialien Notwendig, um eventuelle Lücken in der Ideen- und Materialsammlung zu erkennen Strategien: Theoretische Ordnung (Rückgriff auf Hypothesen) Ordnung in Form eines Ablaufschemas (z. B. Entscheidungs- oder Ereignisabfolge) Formale Ordnung (z. B. vom Allgemeinen zum Spezifischen)

37. 37 4. Allgemeines Vorgehen: Umsetzung der Programmfragen Gründe für die Übersetzung von Programmfragen Sprachliche Verständigungsschwierigkeiten, Begriffe werden falsch oder gar nicht verstanden, haben suggestiven Charakter oder sind emotional geladen Zu abstrakte Forschungsfrage Ausdrucksfähigkeit; sprachliche Befragung des Befragten nicht ausreichend, um eine einzelne Frage zu beantworten Beobachtungsgabe reicht nicht aus, Sachverhalte werden zu ungenau wahrgenommen Erinnerung zu schwach, um verlässliche Auskünfte zu bekommen Ermüdung zerstört Aussagebereitschaft, Programmfragen sind sehr anstrengend Misstrauen, Angst hindert am Sprechen Prestige-Bedürfnis verfälscht Antwort

38. 38 4. Allgemeines Vorgehen: Umsetzung der Programmfragen Sachverhalt wird als zu intim bzw. privat empfunden Bedürfnis nach widerspruchsfreiem Antworten kann zu Verzerrungen führen Sachverhalte unbewusst Höflichkeit gegenüber dem Interviewer

39. 39

40. 40 Types of questions What do I want to know? ? research questions What do I have to ask? ? survey questions survey questions can be differentiated by form by content by function (see questionnaire design)

41. 41 Types of questions: by form open-ended questions what, why, how etc. respondents answer in their own words e.g. „What do you like best about Helsinki?“ closed-ended questions limited number of alternative answers e.g. „Have you ever been to Munich?“

42. 42 Open-ended versus closed-ended questions

43. 43 Types of questions: by content measuring facts can be answered spotanously problem: may require investigation measuring knowledge what respondents know about a certain topic problem: may overstrain, frustrate

44. 44 Types of questions: by content measuring beliefs and attitudes personal opinions, interests, beliefs, predictions, preferences watch wording

45. 45 Types of questions: by content measuring behavior past, present and future behavior problem unconciousness memory biases

46. 46

47. 47 Wording questions and answer alternatives What is a good question? three aspects have to be regarded exact wording answer alternatives answer biases

48. 48 Wording simple and understandable short sentences, easy sentence construction, no double negatives avoid technical terms, foreign words, unknown abbreviations unambigous e.g. terms concerning time or distances concrete, not abstract issues should be observable and describable issues should be presented vividly

49. 49 Wording neutral avoid ideological or value-laden terms (e.g. dictator, racism) and biased phrasing

50. 50 Wording unidimensional only one issue at a time not suggestive suggestive = recommending a certain answer

51. 51 Answer alternatives two alternatives (dichotomous) by nature (YES-NO) artificial more than two alternatives (polytomous) exhaustive mutually excluding multiple responses possible

52. 52 Answer alternatives rankings preferences, ratings maximum: six objects rating scales preferences, interests, opinions, attitudes, behavior responses can be differentiated

53. 53 Scales: Likert-scale

54. 54 Scales: semantic differential

55. 55 Answer alternatives: scales how many points? depends on the question mostly: 4-7 points

56. 56 Scales: middle alternative or not?

57. 57 „Creative“ scales „How strongly do your TV-preferences match your partner´s preferences?“

58. 58 Answer biases order effects one question distorts another cognitive, content-related or emotional

59. 59 Answer biases consistency respondent wants to perform well answers may be coherent, not „true“ constrast questions may suggest different or reverse answers

60. 60 Answer biases effects of response order especially in case of a high number of alternatives on lists especially in face-to-face-interviews first and last alternatives are remembered better (primacy, recency) corrective: alternate order

61. 61 Answer biases response sets tendency towards the middle alternative tendency towards the extremes/ poles haphazard answers agreeing- and disagreeing-response bias non-opinions pseudo-opinions

62. 62 Answer biases reactance especially in case of suggestive, manipulative questions social desirability giving the socially acceptable answer answers according to percieved expectations, norms or values

63. 63 Answer biases: social desirability direct: „Do you often break speed limits while driving?“

64. 64

65. 65 Answer biases privacy in case of personal and private questions can vary strongly if unavoidable: ask „softly“ not at the beginning

66. 66

67. 67 Questionnaire design How to construct a questionnare? to guarantee a smooth flow adequate question order functional questions

68. 68 Questionnaire design at the beginning warm-up phase introducing the topic in the middle more complex questions if necessary: relaxation breaks

69. 69 Questionnaire design at the end easy questions sensitive questions demographic background questions length depends on problem and context paper-and-pencil: max. 20-30 minutes

70. 70 Questionnaire design question order along content-topical lines comprehensible, logic

71. 71 Questionnaire design types of questions and answer alternatives do not change too often e.g. open-ended and closed-ended questions scales do not produce monotony

72. 72 Questionnaire design: functional questions guide through the questionnaire warm-up questions familiarize with interview situation introduction questions to lead over linking different topics/ questions relaxation

73. 73 Questionnaire design: functional questions training questions e.g. in case of complex scales beware of exemplary answers! buffer questions to distract to prevent order effects

74. 74 Questionnaire design: functional questions funneling or filtering questions forking sorting out

75. 75 Questionnaire design: functional questions control questions to detect answer biases e.g. agree-response bias, „liers“ beware of considering people as liers!

76. 76 Questionnaire design: layout What should a questionnaire look like? easy to read no unusual fonts accentuation by bold type or underscores (no italics) single-column, panel format

77. 77 Questionnaire design: layout no page break within one question optical accentuation in case of multiple answer alternatives in case of scales in case of funneling or filtering questions

78. 78 Questionnaire design: layout no excessive use of funneling or filtering questions adequate space to answer open-ended questions possibility for annotations and comments

79. 79