SURVEY RESEARCH

1. SURVEY RESEARCH Reza Aminy reza@systemicgroup.com s129002kl@yahoo.com

2. Survey Research • Typical features of professional survey research: • Sejumlah sampel yang representatif melalui nonprobability sampling • Systematic procedures to ask and record • Answers numerically coded and analyzed with the aid of statistical software.

3. Systematic procedures (1) • Survai: • Wawancara • Self-administered questionnaire • Kombinasi • Administrasi perlu standar agar reliabel

4. Systematic procedures (2) • Tergantung tujuan: • Unstructured interview. The objectives very general, diskusi lebar, pertanyaan dibuat secara spontan. Probing. • Structured interview. Very specific objectives, pertanyaan sudah dibuat tertulis • Semistructured interview.

5. Analisa • Exploratory, descriptive  bentuk analisa relatif lebih mudah seperti skema, tabulasi, dsb. • Explanatory, hubungan antarvariabel  relatif lebih rumit seperti multiple regression, analisis faktor, dsb.

6. Secondary analysis • Secondary analysis: analisis terhadap data hasil survai orang lain (data sekunder) • Misalnya analisa terhadap data sensus, data polling  social trends • Murah • Catatan: item pool.

7. Penggunaan dan keterbatasan survey (1) • Opinion polls to people, events, and policies • Marketing researches by business, ad agencies  reactions to new products & services, customer satisfaction, audience profiles, etc. • Pemerintah  informasi untuk perencanaan, decision making, policy assessments (di luar, di Indonesia tidak pernah ada)

8. Penggunaan dan keterbatasan survey (2) • Surveys are used extensively for both descriptive and explanatory purposes • The most effective means of social description  detailed and precise info about large heterogeneous populations

9. Penggunaan dan keterbatasan survey (3) • Pembagiannya: • Informasi latar belakang sosial (usia, agama, dsb.) • Laporan tingkah laku di masa lalu (brapa jam main game dalam sehari?) • Attitudes, beliefs, values • Intensi untuk bertingkah laku • Pertanyaan2 sensitif

10. Penggunaan dan keterbatasan survey (4) • Kelemahan dalam explanatory research: di eksperimen ada manipulasi variabel (treatment)  manipulasi independent (causal) variable yang berefek pada dependent (effect) variable. • Survey mengukur yang diukur sekali jadinya masalah interpretasi.

11. Penggunaan dan keterbatasan survey (5) • Masalah kontrol, eksperimen memanipulasi/mengontrol langsung extraneous variables supaya konstan • Survey mengontrolnya dengan statistical control dalam analisa data

12. Penggunaan dan keterbatasan survey (6) • Survey kurang adaptable kalau sudah berjalan, kalau eksperimen design-nya bisa saja diubah • Kelemahan yang lebih besar: susceptible to reactivity  systematic measurement error (socially desirable, dsb.)

13. Penggunaan dan keterbatasan survey (7) • Survey mencatat laporan dari tingkah laku bukan tingkah lakunya sendiri; bukan observasi: • tidak jujur • salah paham terhadap pertanyaan • lupa pada hal yang ditanyakan atau opinions/attitudes yang tidak stabil

14. Penggunaan dan keterbatasan survey (8) • Pertemuan singkat kurang baik untuk mendapatkan pemahaman konteks, field research bisa lebih baik.

15. Survey research designs • The basic idea of survey is to measure variables by asking people questions and then to examine the relationships among the measures. • The major design option is to ask the questions once or to repeat the questions over time.

16. Cross-sectional designs • Cross-sectional designs: data dikumpulkan dalam satu periode waktu singkat dari sampel atau “cross section” responden yang dipilih untuk mewakili populasi target • Satu periode singkat misalnya 1-2 bulan

17. Longitudinal designs (1) • Karena cuma dalam satu waktu saja, cross-sectional kurang cocok jika ingin melihat proses dan perubahannya, untuk itu lebih baik menggunakan penelitian dengan longitudinal designs • Longitudinal designs: pertanyaan2 yang sama ditanyakan pada dua atau lebih waktu yang berbeda

18. Longitudinal designs (2) • Pertanyaan bisa ditanyakan pada sampel yang sama atau sampel dari populasi yang sama: • Trend study: repeated cross-sectional design untuk melihat variabel2 • Panel study: pada sampel yang sama untuk melihat perubahan pada individu2

19. Langkah2: Perencanaan (1) • Tahap perencanaan/persiapan • Tahap pengambilan data (field administration) • Tahap pengolahan data (data processing & analysis)

20. Langkah2: Perencanaan (2) Research objectives Literature review Pilih unit analisis Pilih variabel Sampling plan Alat penelitian

21. Langkah2: Perencanaan (3) • Structured atau unstructured? • Kalau misalnya hipotesis, biasanya structured. Mengurangi error dalam pengambilan data. • Unstructured perlu peneliti yang pintar dan terlatih • Kadang2 responden irritated, satu arah, pilihan kurang tepat, dll. • Bangun rapport dan jelaskan

22. Langkah2: Perencanaan (4) • Teknik pengambilan data? • Wawancara tatap muka (face to face interview) • Phone interview • Self-administered questionnaires • Mixed mode survey • Tambahan: e-mail survey dan web survey

23. Face to face interviewing (1) • Close-ended dan open-ended questions • Nulis sendiri lebih malas daripada menjawab • Self-administered questionnaire responden bisa baca semuanya dulu

24. Face to face interviewing (2) • Interviewer ada: • bisa menjelaskan kalo interviewee bingung • bisa probing • bisa memastikan semua pertanyaan terjawab (terutama pertanyaan sensitif, bisa dijelaskan buat apa, atau anonimitas)

25. Face to face interviewing (3) • Wwcr tatap muka response rate tinggi (di-wwcr menarik, susah bilang tidak, kesannya penting kalo kredibilitas bisa dibangun (kesan pertama)) • Wwcr bisa lama • Bisa ada stimulus seperti gambar/foto, dll

26. Face to face interviewing (4) • Biaya mahal: rekrutmen iter, pelatihan, supervisi, fee, biaya2 wwcr dsb • Kesulitan mencapai sampel • Bisa ada bias iter • Computer-assisted personal interviewing (CAPI): program berisi instruksi dan question wording, inconsistency check, dsb.

27. Telephone interviewing (1) • Lebih hemat waktu dan biaya walau lebih mahal daripada mail questionnaire • Response rate hampir sama • Orang yang tidak punya telepon atau teleponnya tidak tercatat tidak akan menjadi sampel • Bangun rapport agak susah • Pertanyaan harus sederhana dan singkat

28. Telephone interviewing (2) • Computer-assisted telephone interviewing (CATI): automating various data collection tasks. Sampling and dialing phone numbers, call-back scheduling, introductions and questions, dsb.

29. Self-administered questionnaires (1) • Bisa diserahkan langsung bisa dikirim (mail survey) • Paling murah: dll. Staf sedikit • Perlu waktu cukup banyak • Sampel bisa banyak, lokasi tidak terlalu menjadi masalah

30. Self-administered questionnaires (2) • Responden bisa menjawab di waktu luangnya • Ada waktu untuk berpikir • Lebih privat ngisinya • Masalah alamat • Response rate rendah

31. Self-administered questionnaires (3) • Harus dibikin agar cost dari responden sekecil mungkin, harus sangat mudah menjawab, sangat murah, jawabnya cepat dsb. • Harus dibuat survai terlihat penting, tujuan & manfaat, cover letter • Bagus dan menarik • Face validity tinggi • Konfirmasi sampel dulu • Tanya apa sudah diisi, kirim ulang

32. Self-administered questionnaires (4) • Menarik: minat, tujuan, harapan • Item yang menarik baru yang membosankan • Bisa ada yang skipped  jelaskan knapa penting ditanyakan • Iter bias hilang, tapi advantages-nya juga: penjelasan, probing, kontrol

33. Catatan • Coverage error: sampling frame tidak meng-cover semua anggota populasi • Sampling error: beda antara estimasi nilai populasi berdasarkan sampel dengan nilai populasi yang sebenarnya • Nonresponse error: sampel yang tidak menjawab • Measurement error: respon yang tidak tepat karena responden, iter, alat, atau pengolahan data

34. Langkah2: field administration: iter recruitment (1) • Iter selection: lebih baik kalo pengalaman dan common sense-nya baik terutama kalo musti probing, musti pintar ngejar data • Artikulasi jelas • Kepribadian menarik, ramah, kesan bisa dipercaya

35. Iter recruitment (2) • Penampilan rapi, bisnis • Tidak prejudiced/berpandangan stereotypical • Mendengar aktif • Neutral probes • Bisa mencatat respon dengan baik

36. Iter training (1) • Training: • Iter harus tahu tujuan penelitian, populasi dan sampling plan, dan yang relevan lainnya • Basic interviewing techniques: bagaimana supaya responden bisa kerja sama, bangun rapport, teknik bertanya yang tidak bias, improvisasi, dsb. • Pembukaan dan penutup • Interview schedule • Demo kemudian role-playing

37. Iter training (2) • Training sessions: • Introduction • Teknik2 • Penjelasan bidang, bacaan yang perlu • Penjelasan alat, per item

38. Ujicoba • Paralel dengan urusan iter, kalau bisa alat sudah jadi buat pelatihan iter • Draf alat diujicobakan ke responden yang memiliki karakteristik sama dengan sampel nantinya

39. Gaining access (1) • Cover letter penting untuk mempersuasi calon responden dengan cara: • Identifikasi siapa kita • Menjelaskan tujuan dan signifikansi • Manfaat buat orang tersebut atau lainnya • Menjelaskan pentingnya jawaban responden, bisa mempengaruhi sesuatu, dan perlunya kerjasamanya

40. Gaining access (2) • Identifikasi dan responnya terjaga dan akan digabung dengan jawaban orang lain • Bahwa mengisinya bisa cepat • Bahwa tidak memaksa/intrusif • Tawaran mendapat hasil penelitian • Insentif

41. Wwcr (1) • Response effects “the amount of the error in response to a question that is associated with a particular factor” • Misalnya responden lupa dan menjawab seadanya • Iter tidak sengaja memperlihatkan ekspektasi jawaban

42. Wwcr (2) • Itee ingin mengesankan iter • Itee tidak menyukai iter • Itee malu • Itee lagi repot • Latihan sensitivitas buat iter

43. Wwcr (3) • Three basic rules are suggested: • Courtesy, tact, and acceptance. Tidak boleh mendebat itee, verifikasi boleh. Jangan kaget, setuju atau tidak setuju • Baju harus sesuai • Confidentiality, data yang didapat harus dijaga

44. Wwcr (4) • Memulai interview. Perkenalan, identifikasi, penjelasan singkat. Siap2 menjawab pertanyaan itee mengenai penelitian ini. Pemberian cover letter dsb. Tekankan hal yang tampaknya penting buat itee (sensitivitas) • Bangun rapport, bikin relaks • Jangan kelamaan bangun rapport, karena itee sibuk • Fokus pada wwcr jangan terlalu lama ke mana2, eye contact

45. Wwcr (5) • Jangan stereotyping • Iter harus familiar banget dengan alat • Tanya sesuai pertanyaan dan urutan • Jangan mengasumsikan jawaban (misalnya mengangguk-angguk mengerti, (tidak baku juga)), jawaban dari itee harus jelas

46. Wwcr (6) • Suara jelas, pertanyaan musti ditangkap • Jangan mengindikasikan jawaban, jangan usulkan jawaban, ulang pertanyaan • Neutral probes • Masalah pencatatan

47. Supervisi dan QC • Setiap sampel sudah menjawab sesuai jadwal • Progres report dari iter, bahan2 yang diperlukan, fee • Cek data hasil survai • Regular meeting: progres, masalah, rencana • Availability: iter mungkin perlu menghubungi, nanya2 dsb. • Ikut dalam beberapa wwcr