TAMAM project workshop using questionnaires for data collection

1. TAMAM project workshopusing questionnaires for data collection Dr. Ali AlBulushi

2. What is a questionnaire? • A research tool for data collection • It is a tool used to collect information/data from usually large population about a specific phenomenon under investigation. • The term ‘questionnaire’ used in different ways: • often refers to self-administered and postal questionnaires (mail surveys) • some authors also use the term to describe structured interview schedules (telephone or face-to-face)

3. Why a questionnaire • Target large amount of people • Use to describe, compare or explain a phenomenon • Can cover a wide range of activities and behaviour, knowledge, attitudes, preferences • Specific objectives, standardised and highly structured questions • Used to collect quantitative data – information that can be counted or measured.

4. What are the strengths and limitations of questionnaires? Let’s get some from you!

5. Strengths of questionnaires • Helps to collect background and baseline information easily • Can target large number of people • Reach respondents in widely dispersed locations • Can be relatively low cost in time and money • Relatively easy to get information from people quickly • Standardised questions • Analysis can be straight-forward and responses pre-coded • Low pressure for respondents • Lack of interviewer bias (possibility of ‘ghost interviewer’ effect)

6. Limitations of questionnaires • Low response rate and consequent bias and confidence in results • Unsuitable for some people (e.g. poor literacy, visually impaired, young children) • Question wording can have major effect on answers • Misunderstandings cannot be corrected • No opportunities to probe and develop answers • No control over the context and order questions are answered • No check on incomplete responses • Seeks information only by asking, can we trust what people say? e.g. issues with over-reporting

7. Questionnaire preparation • Establish the purpose and/or guiding question of the questionnaire • Construct the questionnaire • Plan for the questions in light of your purpose • Develop the questions • Plan for the administration

8. Develop the questions • Types of Questions • Dichotomous questions (YES/NO) • MCQ • Scaled response (Likert scale) • Ranking • Checklist • Open-ended It’s not necessary to have the same type of questions all through the questionnaire

9. Dichotomous Question • Have you taught the ENGLISH basic education curriculum to grade grade 8? ☐ YES ☐NO • Multiple Choice Question • The new Basic Education Curriculum of English is: • A waste of time; • An extra burden on teachers • Not appropriate to our school • A useful complementary curriculum • Well-presented-and practicable

10. Scale responses (Likert scale)

11. Ranking • Please indicate your priorities by placing numbers in the boxes to indicate the ordering of your views, 1=the highest priority, 2=the second highest, and so on. • The proposed amendments to the English basic education curriculum might e successful if the following factors are addressed: • The appropriate material resources are in schools ☐ • The amendments are made clear to all teachers☐ • The amendments are supported by the English team☐ • The necessary staff development is assured☐ • There are improvements to students achievement☐

12. Checklist • Do you have a scheduled time outside class to assist your students? ☐ YES ☐ NO • How many students do you assist outside class time on an average teaching day? _____ students • Open-ended • What are the difficulties that you personally face in managing the interaction between your students in the classroom?

13. Open vs. closed questions (oppenheim, 1992)

14. TASK 1 Please see the handout about the questionnaire pitfalls task prepared in Arabic.

15. هل تفضل المواد الدراسية الفلسفية والنظرية وأكاديمة الطابع أم المواد العملية البسيطة والتي لها صلة مباشرة بالواقع العملي لك كطالب؟ سؤال موَجّه يقود المستجيب الى أجابة معينة دون أخرى

16. ما هي الجوانب المحددة لوضع المناظرة الميتافيزيقية التي تود أن تراها معكوسة في مادة دراسية كالمهارات الحياتية والتي تستهدف طلاب الصف ١١ إناث في بيئة ساحلية؟ سؤال رفيع الثقافة حتى وإن تم توجيهه للمثفقين جداً

17. هل تفضل أن تدرّس مقرراً بدون وزن أكاديمي (٣ أو ٤ أو ٥ حصص) لطلاب غير متفرغين (الأربعاء ظهراً فقط) ومساءاً واحداً فقط في الأسبوع ويشمل تعويضاً مالياً عن المواصلات، أم مقرراً أطول بدون وزن أكاديمي (٦ أو ٧ أو ٨ حصص) لطلاب متفرغين، أم مقرراً كاملاً مصمم للمتفرغين في جزء من يومٍ محدد ولكن بدون حضور حصص مسائية؟ سؤال معقد

18. أن كان عمرك أكثر من ٤٥ عاماً ولم تحضر أي دورة تدريبية خلال الخدمة، ضع علامة ✓في خانة (أبداً) وعلامة ✓أخرى في خانة (كبير السن) سؤال أو تعليمات مثيرة للحساسية

19. ما مدى شعورك بعدم تسجيل معلمين في دورات تدريبية بدون وزن أكاديمي خلال الخدمة من المعلمين الذين لم يكملوا عامين في سلك التدريس؟ سؤال بصياغة نفي مزدوجة

20. أجب في الصفحات ٥ و٦ و٧ عن كل سؤال يتعلق بأراءك عن الدورات التدريبية أثناء الخدمة بشكل عام ومعتقداتك عن قيمتها في الحياة المهنية للمعلمين على رأس عملهم؟ سؤال مفتوح جداً في أستبانة تكمل ذاتياً من المستجيب وتتطلب وقتاً كبيراً أيضاً

21. هل يقوم طفلك بأنجاز واجباته بإنتظام؟ كم يبلغ عدد الطلاب في المدرسة؟ كم عدد أجهزة الحاسب الألي في المدرسة؟ تعددية التفسير للعبارة أو جزءٍ منها. ما معنى (بإنتظام)؟ كم عدد الطلاب جميعها مع المتغيبين بعذر (كرحلة مدرسية) أو بدون عذر؟ كل أجهزة الحاسب الآلي بما فيها العاطلة عن العمل أو مع الخاضغة للتصليح خارج المدرسة؟

22. أيهما تفضل ال PGKLM أم SNDP ؟ وجود أختصارات غير مفهومة

23. كم عمرك؟ ١٥-٢٠، ٢٠-٣٠، ٣٠-٤٠، ٤٠-٥٠، ٥٠-٦٠ فئات غير منفردة / منفصلة

24. يجب ان تدرس مادة المهارات الحياتية للطلاب الغير مجيدين فقط ولكن يمكن أن تقدم لجميع الطلاب في المراحل العليا. سؤال مزدوج

25. Task 1 Feedback: Avoiding pitfalls in question writing • Abbreviations • Ambiguity and vague wording (fairly, generally, you – the respondent, household, family?) • Doubled barrelled – ‘do you speak English or French?’ • Double negatives – ‘Do not you de-emphasize corporal punishment?’ • Inappropriate categories • Leading questions – ‘do you like indoor confined individualistic sports or outdoor open team-based sports in the fresh air?’ • Memory issues – ‘list at least 5 of your best subjects at schools and the teachers who taught them.’ • Social desirability • Question complexity

26. TASK 2 Each school should have brought a questionnaire drafted to be used in TAMAM project. Exchange your questionnaires and try to give feedback to the questionnaire you received. Focus on the design, layout, questions, purpose, instructions, length, user-friendliness, etc.

27. If you were sending out a questionnaire, what would you do to maximise the response rate and minimize non-response?

28. Techniques for minimizing non-response • Good design: thoughtful layout, easy to follow, simple questions, appearance, length, degree of interest and importance, thank people for taking part • Pre-notification • Explanation of selection • Cover letter • Incentives • Small future incentives, e.g. prize draw • Understanding why their input is important • Reminders • Confidentiality • Anonymity • Pre-paid return envelopes