Survey Research Questionnaire

1. 量化研究與統計分析 Survey Research Questionnaire 謝寶煖 台灣大學圖書資訊學系 pnhsieh@ntu.edu.tw

2. Survey Research • Ask questions • Interview • Questionnaire • Generalize the results • Survey research or survey project • Asking questions • Interview • questionnaire • Getting responses • Using that information

3. 何時要用問卷？ • 調查研究的資料蒐集工具(data collection tools) • 現有資訊不足以回答所欲探討的問題 • 問卷是提供所需資訊的最好工具（相較於訪談、實驗、或者是觀察） • 有贊助者和資源（人力和經費）完成調查研究 • 有調查結果的使用計畫

4. 問卷結果的應用 • 輔助決策（data-based decision making） • 例：小朋友假日不上圖書館 • 例：校園安全 • 輔助規劃、描述和界定 • 界定需求（需求評估 needs assessments）讀者對圖書館的需求是什麼？ 需要提供什麼樣的訓練對來幫助讀者有效利用圖書館？ • 決定意見（opinions）、態度（attitudes）、和信仰（beliefs）讀者對圖書館的態度是什麼？ • 界定興趣（interests）父母對圖書館所辮的各項閱讀渚動的興趣有多高？ • 界定感受（feelings）和知覺（perceptions）讀者對圖書館的價值的知覺如何？ • 描述行為（behaviors）父母會帶小朋友來參加那類的閱讀相關活動？

5. 建立調查專案 • Survey project的步驟與關鍵成功因素 (Critical Success Factors, CSF) • 步驟 1：初步規劃 • CSF：界定stakeholders和sponsors • 爭取組織的應有投入（buy-in） • 界定期末報告的對象（audience） • 界定可用的資訊資源

6. 建立調查專案 • 步驟 2：陳述問題，建立清楚、精簡和明確的目的(objectives) • CSF：有清楚的研究問題和精簡明確的研究目的 • 步驟 3：界定研究對象：誰有您所需要的資訊 • CSF：謹慎定義研究對象以確保您可以得到所需要資訊

7. 建立調查專案 • 步驟 4：決定適合研究對象的資料蒐集方式 • CSF：考量研究對象的技能和需求選用資料蒐集方式 （紙本問卷或是電子問卷） • 步驟 5：建立詳細的專案計畫 • CSF：建立理性的schedules和timelines（甘特圖） • 建立詳細的專案計畫和資源分配 • 建立合理、理性和預算，並落實 • 建立分折計畫，包括資料剖析（disaggregating data），以了解該括哪些人口統計問題 • 步驟 6：取得必要的許可，連繫研究對象，進行調查 • CSF：在調查專案開始時取得研究對象或主管機關的同意

8. 資料剖析 • Disaggregating Data • 將資料依分析目的加以分群，以便比較 • 性別 • 教育程度 • 用不用電子書 • ……

9. 建立調查專案 • 步驟 7：研擬問題 • CSF：研擬符合研究問題和研究目的的問題 • 有足夠的問題回應調查目的，但又不會多到讓人不想填或半途放棄 • 問卷的填答方式適合問題，清楚完整，而且適合研究對象而不需要解釋 • 填答的方式要配合研究對象的理解程度

10. 建立調查專案 • 步驟 8：設計問卷 • CSF：建立清楚完整的填答說明(directions) • 編排問卷讓受試者很易理解 • 設計一份看起來很專業有用又具功能的問卷 • 設計並建立信度(reliability )和效度(validity) • 步驟 9：選擇樣本，並規劃連繫和取得受試者合作的方法 • CSF：建立詳細的計畫以接觸研究對象 • 決定需要多少受試者 • 確認gate keepers，並取得研究對象的同意

11. 建立調查專案 • 步驟 10：研擬封面或邀請函 • CSF：善用第一分鐘來說服研究對象 • 撰述強而有力的邀請函和cover letter來說服參與或成為受試者 • 步驟 11：進行周延的前測(pilot test) • CSF：測試每個層面 • 從問題的用字遣詞到填答說明和版面 • 資料的編碼和分析 • 步驟 12：利用前測的資訊進行修正 • CSF：利用前測蒐集到的資訊進行必要的修正，即使需要額外的時間

12. 建立調查專案 • 步驟 13：發放問卷蒐集資料 • CSF：寄通知給選定的參與者 • 寄問卷給研究對象，選擇最有利的回收時機 • 進行跟催以提高問卷的回收率 • 寄送提醒通知(remindernotices) • 步驟 14：分析 • CSF：謹慎鍵檔，不斷檢查資料的合理性和品質，根據資料類型進行適點的分析 • 備份資料(data set)

13. 建立調查專案 • 步驟 15：善用資料做決策 • CSF：決策時，考量問卷以外的資訊來源 • 步驟 16：撰述結果和建議 • CSF：撰寫報告以滿足報告對象的需求

15. 誰要資訊？ 對調查專案的期望 對調查報告的期望 檢視問題 誰需要這些資訊？ 誰會用問卷結果做決策？ 誰對問題結果有興趣？ 誰控制預算？ 誰應該參與？ 誰是期終報告的讀者？ 有那些現有資訊可用？ Triangulation the information 不要問重複的問題 1. 初步規劃

16. 2. 陳述研究問題與目的 • The Guiding Question（研究問題） • 為什麼要做這個調查？ • 問卷的結果要怎麼用？ • 撰寫研究問題 • Identifying needs( needs assessment) • 何種策略可以提高資料庫/電子書/…的利用率 • 那類活動可以得到stakeholders和老師的支持 • Determining opinions, attitudes, and beliefs • 父母對公共圖書館的態度？（學前、小學、中學、社會新鮮人） • 老師/教授對學生利用圖書館的看法如何？ • 父母對孩子唸圖資系的意見如何？

17. 2.陳述研究問題與目的 • Identifying interests • 那些服務或活動應該維持，那些應該改變？ • 大一新生參與圖書館導覽活動的興趣如何？ • 父母參與親子閱讀活動的興趣如何？ • Identifying feelings and perceptions • 教授對學生報告中引用網路資源的感受如何？ • 教授對圖書館價值的認知如何？ • 學生對圖書館經驗的整體滿意程度如何？ • Describing behaviors • 學生/教授利用圖書館/網站/資料庫/…的頻率如何？（多常利用…？） • 教授會要求學生利用圖書館的那些資源或服務？ • 學生的報告/作業如何引用相關參考文獻？

18. 2.陳述研究問題與目的 • 根據研究問題發展研究目的 • 目的(objective)是您想要評量的理念或觀念 An objective is an idea or concept you want to measure. • 研究目的是從研究問題推導出來的，為問卷中的問題提供明確的指引 • 問卷的目的必須 • Clear • Concise • measurable

19. Guidelines for Writing Clear Objectives • Focus each objective on one concept or idea. • Do not use the word and. If one of your objectives use and, it probably is really two objectives. • Tie each objective to the guiding question.

20. 3. 界定研究對象 • Target Audience（問誰？） • 如何蒐集資料 • A paper-based questionnaire? • A web-based questionnaire?

21. 4. 界定資料蒐集方式 • 思考問題 • 問誰？（研究對象是誰？） • 從這群人身上蒐集資訊的最好方式是什麼？ • 當您選擇資料蒐集方式時要考慮些什麼？ • The mode of data collection • Interview • Mail • Telephone • Email • web

22. Paper-based Questionnaire • 收信 • 事前有被告知，或者有一封非常具有說服力的cover letter，不然大部份的問卷都會被當成廣告信，消失無蹤。 Q:匿名問卷您會更誠實填答，還是署名的問卷？ • 缺點：時間 • 通常得要花2-4周的資料蒐集時間，有時更長。 • 資料建檔也得要花時間，還容易key錯，資料檢誤也要花時間

23. Electronic Questionnaires • 三類電子問卷 • E-mail questionnaire • E-mail invitation linked to URL • Questionnaire on a web page

24. Electronic Questionnaires • E-mail Questionnaire • 通常以純文字(plain text)版本寄發，因為有些e-mail service是不處理圖或grid-type responses • 個別寄發加上title • 以密件副本大量寄送 • 回信(reply)功能會顯示回卷者的e-mail address，必須承諾不對外公開或不做其他用途

25. Electronic Questionnaires • E-mail Invitation Link to URL Questionnaire • E-mail 內容為邀請函 • 點選超連結填答放在web的問卷

26. Electronic Questionnaires • Web Page Questionnaire • 張貼在組織網站上的問卷 • 挑戰：接觸潛在受試者，引導其至網頁填寫問卷 • 好處 • 可以使用多媒體 • 可以使用grid-type responses • 可以利用程式過濾和檢查填答的一致性 • 成本低 • 回收時間短 • 受試者較多元

27. Electronic Questionnaires Q：可不可以同時使用網路問卷和紙本問卷？ • 同時發 • Follow-up • 紙本→網路 • 網路→紙本

28. Paper-based vs. Electronic Questionnaire • Cost: P>E • Speed: P<E • Coding: P>E • Representation: P<E • Technology: P<E

29. 5. 研擬詳細的專案計畫 • 何時需要問卷的結果 • 規劃timeline時，由deadline往前推 • 時間太緊時，可用備案 • Focus group:在設計問卷時以焦點團體集思廣益選擇8~12位預設對象，提供initial input • Telephone interview

30. 5. 研擬詳細的專案計畫 • 建立timeline(16步驟) • 初步規劃（6週） • 撰寫調查研究之目的、研究問題與詳細的研究目的（1週） • 選定研究對象（1週，與4重疊） • 決定資料蒐集方式（1週，與3重疊） • 研擬詳細的專案計畫（1週）把所有會發生的事情都想一遍，包括樣本大小、怎樣抽樣、怎樣連繫受試者、問卷的編製等。 • 取得必要的許可並與研究對象連繫。

31. 5.研擬詳細的專案計畫 • 擬問題，扣緊研究目的，使用匿名研究對象的填答方式。 （3週）包括stakeholders和sponsors的reviews。 • 編製問卷：版面編排，或把問卷掛上網。（1週） • 選擇樣本和計畫連繫受試者的方法。需發通知信(pre notification)：事先通知研究對象邀請其填答問卷。通常與前測同步。 • 撰寫邀請函給受試者，並研擬跟催做法。（1週）

32. 5.研擬詳細的專案計畫 • 問卷前測，做必要的修正，問卷定稿。（2週） • 利用前測資訊，修正調查專案的各項細節。（1週） • 把問卷張貼網頁，蒐集data。包括寄發通知信、邀請函和跟催。（2週） • 分析資料。（1週） • 利用調查結果做決策、給建議。（2週） • 撰寫結案報告。（2週）

33. 5.研擬詳細的專案計畫 • 界定完成專案所需資源(people resources) • 需要那些技能(skills)？ • 誰有這些技能？ • 如何取得？ • 界定完成專案所需經費(Budget) • 人工時 • 抽樣成本 • 前測成本（人+材料） • 連繫受試者的成本 • key-in 成本 • 網路問卷成本 • 資料分析成本 • 雜費（電話費、問卷印製費、郵費、報告印製費…）

34. 5.研擬詳細的專案計畫 • 資料分析計畫 • 確認需要蒐集的人口統計資料(demographic data) • Disaggregating the data • 研究目的 • 人口統計資料 • Demographic information，人口統計資訊 • 有關受試者(respondents)的描述性資訊(descriptive information)，例如性別、年齡、對於某種事物的經驗、教育程度等。 • 該問哪些人口統計資訊視研究目的和調查結果的應用而定。

35. 6.取得必要的許可以連繫受試者 • 必要許可視研究對象而定 • 小朋友，需要父母或監護人同意 • 館員，需要館長同意 • 學生，需要授課教師同意（甚至校長同意）

36. Checklist for Launching Your Survey Project • 您已經確定結案報告的對象？ • 研究問題確實反映您所關心的、您有興趣的、或您需要的資訊？ • 研究目的緊扣研究問題？ • 從研究目的所蒐集到的資訊足以支援您想要做的決策？ • 您所設定的研究對象確實可以提供有效且有用的資訊？ • 資料蒐集的方法是研究對象的能力可以勝任的？

37. Checklist for Launching Your Survey Project • 您已經確定調查專案的deadline（報告的截止日期）？ • 您已經根據deadline建立詳細的timeline？ • 您已經確定調查專案所需的各項資源？ • 您已經編列了合理的預算？ • 您已經設計了適當的人口統計問題，在分析時可用來剖析資料？ • 您是否已經取得必要的許可和支援，以確保計畫能順利進行？

39. 問對問題 • 好的問題可以提供所需的資訊 • 問題的問法不同，得到的答案也不同 • 調查研究最大的失誤就是設計不良的問卷(poorly worded questions) • 問卷設計者最大的挑戰就在如何將研究目的所涵蓋的理念(ideas)和觀念(concepts)轉譯成清楚、精簡的問題，當受試者回答每個問題時其理解恰與研究者所想的一致 • 受試者填答問卷，是在幫我門，所以我們應尊重受試者的時間，把問題寫清楚，而且只問我們會用到的資訊

40. 問對問題 • Map Questions to Your Objectives • Determine Question Content • Types of Item Formats • Determine the Length of the Questionnaire • Checklist for Asking the Right Questions

41. 設計問題以闡釋研究目的 • 研究目的：了解學生用電腦打報告的態度 • 問題： 1.我傾向於在電腦上寫報告 2.用鍵盤打字讓我無法有效思考 • 研究目的：了解教授對具備資訊素養學生的學習表現的認知 • 問題： 1.資訊素養學生的學業表現較為成功 2.資訊素養學生的學習成績較未具備資訊素養學生的成績高 • 在做前測前，請同行專家學者檢視問卷，看看有沒有與研究目的不太相關的問題

42. 決定問題內容 • Question Content • 文獻回顧 • 類似的調查研究 • 利用Focus Groups界定問題的內容 • 在設計問卷之前，焦點團體可以提供有關研究主題的相關資訊，了解預設研究對象對研究主題是怎麼想的，他們對一般性的觀念(general concepts)或特定名詞(specific terms)的理解，他們對問題的敏感度或困難度的看法。 • 理想的焦點團體組成是8-10人

43. 問項的類型 • 一份問卷中，針對每個問題的答案稱之為選項(Items) • 固定選項(fixed response)：提供一系列的選擇，讓受試者選擇 • 開放選項(open response)：由受試者填寫答案 • 謹慎使用 • 受試者通常會嫌麻煩 • 資料分析費工夫 • 該用哪種類型 • 視研究問題而定：您想知道什麼？ • 視問卷長度而定 • 視所需資訊類型而定 • 一份問卷可使用多種選項設計

44. Types of Item Formats • Fixed-Response Formats • Checklists • Adjective Checklist • Behavior Checklist • Other Types of Checklist • Ranking Format • Fixed-Sum Questions • Semantic Differential Scale • Rating Scales • Likert-Types Rating Scale • Open-Response Questions

45. Adjective Checklist • 用來蒐集受試者對一個主題、經驗或觀念的情感反應(affective reactions)的資訊 • 例：在貴系設立分館( 圖書館)，請圈選可以用來描述您的感受的辭彙。 • Unnecessary Elitist Needed Stimulating • Inconvenient Important Frustrating Unpleasant • Practical Useful Worthless Interesting • 相當容易設計，一個問題描述，搭配12至16個形容詞 • 正面和負面的形容詞數目要相等 • 想不出描述的形容詞，可以利用focus group來幫助您 • 可用來探討趨勢(trends) • 例：大學法人化、大學圖書館e化 • 蒐集支持與反對兩方的意見 • 網路問卷 • radio button

46. Adjective Checklist • 資料分析 • 計算每個形容詞被圈選的次數(全部受試者) • 計算個別受試者圈選正面形容詞與負面形容詞的次數 • 優點 • 容易設計 • 適用於各種不同的主題和情境(settings) • 適用於各種不同的研究對象。形容詞好好設計的話，小朋友、大學生、成人都適用 • 限制 • 無法表達受試者對主題的感受程度(degree of feeling) • 所條列的形容詞可能不夠周延

47. Adjective Checklist 設計原則 1.問題要說清楚 2.讓受試者知道要表達其感受 3.告訴受試者該怎麼做(圈選、畫底線、打勾等) 4.設計12~16個形容詞 5.正面的形容詞和負面形容詞的數目要一樣多 6.形容詞順序要隨機排列

48. Behavior Checklist • 用來了解受試者有什麼經驗、參與什麼活動或有興趣嚐試什麼活動 • 當貴館開始規劃新館時，下列各項活動您做了哪幾項？(請打勾) • 參觀其他大學圖書館 • 參觀國外大學圖書館 • 向教育部爭取經費 • 向企業募款 • 進行需求分析 • 與Adjective Checklist的差異在於，受試者回答的是做了什麼，而不是怎麼想的 • 知道受試者是否參與某項活動，但是不知道多常參與、喜不喜歡，或者有沒有幫助 • 網路問卷 • Radio buttons

49. Behavior Checklist • 資料分析 • 計算每個選項被勾選的次數 • 可以描述特定時點受試者的反應，可以在不同時間點施測，比較期間受試者的行為變化 • 結果通常以百分比或圖表來呈現 • 優點 • 提供有關受試者的經驗的資訊 • 限制 • 無法了解行為的發生頻率、是否喜歡等資訊 • 有些相關的行為可能會漏列

50. Behavior Checklist設計原則 • 1.問題要說明清楚(directions) • 2.說明要研究的是行為(behavior)或活動(activity) • 3.在說明中交代時間點(time period) • 4.用具體、明確的詞彙描述行為或活動