Patton 以利用為焦點的評鑑

1. Patton以利用為焦點的評鑑 指導老師：鄭新輝 博士 報告人：蔡秉憲　T09712023

2. 報告內容 • Michael Quinn Patton簡介 • 「以利用為焦點的評鑑」之意涵 • 「以利用為焦點的評鑑」的前提 • 「以利用為焦點的評鑑」的實施流程 • 「以利用為焦點的評鑑」的議題 • 「以利用為焦點的評鑑」的特色 • 結論與建議

3. Michael Quinn Patton簡介 • Patton從威斯康辛大學獲得社會學博士學位，於明尼蘇達大學任教18年（1973年至1991年），並任社會研究中心主任5年。 • 持續參與國際組織和國家計畫，改善教育、人性化服務、環境、公共衛生、就業、農業推廣、藝術、刑事司法、扶貧、交通、績效指標、有效治理和遠景規劃等。 • Michael Quinn Patton at IDRC leading a workshop on evaluative thinking. (IDRC Photo: Kevin Conway) • Patton在國際發展研究中心領導了一場關於評鑑思想的研討會。

4. 「以利用為焦點的評鑑」之意涵 • Patton（1997）將方案評鑑定義為：是系統化蒐集有關方案的活動、特徵與成果的資訊，以判斷方案、改進方案效能、並通知有關未來方案規劃的決策歷程，是一種為特定使用者在特定用途上所做的評鑑。 • 評鑑中的目的可以是形成性、總結性或發展性的、任何一種類型的資料（質化、量化、混合）、任何一種設計（實驗的、自然探究的）、任何的焦點（過程、成果、影響、成本／效益等）、評鑑的成功與否是由評鑑的實用性以及真實的使用狀況來判定（Patton,2000）。

5. 增進評鑑的實用性（Patton,1994） • 評鑑人員定義並了解決策者的個人特質。 • 定義並將焦點置於相關的評鑑問題。 • 在評鑑的過程中，重點放在質性方法論運用，同時也要關切方案中變數的陳述。 • 方案行動理論的建構必須以「對結果的意義」來思考。 • 不同資料蒐集方法的選擇，是依不同情境而定，並非事先指定的。

6. 實例一：企業界

7. 實例二：學校

8. 「以利用為焦點的評鑑」的前提 • 意圖使用者對意圖使用的承諾是評鑑的趨力。 • 有關於使用的策略規劃，是從評鑑一開始就進行，並且是持續性的。 • 評鑑是使用者導向的，焦點在特定的、可定義的個人。 • 界定主要的意圖使用者，焦點圍繞在意圖使用者對方案所持有的興趣。 • 將焦點置於一些事項上，置於意圖使用者的意圖使用是最有用的。 • 將焦點置於意圖使用者上，需要有計畫且深思熟慮地選擇評鑑的目的與用途。 • 意圖使用者的高品質參與，會導致高品質、有用的評鑑。

9. 「以利用為焦點的評鑑」的前提 • 有用的評鑑必須是情境化、適應性的設計。 • 目標是高品質的參與，而不是大量的參與。 • 評鑑人員在信用及正直受到質疑時，對評鑑有利害關係，因此評鑑人員要「行動－反應－調適（active-reactive-adaptive）」。 • 評鑑人員要承諾去促進使用。 • 評鑑的使用會由於報告的與傳播的對象與方法等而有所不同。 • 報告與傳播可由不同的意圖使用者拿來做決策、改進方案、改變思想及產生知識。 • 考量財務及時間成本，明確指出並編列預算才不致於使實用性缺乏資源而受限。

10. 以利用為焦點的評鑑的實施流程 • 界定意圖使用者：以利害關係人（shakeholder）的分析為起點，定義意圖使用者的利益，找出主要的意圖使用者。這些意圖使用者可以任何形式參與討論。 • 評鑑者和意圖使用者對評鑑的用途須達成共識，並決定評鑑的焦點：評鑑者和意圖使用者必須對評鑑的用途、方案的實施、對方案的認同度等達成共識。 • 研究方法、測量及設計的決定：對於研究的設計如量化或質性的資料，研究方法的適切性、實用性、準確性、成本加以討論。 • 發送評鑑報告：評鑑發送的對象，除原先的意圖使用者之外，也可以發送給一般大眾，以符合公共績效責任。

11. 決定研究方法、測量及設計 實施流程圖 發送評鑑報告 界定意圖使用者 Patton(2000) 決定評鑑焦點及用途

12. 「以利用為焦點的評鑑」的議題 Patton（2003）認為評鑑時需要注意以下八項議題： • 使用者的反應與技術品質：確保採用的方法與量測是適切的。 • 使用者的重組：在評鑑過程中可能流失原有的意圖使用者，因此必須重新安置與組織。 • 建立評鑑使用的能力：發展行政管理、職員對評鑑邏輯與價值的了解、發展特定的程序以將評鑑整合到方案的規劃與發展中、將評鑑與組織的學習相連結等。 • 依評鑑的目的改變評鑑人員的角色：評鑑人員所要扮演的角色會依評鑑目的與使用者的需求來改變，唯一不變的角色是協商者的角色。

13. 「以利用為焦點的評鑑」的議題 • 以利用為焦點評鑑的政治支持：評鑑人員與決策者共同分擔責任，提供政治及實務的論壇，讓使用評鑑結果的關係人參與。 • 評鑑人員需要特別的技能：對政治的理解力、團體促進、辨認內部組織的動態、使用者友善溝通等。 • 評鑑的誤用：誤用最常發生在政治利益的用途。 • 使用者焦點的倫理議題：倫理議題可由評鑑人員與參與者建立共同價值觀的共識來達成，違反倫理標準時可適時給與負向回饋。

14. 「以利用為焦點的評鑑」的特色 • 重視情境評鑑（situational evaluation）：評鑑的使用乃是使用者根據自身的需求選擇一個最適當的內容、模式、方法、理論或用途的過程，一個評鑑是依據一群相關的人及他們所處的情境而設計的。 • 強調意圖使用者的參與：評鑑焦點在意圖使用者身上，評鑑者的角色僅是協助意圖使用者達成做決定的目的，評鑑者與意圖使用者需要在評鑑過程中不斷協商。 • 重視評鑑者與意圖使用者的協商過程：評鑑者與意圖使用者之間的協調過程是「主動—反應—調適」。 • 評鑑設計彈性化：Patton主張方法論的混合，強調採用三角檢證來強化研究的結果，這樣的結果呈現了不同研究方法對真實世界裡細微差異的敏感度。

15. 結論與建議 • Patton主張「將意圖使用者納入評鑑方案中，並與評鑑者協商」有其必要性。自我評鑑實施時，受評鑑者與實際參與評鑑者具有重疊性，受評鑑者可以與其他評鑑者進行協商與溝通。 • 因應外部評鑑所作之內部評鑑，若能將意圖使用者—上級單位納入實際參與評鑑者之中，得以促進學校與上級單位的協商或溝通，有助於學校具體了解上級單位的期望。 • 建議學校進行評鑑方案時，須確認意圖使用者，並將之納入評鑑小組之中，以便進行協商，使學校具體了解上級單位對評鑑結果利用性的考量。 • 評鑑結果的利用必須化為實際改善現況、解決問題、提升品質等策略，落實於教育現場中成為具體之解決策略。

16. 報告完畢敬請指教