Theo dõi và đánh giá các chương trình bồi dưỡng và tăng cường năng lực

1. Theo dõi và đánh giá các chương trình bồi dưỡng và tăng cường năng lực 9/2/2007 Richard Torbin Viện Ngân hàng thế giới

2. Theo dõi là gì? Theo dõi là một hoạt động quản lý để đảm bảo rằng việc thực thi và các hoạt động đang được tiến hành như dự định - Phản hồi liên tục: chúng ta đang làm đúng cách không? - Chúng ta đang làm đúng việc không? - Chúng ta có nên thay đổi thiết kế chương trình không?

3. Đánh giá là gì? Việc đánh giá sẽ • Đánh giá xem một dự án hay chương trình có đạt được các mục tiêu đề ra không • Dựa trên những chuẩn mực trực tiếp hay gián tiếp để đánh giá hoạt động hoặc kết quả của một chương trình hay chính sách xem chúng có tác dụng hoàn thiện chương trình hay chính sách đó không.

4. Mục đích của theo dõivà đánh giá Tính giải trình • Chương trình có vận hành như đã định không? - Tính hiệu năng, chất lượng, tính thích hợp • Chương trình có đạt được các mục tiêu đề ra không? - Kết quả, tác động

5. Mục đích của theo dõi và đánh giá • Nghiên cứu xem - Những yếu tố nào làm cho chương trình vận hành hoặc không vận hành như dự định? - Những yếu tố nào giúp đạt được hay không đạt được kết quả? • Chương trình cần hoàn thiện như thế nào?- • Các kết quả đạt được có phải nhờ chương trình không?

6. Một vài khái niệm quan trọng Can thiệp: Hoạt động, chính sách hoặc chương trình nhằm dẫn đến sự thay đổi • Một đạo luật về giáo dục • Một chương trình đào tạo • Luật đầu tư nước ngoài ở Việt Nam Đầu vào: Nguồn lực tài chính, con người và những nguồn khác để phục vụ cho các hoạt động Đầu ra: Các sản phẩm, hàng hoá, dịch vụ • Số lượng các giảng viên được đào tạo • Số lượng trường học đã xây • Số lượng văn bản luật đã thông qua

7. Một vài khái niệm quan trọng (2) • Thành quả: Sự sử dụng hoặc kết quả của đầu ra, ví dụ: • Sức khoẻ trẻ em tốt hơn • Ô nhiễm không khí và nguồn nước ít hơn • Bảo vệ thị trường nội địa • Sự quy dẫn: Những tác động đã thấy có phải do sự can thiệp gây ra không? Ví dụ: • Chương trình đào tạo có dẫn đến những đạo luật tốt hơn không? • Chương trình hành động quốc gia Việt Nam vì trẻ em có giảm lao động trẻ em không?

8. Mô hình chương trình Tác động Các kết quả dài hạn Các kết quả ngắn hạn/trung hạn Thành quả Đầu ra Các kết quả trước mắt Sự can thiệp Các dịch vụ Đầu vào Các nguồn lực

9. Áp dụng mẫu chương trình vào đào tạo Can thiệp Đầu ra Thành quả Tác động Đầu vào • Các nguồn lực • Tiền • Nhân lực • Cácnguồn phụ trợ • Phương tiện • Các dịch vụ • Các phương án học tập • Những dịch vụ xây dựng năng lực khác • Các kết quả ngắn hạn • Kiến thức được áp dụng trong môi trường làm việc ở cấp độ quốc gia • Sự ủng hộ mạnh mẽ hơn đối với sự thay đổi về thiết chế ở mức độ quốc gia • Các kết quả dài hạn • Những thiết chế, chính sách và thực tiễn tốt hơn ở cấp độ quốc gia • Các sản phẩm • Những người tham gia có thêm kiến thức và kỹ năng • Những tổ chức được hoàn thiện hơn

10. Áp dụng mẫu chương trình để giảm tử vong trẻ em Đầu vào Can thiệp Đầu ra Thành quả Tác động • Các nguồn lực • Tiền • Nhân lực • Phụ trợ • Các dịch vụ • Chăm sóc trước khi sinh • Phòng ngừa • Hộ sinh • Tiêm phòng • Các sản phẩm • Sử dụng dịch vụ trước khi sinh nhiều hơn • Nhiều trẻ được tiêm phòng hơn • Lợi ích • Những người mẹ khoẻ mạnh • Những đứa trẻ khoẻ mạnh • Sự thay đổi • Giảm tử vong trẻ em • Giảm nghèo đói

11. Khung đánh giá cơ bản • Vạch các câu hỏi để đánh giá • Chọn cách thiết kế nghiên cứu đánh giá • Tìm hiểu logic của chương trình • Phát triển các chỉ số và biện pháp • Phát triển chiến lược thu thập dữ liệu • Xác định chiến lược phân tích

12. Các câu hỏi để đánh giá - Thiết kế chương trình • Thực hiện chương trình • Hiệu quả • Tác động… Sự đánh giá nhằm trả lời các câu hỏi về:

13. Các câu hỏi để đánh giá Tác động: Chương trình đã tạo nên khác biệt gì? } • Làm sao để biết chương trình có hiệu quả? • Làm sao để xác định được các mối quan tâm chính đã thay đổi là do chương trình? • Chúng ta đo đếm các kết quả như thế nào? • Làm sao để xác định liệu các đầu ra và các hoạt động đã tạo ra các kết quả tối ưu chưa? Trả lời các câu hỏi này chính là vai trò của theo dõi và đánh giá

14. Một vài ví dụ 1. Những thành quả hay hệ quả nào của khu công nghiệp năng lượng gas Cà Mau? 2. Khu công nghiệp hoá dầu Dung Quất có làm giảm xuất khẩu dầu từ Việt Nam không? 3. Khoá tập huấn này có chất lượng và tính hữu dụng ra sao?

15. 4 cấp độ để phát triển các biện pháp và chỉ số cho đào tạo • Cấp độ 1: Những người tham gia có ý kiến gì về hoạt động đào tạo? • Cấp độ 2: Những người tham gia đã nhận được những kiến thức/kỹ năng nào? • Cấp độ 3: Hành vi của những người tham gia đã thay đổi ra sao? Họ có áp dụng các kiến thức/kỹ năng mới trong công việc không? • Cấp độ 4: Những kiến thức, kỹ năng hoặc hành vi mới của những người tham gia có dẫn đến những tác động trong tổ chức hoặc xã hội không?

16. Cách phân loại của Kirkpatrick Cấp độ 1: Phản ứng Cấp độ 2: Học hỏi Cấp độ 3: Hành xử Cấp độ 4: Kết quả Khung lý thuyết nâng cấp Cấp độ 1: Phản ứng Phản ứng cảm tính Suy xét vị lợi (có áp dụng được không, thích hợp không, hữu dụng không) Cấp độ 2: Học hỏi Kiến thức nhận được ngay Duy trì kiến thức Thể hiện hành vi/kỹ năng Cấp độ 3: Chuyển giao -Hành vi được gìn giữ và áp dụng tại nơi làm việc Cấp độ 4: Kết quả - Tác động lên tổ chức Xem lại khung lý thuyết của Kirkpatrick

17. Những chỉ số thông minh • S - Specific = đặc thù (các biện pháp khớp với các kết quả) • M - Measurable = đo đếm được (làm sao để có thể theo dõi được) • A - Attainable = có thể làm được (tính thực tế) • R- Relevant = phù hợp (với kết quả dự tính) • T- Timebound = xác định về thời gian (thể hiện quãng thời gian nhất định)

18. Cảm ơn các quý vị!