EVALUATION FOR LEARNING: Sekilas Tentang Evaluasi Dampak

1. EVALUATION FOR LEARNING:SekilasTentangEvaluasiDampak AyodhaPramudita

2. Apaituevaluasi? Aktivitas yang sistematisdankontinyuuntukmenilaikonseptualisasi, desain, implementasi, danmanfaatkebijakan/program

3. MengapaMengevaluasi? Evaluasimemberikaninformasimengenaikualitassuatu program. Tanpaitu, kitatidaktahuapakah program tersebutefektif, atauapakahdana yang dikucurkanuntuk program tersebutsudahefisien? Evaluasikebijakanpadadasarnyaharusbisamenjelaskanseberapajauhkebijakandanimplementasinyatelahdapatmendekatitujuan. Karenaituevaluasidilakukandalamrangkamengukurefeksuatu program dalammencapaitujuan yang ditetapkan. Yang terpenting, suatuevaluasihendaknyamampumemberikaninformasikritis yang bergunasebagaifeedback dalammelakukanperubahankebijakankedepan: bisajadisuatukebijakandipertahankan, dikembangkan, ataudihentikan.

4. Mengapaevaluasipenting? Evaluasimengawalsuatu program agar tetapberadapada ‘rel’-nyaevaluasiimplementasi (formative evaluation). Evaluasiimplementasipentingkarenainimembantumengidentifikasimasalahdalamimplementasisuatu program sebelum program tersebutberakhir. Jadi, perubahanterhadap program masihmemilikidampak. Tell you whether the Program or Intervention worked! Yup, Setelahmenelaahproses ‘kelahiran, kehidupan, dankematian’ kebijakan, kompleksitas lain darisikluskebijakanadalahpersoalan “apakahkebijakanituadapengaruhnya?” Persoalanpengaruhataudampaksuatukebijakanmerupakanpersoalan yang penting. Makanyaperluadaevaluasidampakkebijakan (summative evaluation).

5. Formative evaluation: Fokuspadapenilaiankualitas program danimplementasi When – selamatahappelaksanaan Why – member informasitentangproses Result – penyesuaianimplementasi Major focus – perbaikan

6. Summative evaluation: Fokuspadaefektifitas program yang telahdilaksanakan When – saatakhir program Why – menentukanefek / dampak Result – informasitentangtingkatefektifitas Major focus – keberlanjutan program: jalanterus, terustapidiperbaiki, ataudihentikan Ini yang biasanyadisebutdenganevaluasidampakkebijakan

7. So, what’s impact evaluation? • Dampakadalahgambarannilaisuatu program terhadaporangdanmasyarakat. Biasanya, dampakmengacupadamanfaatjangkapanjangterhadapmasyarakat. Misalnya, peningkatanpengetahuan, efisiensiproduksi, peningkatanlingkunganhidup, keuntunganfinansial, dll. • Evaluasidampak: membahasefekdarisebuahkebijakansecarakeseluruhanatauprosespengimplementasiannya ( Wayne Parsons, 2005). • Studiinimelihatpadaaspekdampak (outcome) tertentudarisebuahproduk (output) kebijakan. Produk/hasilkebijakan (policy output) tentusajaberbedadengandampakkebijakan (policy impact). Output kebijakanadalahprodukdanimplementasikebijakan. Sedangkandampak (outcome/impact) darisebuahkebijakanmerupakanefekkebijakandalamkonteks yang sesungguhnya. • E.g.: peningkatanmutupelayananpendidikandisekolahmerupakanefekdarikebijakanpendidikan yang dilakukanpemerintah.

8. Mengapaevaluasidampakpenting? • Pengetahuanmengenaidampakbergunauntukmenilaiapakahsuatuproseskebijakanbisabermanfaat, memecahkanmasalahataukahmalahmemperburukmasalah? Karenaitu, untukmengetahuinyakitaperlumelakukanevaluasidampakkebijakan.

9. Pendekatandan model evaluasikebijakan • Adabanyakpendekatandan model evaluasikebijakandengankarakter yang beda-beda. • Pilihanterhadapmetodologidanpendekatanevaluasitergantungdaribeberapafaktor, misalnyafokusdantujuanevaluasi, waktuevaluasi, atautingkatindependensipenelitian. • Biargampang, Owen dan Rogers (1999) memberikansebuahklasifikasi yang cukuputuhterkaitevaluasikebijakan. Klasifikasitersebutterdiridari lima bentuk yang dibedakanberdasarkanpendekatannya (proaktif, klarifikatif, interaktif, monitoring, ataudampak) dantujuanmasing-masingpendekatantersebut. (Utktabelnya lihatdi word document ya…)

10. Lanjutan... • Pembahasan kali inifokuspadaevaluasidampak, karenaitukitamenggunakantipologi no 5 dariklasifikasi Owen dan Rogers. Penelitiantentangdampakmemilikiorientasipadajustifikasiataupunakuntabilitaskebijakan. Evaluasidampakkebijakandilakukanpada program yang sudahberlangsung. • Pendekatankunciuntukmengevaluasiadalahobjective based denganfokuspadaprocess-outcomes studies. • Pendekatanuntukmengevaluasidampaksangatmembutuhkan data yang observatif. Terutamauntukmemahamikonteks yang memengaruhidampakkebijakanbisadilakukanmelaluimetodeeksplorasidenganbukti-buktikualitatif, meskipuntidakbisamenafikan data kuantitatif.

11. DesainStudiEvaluasiKebijakan • Setelahpahamtentangberbagaimacampendekatandalamstudievaluasi, dankitamemilihform 5, makapendekatanevaluasitersebutperludijabarkanlagikedalamsebuahbentukdesainpenelitian. • Adabeberapa model yang bisadigunakansebagaidesainevaluasikebijakan. Misalnya, objective approach (Tyler), goal free (Schriven), CIPP (Stufflebeam), hierarchy of evaluation (Kirkpatrick), Naturalistic (Guba), dan lain-lain. • Kali inikitahanyaakanmembahastentangevaluasikebijakan yang menggunakan model Context, Input, Process, Product (CIPP) dariStufflebeam. Gambarandesainpenelitian CIPP sepertiberikutini:

12. Model CIPP

13. Uraianterhadapempataspekpenilaian (CIPP) tersebut: 1. Context Meliputipenggambaranlatarbelakang program yang dievaluasi, memberikanperkiraankebutuhandantujuan program, menentukansasaran program, danmenentukansejauhmanatawaraninicukupresponsifterhadapkebutuhan yang sudahdiidentifikasi (Sarah McCann). Penilaiankonteksdilakukanuntukmenjawabpertanyaan “Apakahtujuan yang ingindicapai, yang telahdirumuskandalam program benar-benardibutuhkanolehmasyarakat?”

14. 2. Input Meliputikegiatanpendeskripsianmasukandansumberdaya program, membandingkan program yang akandilakukandengan program lain, perkiraanuntung/rugi, danmelihatalternatifprosedurdanstrategiapa yang perludisarankandandipertimbangkan (Guba & Stufflebeam, 1970). Singkatnya, input merupakan model yang digunakanuntukmenentukanbagaimanacara agar penggunaansumberdaya yang adabisamencapaitujuansertasecaraesensialmemberikaninformasitentangapakahperlumencaribantuandaripihak lain atautidak. Aspekinputjugamembantumenentukanprosedurdandesainuntukmengimplementasikan program.

15. 3. Process Melihatpadakegagalan-kegagalanselamaimplementasi, bertindakuntukmemperbaikikualitasprosesdari program yang berjalan, sertamemberikaninformasisebagaialatuntukmenilaiapakahsebuahproyekrelatifsukses/gagal. 4. Product Meliputipenentuandanpenilaiandampakumumdankhusussuatu program, mengukurdampak yang terantisipasi, mengidentifikasidampak yang takterantisipasi, memperkirakankebaikan program, sertamengukurefektivitas program. Singkatnya, evaluasiprodukdidesainuntukmengukurdanmenginterpretasikanpencapaian.

16. Untuklebihmudahnya, inisalahsatucontohtabelspesifikasi data yang digaliuntukmengevaluasi program denganmenggunakan CIPP: (Tapilihat word document lagiya…) Nah, tadicumasalahsatucontoh yang sangatsederhanapenggunaan model CIPP dalamevaluasikebijakan. Model CIPP sendirisebenarnyamemilikipotensi yang jauhlebihkompleksuntukdigunakansebagaialatevaluasikebijakan.

17. KelebihandanKelemahan Model CIPP Sepertilayaknyasuatupendekatandalamilmu social, CIPP memilikibeberapakelebihandankelemahan. 1. Keunggulan model CIPP: CIPP memilikipendekatan yang holistikdalamevaluasi, bertujuanmemberikangambaran yang sangat detail danluasterhadapsuatuproyek, mulaidarikonteksnyahinggasaatprosesimplementasi. CIPP memilikipotensiuntukbergerakdiwilayahevaluasiformativedansummative. Sehinggasamabaiknyadalammembantumelakukanperbaikanselama program berjalan, maupunmemberikaninformasi final.

18. Lanjut…. 2. Kelemahan model CIPP: Terlalumementingkanbagaimanaprosesseharusnyadaripadakenyataandilapangan Kesannyaterlalutop down dengansifatmanajerialdalampendekatannya Cenderungfokuspadarational managementketimbangmengakuikompleksitasrealitasempiris.

19. KompleksitasEvaluasi Adabanyakproblematikaseputarevaluasidampakkebijakan. Mulaidari level teoritikhinggake level instrumentasidanpelaksanaanevaluasi. Pentinguntukdipahamibahwameskipunlahirdariimplementasiprodukkebijakan (output) yang sama, dampakataupunpengaruh yang dihasilkanolehkebijakanbisaberbeda-beda. Hal inidikarenakanefekintervensiataupunpengaruhsuatukebijakansangatdipengaruhiolehkontekstertentu. Implementasiprodukkebijakanmengalamiprosesaksi-reaksidanterikatolehkontekstertentusebelumpadaakhirnyamenghasilkandampakdarikebijakanitusendiri. Hasilevaluasi “secaratradisional” akanmemberikanfeedback untukmembantumelakukanperubahankebijakankedepan. Meskidemikian, proseskebijakansendiribukansemata-matamesinrasional. Tidakadacatatanmeyakinkanuntukmenjelaskantentangevaluasisebagaimesinperubahankebijakan.

20. Next Kompleksitas… Terkaitevaluasisebagaialatpengukurefeksuatu program dalammencapaitujuan yang ditetapkan, akanselaluterdapat problem identifikasitujuankebijakan. Seringkaliterdapat program yang memilikitujuanterlaluluassehinggaterasatakmungkintercapai, ataukebijakan yang tidakmemilikitujuanjelasataukabur. Bisajugadalamkebijakanadabanyaktujuan formal, tetapitujuan yang sesungguhnyatidakdapatdiketahui. Hal initerjadikarenakebijakanmerupakanprodukpolitik yang mengakomodasikanberanekaragamkepentingan. Olehkarenaitupentingbagi evaluator untukmenemukantujuan yang tersembunyidibaliktujuan yang nampak.

21. MasihKompleksitas Berlaku pula duarumusanhukum James Q. Wilson tentangvariasidalamanalisisterhadapkebijakan. Hukumpertamamenyatakanbahwajikarisetdilakukanolehpihak yang mengimplementasikankebijakan (ataukawan-kawannya) makarisetituakanmemperlihatkanbahwakebijakansudahdijalankandenganhasilbaik. Hukumkeduamenyatakanjikarisetdilakukanolehanalisindependenmakarisetituakanmengungkapkanefeknegatif.

22. Persoalanevaluasilebihdarisekedarpermasalahanfaktadanobyektifitasmelaluiangka. Apabilaterjadikuantifikasiberlebihanatasevaluasikebijakanhanyaakanberdampakpadalegitimasikebijakan, bukanmenyediakanpenilaian yang memuaskantentangapakahsebuahkebijakanatau program bekerjabaikdanmenghasilkanefek (Wayne Parsons, 1999). Evaluasijugamerupakanpersoalannilaiataucarapandangterhadappermasalahan, olehkarenaitumemilikidimensipolitis. Sifatpolitis yang dimilikievaluasidampakkebijakan/program membuatbentukevaluasi yang lebih ‘kualitatif’ (observasidanbekerjadenganorangdanproblemnya) menjadidiperlukanuntukmengimbangiefekdistorsidandehumanisasidarifaktadanangka yang kelihatannyaobyektif (Lincoln & Guba, 1985). Persoalanketikadilapangan: menembusbirokratisisme, menerobospenghalangterhadapisu-isu sensitive (biasanyaterkaitmasalahuang).

23. Masihbingungkalauinginmengevaluasi? Don’t worry, iniadabeberapapanduan yang cukupoke. Satudari Christine Andrews Paulsen, Ph.D. & Don Dailey, Ph.D. (2002), satunya GKEP 1997:

24. Diambildari: GKEP. 1997. A Basic Guide to Program Evaluation for Arts, Culture, and Health & Human Services Organizations

26. At the End… “History says, Don't hope On this side of the grave But then once in a lifetime The longed- for tidal wave Of justice can rise up Then hope and history rhyme." --Seamus Heaney