Evaluacija programa savetodavstva Srbije

1. EvaluacijaprogramasavetodavstvaSrbije Paul Warner, Univerzitet u Kentakiju Nick Place, Univerzitet u Merliendu, Januar 25-27, 2011

2. Dobaodgovornosti • Ukoliko nešto ne može da dokaže svoju vrednost, ne dobija podršku. Da li je imalo pozitivan uticaj? • Ako ne možete da demonstrirate uspeh, ne možete ga ni nagraditi. U stvari, možda time nagrađujete neuspeh. • To što neko naporno radi ne osigurava da će to dati rezultate. • Ukoliko ne znate koje metode su su najuspešnije, možese desiti da i dalje nastavite da koristite neefikasne metode. • Ukoliko ne znateuticajeprograma, onimožda neće opravdati ulaganja.

3. Logički model u evaluaciji Šta želite da znate? Kako to želite da saznate? Evaluacija: pregledajte i proverite

4. Vrste evaluacija • Formativneevaluacije (fokus je na procesu) U cilju poboljšavanja programa • Summativne evaluacije(fokus jena rezultatima) Za dokumentovanje uticaja. • Dobitak u odnosunainvesticije Odnos koristi naspram troškova

5. Proces evaluacije (Fokusi na outputima aktivnosti i participaciji) • Da li je program ostvario svoju svrhu? • Koji metod isporuke je bio najuspešniji? • Koji su kvalitetni aspekti isporuke? • Koji je participatorni nivo željenih učesnika? • Koje su bile reakcije participanata (nivo zadovoljenja)?

6. Evaluacije usmerene ka rezultatima (Fokus je na kratkoročnim, srednjeročnim i dugoročnim rezultatima) • U kolikoj meri su se znanje, svest, veštine i raspoloženje promenili? • U kojoj meri su se ponašanja i prakse promenili? • U kojoj meri su se socijalne, ekonomske, građanske i ekološke situacije promenile?

7. Aktivnosti Izmene u ponašanju i praksama Učenje Izmene u znanju, raspoloženju, veštinama, i nastojanjima Reakcije Stepen satisfakcije sa programom, nivo interesa, osećanja prema aktivnostima, edukacione metode Učešće Broj i karakteristike ljudi koji do kojih se doprelo, frekvencija i intenzitet kontakata Hierarhija efekata Social-economic-environmental improvements Izvor: Bennett i Rockwell, 1995, Ciljanje rezultata programa

8. Logički model i izveštavanje

9. Logički model navodi evaluaciju • Pruža opis programa koji vodi naš evaluacioni proces • Pomaže nam da uskladimo evaluacione metode sa programom • Pomaže nam pri spoznavanju šta treba da merimo (aktivnosti, učešće, rezultati) • Pomaže nam da saznamo šta treba da merimo

10. Uskladiti evaluaciona pitanja sa programom INPUTI OUTPUTI REZULTATI Aktivnosti Učešće Kratkoročni Srednjeročni Investicije programa Dugoročni Evaluaciona pitanja:Na kakva pitanja želite da odgovorite?npr., dostignuća pri svakom koraku, očekivane neobavezne veze; neplanirane posledice ili lanci događaja koji su pokrenuti Indikatori: Kakvi dokazi vam trebaju da biste odgovorili na pitanja?

11. Šta želite da saznate o svom programu? Evaluacija: Šta meriti i kada? Do kog stepena se upotreba fosfora smanjila? Da li su farmeri uštedeli sredstva? Koja količina novca i koje vreme je investirano? Od čega se zaprao sastojao program? Ko je zapravo učestvovao i u čemu? Da li je ovo dopreo do načeg cilja? Do kog nivoa su se znanje i veštine povećali? Do kog nivoa su se prakse promenile?

12. Koraci u procesu evaluacije • Identifikovati aspekte programa koje treba evaluirati (aktivnosti, participacija, ili kratko, srednje i dugoročne rezultate) • Formulisati evaluaciona pitanja • Identifikovati indikatore za svako pitanje • Odredii izvore informacija za svaki indikator • Odrediti metode prikupljanja podataka i vreme za koje treba prikupiti podatke • Sumirati podatke i doneti zaključke

13. Evaluacioni Plan

14. Koja količina novca i vremena je investirana? Da li su sve sesije održane? Koliko dobro? Da li se grupe za podršku sastaju? Da li svi roditelji učestvuju kao što je zamišljeno? Ko nije i zašto?Da li su prisustvovali svim sesijama?...grupe za podršku?Nivo zadovoljstva? Do kojeg stepena su se znanje i veštine povećali? Kod koga? Zašto? Šta se još desilo? Do kojeg stepena su se ponašanja promenila? Za koga? Zašto? Šta se još desilo? Do kojeg stepena je stres smanjen? odnosi poboljšani? Moguća evaluaciona pitanja… Roditelji unapređuju svoje znanje o razvoju dece Procena programa edukacije roditelja Smanjenje stresa Roditelji identifikuju akcije koje treba preduzeti Osoblje Roditelji dece od 3-10 godina starosti prisustvuju Bolji odnos između roditelja i dece Dizajnirati i isporučiti program zasnovan na dokazima u 8 sesija Novac Roditelji bolje razumeju sopstveni način vaspitanja Partneri Roditelji koriste efektivne veštine roditeljstva Roditelji stiču veštine efektivnog roditeljstva i vaspitanja dece Jaka porodica Istraživanje Omogućiti grupnu podršku

15. Identifikacija indikatora (načina merenja) • Koji je najbolji indikator (ili indikatori) koji daje odgovor na svako evaluaciono pitanje? • Da li je to široko prihvaćeni koncept merenja? • Koju vrstu dokaza indikator daje (kvantitativni ili kvalitativni)? • Koja je jedinica merenja? ($, #, %) • Da li se lako može izmeriti? • Da li se lako može sumirati ili sakupiti?

16. Primer edukacije roditelja: Evaluaciona pitanja, indikatori Roditelji unapređuju svoje znanje o razvoju dece Izraditi nastavni plan i program za edukaciju roditelja Zaposleni Roditelji identifikuju akcije koje treba preduzeti Smanjenje stresa Roditelji bolje razumeju sopstveni način vaspitanja Roditelji dece od 3-10 godina starosti Novac Sprovesti seriju od 8 interaktivnih sesija Partneri Bolji odnos između roditelja i dece Roditelji stiču veštine novih načina vaspitanja dece Roditelji koriste efektivne veštine roditeljstva Istraživanje Omogućiti grupnu podršku Roditelji postaju sigurni u sopstvene sposobnosti Jaka porodica EVALUACIONA PITANJA Koliko se promenilo ponašanje? Kod koga? Zašto? Šta se još dogodilo? Koliko se smanjio stres? Koliko su sepoboljšali odnosi? Ko/koliko roditelja je prisustvovalo/nije prisustvovalo sesijama? Da li su prisustvovali svim sesijama? Grupe za podršku? Da li su bili zadovoljni– zaštozašto nisu? Koliko su znanje i veštine povećani? Kod koga? Zašto? Šta se još dogodilo? Koja količina novca i koliko vremena je uloženo? Koliko je sesija održano? Koliko dobro? #, kvalitet rada grupe za podršku? INDICATORS # Osoblja Iskorišćena količina novca # partnera # Održanih sesija Kriterijum kvaliteta #,% učesnika po sesiji Sertifikati #,% onih koji su pokazali povećano znanje i veštine Dodatni rezultati #,% onih kod kojih je došlo do promena Vrste promena #,% onih kod kojih je došlo do poboljšanja Vrste poboljšanja

17. Merenje i indikatori aktivnosti • Kvantitet pruženih usluga– Broj edukacija (brojradionica, poseta gazdinstvima, itd.) • Tip pružene usluge– Broj svakog od tipova usluga • Broj usluženih klijenata • Broj klijenata koji su učestvovali (za svaku aktivnost ili događaj) • Proportion of target population served • Tip učesnika (commodities of farmer, size of operation, pol) • Kvalitet pružene usluge– Nivo zadovoljstva klijenta • Kvalitet prezentacija– Subjektivna ocena od strane supervizora zasnovana na posmatranju i povratnoj informaciji (feedback – u) od strane klijenata

18. Logički model sa indikatorima za Outputei Rezultate (Outcomes) Outputi Rezultati Polj. proizvođači primenjuju nove tehnike u praksi Profitabilnost poljoprivrednog gazdinstva raste Implementiran program Polj. proizvođači kojima je program namenjen Polj. proizvođači uče Broj održanih radionica Kvalitet radionica Broj i procenat polj. proizvođača koji su prisustvovali edukaciji Broj i procenat polj. proizvođača koji su povećali svoje znanje Broj i procenat onih koji primenjuju nove tehnike Broj i procenat onih kod kojih je došlo do povećanja profita; nivo povećanja

19. From Poister, 2003

20. Metode prikupljanja podataka • SekundarneMetode • Pregled izveštaja– popisivanje, upis programa • Privatne agencije ili agencije vlade

21. SekundarneMetode • Informacije mogu biti lako dostupne i to po niskoj ceni, ili mogu biti u potpunosti nedostupne • Može se desiti da to nije indikator koji je vama potreban • Od malog značaja za učesnike programa • To može biti uopštena informacija koja se ne može dovesti u vezu sa uspehom programa • To, takođe, može biti poverljiva informacija dostupna samo u sažetom obliku

22. Metode prikupljanja podataka (pobrojane) • Primarne metode • Ankete • Fokus grupe • Posmatranje (opservacija) ponašanja učesnika • Pre-test/Post-test • Samo Post-test • Post-test plus prisećanje • Testiranje • Poređenje pojedinaca i grupa • Kontrolne grupe • Studija slučaja • Ispitivanje zadovoljstva klijenata

23. Anketa u obliku upitnika • Može se sprovesti mail-om, telefonski, licem u lice ili putem interneta • Može da ispituje ponašanje, kao i stavove i mišljenja • Može da ispituje uzorak iz grupe • Može da se sprovodi u grupi kao i pojedinačnim ispitivanjem • Potrebna je veština u kreiranju pitanja u upitniku • Može da prikuplja informacije kvantitativnog i kvalitativnog karaktera

24. Fokus Grupe • Ova metoda omogućava diskusiju sa liderom koji od članova grupe traži da mu daju svoje mišljenje o nekoj temi • Daje raznolika gledišta • Članovi grupe mogu da reaguju na mišljenja ostalih kroz interakciju • Ne daje informaciju o pojedincu • Može s desiti da mišljenja manjine ne dođu do izražaja

25. Posmatranje (opservacija) • Pogodna za posmatranje ponašanja • Omogućava vizuelnu povratnu informaciju (feedback) • Zavisno od ponašanja koje treba da se posmatra, može se sprovesti na mestu edukacije ili na lokaciji učesnika • Ako su učesnici svesni da ih neko posmatra, rezultat opservacije može biti pogrešan

26. Pre-test/Post-test • Informacije se prikupljaju dva puta, pre i posle programa • Dokumentuje promenu koja se može dovesti u vezu sa učešćem u programu • Mora se doneti odluka o tome koliko vremena treba da prođe od završetka programa da bi se mogle zabeležiti promene koje su rezultat učešća u programu (tj. da se uradi post – test) • Evaluacioni plan mora biti napravljen i implementiran pre nego što program počne

27. Samo Post-test • Dokumentuje ponašanje pošto je program sproveden • Pokušava da ponašanje posle programa poveže sa učešćem u programu • Može biti dobra ako se sigurno zna da niko od učesnika nije koristio nove metode pre programa • Ova metoda može biti neophodna ako evaluacija nije bila napravljena pre nego što je program počeo

28. Post-test plusprisećanje • Dokumentuje ponašanje posle programa, pri čemu se od učesnika traži da navedu odlike svog ponašanja pre programa • Daje informaciju o stanju pre programa ako se bazira na tačnosti prisećanja • Sećanje učesnika može biti netačno ili pristrasno • Međutim, bolje je dobiti informaciju kroz prisećanje, nego nemati nikakvu informaciju o stanju pre programa

29. Testiranje • Obično se koristi da se ispita stečeno znanje ali, u nekim slučajevima, i da se dokumentuje nov način ponašanja • Neka testiranja mogu biti unutar samog programa u vidu vežbi učesnika • Obično daje bolje rezultate kada su u pitanju mladi nego kada su to odrasli učesnici • Ne može da dokumentuje dugoročne rezultate

30. Poređenje pojedinaca i grupa • Obično se koristi kada su metode prenošenja programa različite za različite pojedince ili grupe • Daje mogućnost kreatoru programa da odredi koja je metoda bila najbolja poređenjem dva ili više pojedinaca ili grupa

31. KontrolneGrupe • Obično se ne koristi kod programa edukacije jer bi to značilo uskraćivanje programa jednoj grupi ili pojedincu da bismo imali kontrolnu grupu • Međutim, ako se program ne sprovodi za jednu grupu usled nedostatka sredstava ili je planiran za neki drugi termin, ukazuje se prilika da se uporede rezultati grupe koja je prošla kroz program i one koja nije • Grupa koja je prošla kroz program mora biti veoma slična kontrolnoj grupi da bi poređenje bilo validno • Prikupljanje informacija od kontrolne grupe može biti teško jer ona nije bila korisnik programa

32. Studija slučaja • Prikupljanje detaljnijih informacija od male grupe pojedinaca koji su učestvovali u programu • Obično daje kompletniju sliku o tome kako je pojedinac reagovao na program i iskoristio informacije koje kroz program dobio • Ne može se generalizovati, tj. proširiti na ostatak populacije • Može biti veoma ubedljiva kada je u pitanju uticaj programa na pojedinca

33. Ispitivanje zadovoljstva klijenata • Obezbeđuje povratnu informaciju od strane klijenta o adekvatnosti teme i metodama predavanja • Može da ukaže na to da li učesnik smatra program vrednim truda • Može, ali ne mora obavezno, da ukaže na to da li je nešto naučeno ili da li je došlo do promene ponašanja • Može se desiti da samo pokaže da li je predavač bio zabavan i da li se šalio tokom predavanja • Može se koristiti za ocenu jednog program ili cele organizacije

34. Izvori podataka • Izveštaji o programu (registrcija učesnika, evidencija prisutnih, itd.) • Sekundarni ivori podataka (broj polj. Proizvošača po tipu proizvodnje kojom se bave, broj grla, itd.) • Učesnici na programu • Zaposleni (osoblje) • Opservacija • Saradnici • Izveštači • Agrobiznis

35. Izveštaji o izvršenju programa • PROBLEM – Iznošenje problema na koji se program odnosi • PROGRAM – Opis odlika programa edukacije • UČEŠĆE – Izveštavanje o tome koliko i kakvi tipovi osoba su učestvovali u programu • UTICAJ– Objašnjenje rezultata programa

36. Okolnosti koje utiču na evaluaciju • Budžet, organizacioni kapacitet i stručnjaci spremni da podrže proces evaluacije • Raspoloživo vreme zaposlenih za sprovođenje evaluacije • Voljnost učesnika da odgovaraju na evaluaciona pitanja • Izbor trenutka evaluacije u odnosu na implementaciju programa • Dostupnost učesnika • Cilj (oblast) programa

37. Ostala razmatranja • Centralni izveštajni sistem za prikupljanje i agregaciju informacija o izvršenju programa • Evaluacione studije koje dokumentuju uticaje prgrama što omogućava ekstrapolaciju rezultata kada se program ponovo primenjuje • Uticaji programa postaju deo ocene učinka zaposlenih

38. Detaljnija evaluacija • U kojoj meri se promene u rezultatima mogu pripisati Savetodavnim programima (u kojoj meri se spoljašnji uticaji mogu prepoznati i kontrolisati)? • Koje su dugoročne posledice programa? (1, 5, 10, 20 godina kasnije) • Cost benefit analiza. Da li vredi investirati u program? • Šta je alternativa kada su troškovi u pitanju? Da li je ovo najbolji način korišćenja sredstava za postizanje rezultata? • Koje metode edukacije su najuspešnije? • Šta su prepreke za poboljšanje efektivnosti? • Šta su nenamerne posledice?

39. Vežba

40. Grupna aktivnost • Svaka grupa priprema evaluacioni plan za jedan od tri programa • Identifikuje aspekte programa koje treba evaluirati (aktivnosti; učešće; kratkoročne, srednjeročne i dugoročne rezultate) • Formuliše evaluaciona pitanja • Identifikuje indikatore za svako pitanje • Određuje izvore informacija za svaki indikator • Određuje metode prikupljanja podataka i vreme kada se podaci prikupljaju.

41. Neki koncepti i slajdovi u ovoj prezentaciji su preuzeti iz prezentacija sa Univerziteta u Viskonsinu – Savetodavsvo, a potom adaptirani.