Evaluacija programa prevencije Osnovni pojmovi

1. Evaluacija programa prevencijeOsnovni pojmovi Krzysztof Ostaszewski Institut za psihijatriju i neurologiju u Varšavi, Poljska

2. Problemi s evaluacijom Zahtjevi za programima o evaluaciji prevencije su u porastu - evaluacija je jedan od zahtjeva većine organizacija koje financiraju programe Voditelji programa i stručnjaci imaju velike poteškoće s primjenom evaluacije u svakodnevnom radu

3. Prepreke u evaluaciji • Psihološke– manjak interesa i angažiranosti, strah od „negativne evaluacije”, manjak iskustva i sposobnosti • Tehničke – manjak dobrih priručnika, gotovih instrumenata za rad (alata), niska razina znanja o evaluacijskim tehnikama i procedurama • Financijske– sredstva koja su na raspolaganju menadžerima za evaluaciju su ograničena (ili ne postoje)

4. Prepreke u evaluaciji • Stereotip 1. Evaluacija započinje kada program završi – ovakav pristup onemogućava rezultat evaluacije • Stereotip 2. Upitnik u obliku vlastitog izvještaja je glavni instrument i metoda u evaluaciji – zanemaruje i zapravo eliminira ostale metoda prikupljanja podataka

5. Kako bi se dobili odgovorni podaci Za planiranje i razvoj programa Kao pomoć u poboljšanju programa Kako bi se iskazala njegova korist i učinkovitost Kako bi se testirale strategije prevencije Za raščlanjivanje (disseminate) dobrih programa prevencije Zašto evaluirati prevencijske programe?

6. Pitanja i odgovori evaluacije • D. Hawkins i B. Nederhood (1987) definirali su evaluaciju preventivnih programa kao proces sistematskog prikupljanja, analize i interpretacije podataka s namjerom odgovaranja na pitanja o programu • Pitanje je ključ svega

7. Vrste evaluacijskih pitanja • Konceptualni ili teoretski model pitanja(npr. Koja se vrsta preventivne strategije upotrebljava? Koji je konceptualni model ranog sprječavanja adolescenata pri eksperimentalnoj uporabi droga?) 2. Pitanja nastojanja (npr. Koliko smo učitelja obučili upotrebi materijala za prevenciju droge u njihovim školama? ) 3. Pitanja učinkovitosti (npr. Koliko je učinkovit naš program prevencije ranog započinjanja uporabe pića i cigareta među mlađim adolescentima?) 4. Pitanja korisnosti (npr. Koja strategija regrutiranja roditelja – radionice ili prijateljsko pismo pozivanja – je najkorisniji način dovođenja roditelja u naš program?)

8. Odnos evaluacijskih pitanja naspram modela programa Konceptualni modeli Izvori Programske aktivnosti Trenutačni učinak Rezultati Evaluacija rezultata Pitanja učinkovitosti Evaluacija postupka Pitanja nastojanja i postupka Strukturna evaluacija Pitanja o sadržaju, ciljevima Evaluacija korisnosti Pitanja o odnosu troškova postizanja željenih rezultata

9. Primjer modela programa

10. Primjer modela programa

11. Odnos evaluacijskih nivoa naspram pitanja i metoda Analiza sadržaja programa, povijesna evaluacija • Evaluacija strukture • Evaluacija procesa • Evaluacija rezultata Programska dokumentacija, opažanja, povratne informacije sudionika Skoro-eksperimentalni alati dizajna, uzimanje uzoraka, statističke analize

12. Razine evaluacije s obzirom na vrstu pitanja • Evaluacija strukturedokumentira što se dogodilo tokom provedbe programa (Je li program bio proveden po planu?) • Evaluacija rezultatatestira do koje su mjere postignuti specifični ciljevi programa (Koliko je mladih ljudi spriječeno od daljnjeg korištenja alkohola ili droga?) • Evaluacija utjecajautvrđuje ima li program učinaka van direktnih sudionika programa (Koji je bio utjecaj programa na ostale škole ili zajednice?)

13. Evaluacija rezultata u projektima istraživanja prevencije (Boyd 1994) • Istraživanje prevencije je dizajnirano kako bi se razvila učinkovita intervencija koja se može generalizirati na širi krug stanovištva • Programi ili intervencije koje se proučava temelje se na teorijskim modelima ponašanja (npr. pušenje, uporaba alkohola) i modelima promjene • Dizajn evaluacije mora dozvoliti obraćanje pitanjima o elementima (vjera, vrijednostik, stavovi) koji su dio modela, npr. kako će se oni promijeniti kao odgovor na intervenciju

14. Studije učinkovitosti Izvode se u stvarnim životnim uvjetima kako bi se ocijenila učinkovitost programa Studije korisnosti Izvode se u optimalnim (najboljim) uvjetima kako bi se ocijenili modeli i strategije sprječavanja Vrste evaluacije rezultata

15. Definicija evaluacije programa “Sistematsko prikupljanje, analiza i tumačenje podataka s ciljem određivanja vrijednosti društvene politike ili programa (…)” - Moberg 1984 Upotreba dobivenih podataka: Za ocjenjivanje učinkovitosti programa i za pružanje informacija zašto bi ovaj program mogao ili ne funkcionirati Sumativna ili zaključna evaluacija Pri procesu donošenja odluka o politici ili programu npr. za planiranje, poboljšanje, razvoj itd. Formativna evaluacija

16. Unutarnja evaluacija Ideja provedbe evaluacije (tko) Evaluacija je dio programa Voditelji programa je uključena u samo-evaluaciju Vanjska evaluacija Ideja provedbe evaluacije (nad kime) Evaluacija je dio vanjske birokracije Vanjski stručnjaci su odgovorni za evaluaciju Unutarnja vs. vanjska evaluacija

17. Koraci za evaluaciju prevencijskih programa 0. Odabir ključnih evaluacijskih pitanja 1. Odabir načina prikupljanja informacija kako bi se odgovorilo na ključna pitanja (dizajn evaluacije) 2. Dizajniranje ili odabir instrumenata 3. Planiranje kako prikupiti podatke 4. Prikupljanje podataka 5. Analiziranje podataka 6. Izvještavanje o nalazima utvrđenim grupama (tim, predavači, osnivači ‘ funders’) 7. Korištenje nalaza evaluacije

18. Korištena literatura • Boyd G. (1995) Badania ewaluacyjne w USA. Problemy metodologiczne (Methodology of evaluative studies in USA), Alkoholizm i Narkomania 2(19); 9-35. • Hawkins J.D., Nederhood B. (1987): Hanbook for evaluating drug and alcohol prevention programs. U.S. Department of Health and Human Services, Public Health Service • Moberg P. (1984) Evaluation of prevention programs. A basic guide for practitioners. Madison, Wisconsin: Wisconsin Clearinghouse • Ulh A. (1998): Evaluation of Primary Prevention in the Field of Illicit Drugs: Definitions - Concepts - Problems. In: Springer A., Uhl A. (Eds.) Evaluation research in regard to primary prenvention of drug abuse. European Commission, COST A6; 135-235.