EVALVACIJA (šolskih razvojnih) PROJEKTOV

1. Elektrotehniško-računalniška strokovna šola in gimnazija Ljubljana 23. oktober 2013 EVALVACIJA (šolskih razvojnih) PROJEKTOV Ekspertna skupina za šolske razvojne projekte(ES-ŠRP) Katja Pavlič Škerjanc, katja.pavlic@zrss.si

2. Program Spremljava/-nje (monitoring) Presoja/-nje (assessment) O/-Vrednotenje (evaluation)

3. NAČRT RAZVOJNEGA PROJEKTA(izvajanja, spremljanja in evalviranja) • Cilji • Pričakovanirezultati • KAZALNIKI kakovosti rezultatov(kvantitativni in kvalitativni) • Kriteriji in merila za ocenjevanje kakovosti • Dejavnostiza doseganje ciljev • KAZALNIKI kakovosti procesov(kvantitativni in kvalitativni) • Kriteriji in merila za ocenjevanje kakovosti • Omejitve in tveganja • Načini odpravljanja omejitev in zmanjševanja tveganj • Nujni pogoji (za uspešno izvedbo) • SPREMLJAVA • in • EVALVACIJA DISEMINACIJA

4. Responzivna evalvacija Participativna evalvacija Participativna (tudi: participatorna) evalvacija se izvaja v tesnem sodelovanju vseh, ki projekt izvajajo in/oz. uporabljajo njegove storitve in rezultate; vsi zato tudi soodločajo, kaj se evalvira, koga se vključi, katere metode in tehnike se uporabijo ... • Responzivnaali prožno odzivna evalvacija • se sproti prožno odziva na dogajanja in na potrebe po evalvacijskih ugotovitvah, • zato je tudi njen načrt bolj prožen in odprt, • tako da ga je mogoče med izvajanjem modificirati in dograjevati. • Njeno nasprotje je: preordinatna evalvacija.

5. EVALVACIJA PO KORAKIH Evalvacija je proces (aktivnost, faza projekta, postopek …), s katerim ugotovimo, • kako in kako dobro poteka naše delo (redno ali v okviru projekta), • kakšne rezultatedosegamo, • kakšne učinke ima naše delo in na koga (oz. jih pričakujemo od svojega dela) Sklopi VPRAŠANJ, ki običajno usmerjajo EVALVACIJO: • Ali je projekt dosegel načrtovane cilje? Ali je pripeljal do želenih sprememb? Če ne, zakaj ne? • Ali so projektne aktivnosti potekale, kot je bilo načrtovano? Če ne, zakaj ne? Kaj je delovalo dobro in kaj ne? • Katere koristne zaključke se še lahko sprejme na podlagi zbranih informacij glede poteka in organizacije projekta, sodelujočih pri izvajanju projekta (zaposlenih in zunanjih sodelavcih), opreme idr.?

6. Notranja evalvacija EVALVACIJA

7. EVALVACIJA

8. EVALVACIJA V ŠOLSTVU = = pedagoško raziskovanje Vrste raziskovalnih/evalvacijskih tehnik OPAZOVANJE ANALIZA DOKUMENTACIJE ANKETA INTERVJU pisna/ ustna neposredno/ posredno primarni dokumenti javna/ anonimna sekundarni dokumenti individualno/ skupinsko enkratna/ večkratna

9. EVALVACIJA V ŠOLSTVU = = pedagoško raziskovanje Instrumenti raziskovanja OPAZOVANJE ANKETA INTERVJU ANALIZA DOKUMENTACIJE Zapisnik Anketni vprašalnik Seznam vprašanj Izobraževalna dokumentacija Protokol Programi Zapisnik Ocenjevalne lestvice Literatura Posnetek Drugo Študije

11. TRIANGULACIJA Triangulacija pomeni uporabo raznovrstnih strategij zbiranja podatkov. S triangulacijskimi evalvacijskimi pristopi povečamo natančnost in veljavnost evalvacije. Norman K. Denzinje identificiral štiri vrste triangulacije (Denzin, 1978): • podatkovna triangulacija:vključuje uporabo različnih virov podatkov o istem vprašanju, kot so npr.: intervjuji z ljudmi na različnih položajih ali z različnimi pogledi na obravnavano vprašanje; • evalvatorskatriangulacija:pomeni vključenost evalvatorjev različnih strok, da bi se izognili pristranskosti (upoštevanju pogledov ene same osebe); • teoretična triangulacija: uporaba raznovrstnih perspektiv ali teorij pri interpretaciji ene vrste podatkov; • metodološka triangulacija: uporaba raznovrstnih metod pri proučevanju določenega programa oziroma enote evalvacije, kot so npr.: intervjuji, vprašalniki, dokumentacija, opazovanje.

12. Priprava in IZVEDBA PARTICIPATIVNE EVALVACIJE ŠRP: Korak za korakom • korak:Odločitev, do katere stopnje bo evalvacija (glede na kontekst in okoliščine) participativna, in določitev evalvacijske skupine • korak: Priprava osebne izkaznice projekta • korak: Priprava evalvacijskega načrta (vključno z izbiro metod in tehnik zbiranja podatkov) • korak: Zbiranje, obdelava in analiza podatkov • korak: Interpretacija podatkov in priprava poročil(a) • korak: Oblikovanje zaključkov kot navodil in priporočil (za ravnanje v prihodnje oz. v podobnih situacijah) • Za izvedbo evalvacije so pomembni vsi njeni koraki, za njeno uspešnost (uporabnost) pa so najpomembnejši prvi. • Različni deležniki bodo v evalvacijo vključeni na različnih stopnjah (nekateri samo v eni ali dveh).

13. PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak 3. korak: Priprava evalvacijskeganačrta / načrta evalvacije ŠRP (vključno z izbiro metod in tehnik zbiranja podatkov) Določitev evalvacijskih kriterijev in vprašanj: Evalvacijski kriteriji so lahko npr. naslednji: • Relevantnost • Učinkovitost • Prenosljivost • … Ko izberemo kriterije, oblikujemo evalvacijska vprašanja, npr.: Ocenjevanje učinkovitosti: • Katere spremembe smo dosegli zaradi novih aktivnosti? • Kako bomo spremembo izmerili? • Kako jo bomo ocenili (kad dokazuje, da je dobra oz. slaba)? • Kako bomo dokazali, da je posledica nove aktivnosti?

14. PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji Določitev evalvacijskih kriterijev in vprašanj Evalvacijskikriterijiso odvisni predvsem od vrste evalvacije, med najpogostejšimi so naslednji: • Ustreznost (angl. relevance) • Učinkovitost (angl. efficiency) • Uspešnost (angl. effectiveness) • Vplivnost/Učinek (angl. impact) • Trajnost (angl. sustainability)

15. PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji

16. PARTICIPATIVNA EVALVACIJA ŠRP: 3. korak: Krovni evalvacijski kriteriji

17. Načrt (evalvacije) ŠRP Kaj so 3 temeljna evalvacijska vprašanja?