A fejlesztési programok értékelés ének lehetőségei

1. A fejlesztési programok értékelésének lehetőségei

2. Tényekre alapozott döntés • Napjainkban felértékelődött a tényekre (tudományos bizonyítékokra) alapozott döntés, melynek oka a hatékonyabb elszámoltathatóság. • A különböző gazdasági ágazatokban eltérő időben jelent meg az adatok felértékelődése, az oktatás nem az elsők között volt. Jellemző területei: az egészségügy, a környezetvédelem. • Az elmúlt néhány évben azonban az oktatáspolitikában is kiemelt trend a tényekre alapozott döntéshozatal. (Halász Gábor: Tényekre alapozott oktatáspolitika és oktatásfejlesztés” a Pusztai Gabriella – Rébay Magdolna (szerk.): „Kié az oktatáskutatás. Tanulmányok Kozma Tamás 70. születésnapjára” c. könyvben)

3. Hatásvizsgálatok • A hatásvizsgálat vagy programértékelés nem kutatási módszer, hanem cél, amelyben valamely társadalmi beavatkozás hatását elemzik. • Tapasztalati tényeken alapuló kutatás során minősítik a beavatkozásokat, oksági kapcsolatok fennállását és azok erősségét nézik a vizsgált intézkedések és az ezt követő változások között. • A hatásvizsgálat – alkalmazott kutatás. A módszer sokféle lehet (kérdőív, kísérlet stb.) • Az ex-post mérés egy megvalósultszabályozás következményeit méri. Az ex-ante mérés pedig egy (még) meg nem valósított szabályozás jövőbeni következményeit becsüli fel.

4. Célja • Az értékelések és a hatástanulmányok szerepe, hogy visszajelzést adjanak a döntéshozók és az adófizetők számára az intézkedések hasznáról és hatásaikról. • A nemzetközi szervezetek (Világbank és az Európai Unió) szigorú intézkedéseket vezettek be a támogatott projektek előzetes (ex ante) és utólagos (ex post) értékelésére, megszabják az alkalmazható módszereket is.

5. Hatásvizsgálat v. programértékelés • A hatásvizsgálat oksági magyarázatot ad a beavatkozások valamint azok megfigyelt vagy várható hatásai közötti kapcsolatra. • A programértékelés viszont értékeket rendel e beavatkozásokhoz, minősíti azok erényeit vagy hiányosságait, egy előre megadott kritériumrendszer segítségével.

6. A kutatási cél megfogalmazása • Mi a kívánatos eredmény, mi a beavatkozás célja, mit tekinthetünk sikernek. • A hatásvizsgálat során számba kell vennünk valamennyi lehetséges kimenetet. • A környezet jellemzőinek feltárása. • Költség/haszon elemzés.

7. Hogyan csináljuk? - Kísérletek • Ez a legmegbízhatóbb módszer az ok-okozati kapcsolatok igazolására • Hatásvizsgálatra alkalmas kísérleti modell -> pl. 10-10 iskola véletlenszerű kiválasztása, az egyik a kísérleti, a másik a kontroll csoportot alkotja. A random módszer előnye, hogy kizárt a téves oksági kapcsolat megállapítása. • Kísérleti idő megállapítása • A vizsgálat megtervezése • Beavatkozás a kísérleti csoportnál

8. Hogyan csináljuk? Kvázi-kísérlet • Idősoros vizsgálatok: egyetlen csoporton hosszabb időtávon vizsgáljuk a hatást (adathiánynál is alkalmazzák, illetve amikor nem lehet kontroll csoportot bevonni a kutatásba) • Nagymintás vizsgálatok: egyetlen csoport nagyobb elemszámban történő elemzése

9. Leggyakoribb módszer • A legjobb módszer a párosító módszer – elemzése -> a kettős különbség hatás: az intézkedés célcsoportjában megfigyelhet változás szignifikánsan és kedvezően különbözik a kontrollcsoportban megfigyelhet változástól

10. Oktatáspolitikai dilemma • A megbízhatóság: meg kell határozni azokat a standardokat, amelyek alapján eldönthető, hogy egy adat megbízható/hiteles-e vagy sem. Ez egy klasszikus kutatás módszertani kérdés. • A tények közlése mellett kiemelten fontossá válik, hogy hogyan nyertük (milyen módszerekkel, mintán) ezeket az adatokat. • A megbízhatóságot növeli a módszerek kombinációja is.

11. Mérés • A mintaválasztás mellett legalább ugyanolyan fontos döntés, hogy mit és hogyan mérünk. • Mérőeszközök kidolgozása – vizsgálati dimenziók kiválasztása kulcsfontosságú feladat, melyek azok a dimenziók, amelyek valóban jól tükrözik a program hatását (bizonyítható sikeresség, a változások fenntarthatóságának biztosítéka)

12. Hatások – de minek a hatása? • Meg kell válaszolni azt a kérdést, hogy egyáltalán bekövetkezett-e a kívánt változás. • Ha a hatás bekövetkezett, még akkor is kérdés, hogy valóban a beavatkozás hozta-e létre ezt a kedvező változást, vagy valami más. -> téves következtetés -> nem szignifikáns hatás, véletlen okozta a bekövetkezett változást vagy vizsgált okkal versengő másik ok -> nem az általunk feltételezett ok miatt következett be a változás.

13. TÁMOP 3.1.1 OFI 6. alprojekt • Az alprojekt az elmúlt évtized legfon-tosabb oktatáspolitikai programjait vizsgálja meg. • Korábbi fejlesztési programok hatásvizsgálatai: • Tehetséggondozás • Felzárkóztatás • Szakiskolai Fejlesztési Programok • Pedagógus továbbképzések

14. Arany János Programok • Eddig több hatásvizsgálat is történt. • 2005-ös vizsgálat- AJTP (Fehérvári-Liskó, 2006.) • Cél: a programba kerülésnél mennyire érvényesült a hátrányos helyzet szempontja • Módszer: teljes körű vizsgálat (2005-ben) • Iskolaigazgatói és kollégium vezetői kérdőív (23 db) • Mélyinterjú a programvezetőkkel (23 db) • Tanulói adatfelvétel (2003 db)

15. A hátrányos helyzet mérési dimenziói • települési hátrány (kistelepülési lakóhely) • családi hátrány (csonka család, nagycsalád: három vagy több gyermek) • munkapiaci hátrány (a szülők alapfokú vagy annál alacsonyabb iskolai végzettsége, inaktivitása, munkanélkülisége)

16. A hátrányok megoszlása

17. A hátrányok együttes előfordulása

18. Hatásvizsgálat következménye • A belépés szigorítása a programba • Új programok indítása

19. Összevetés a többi középiskolás adatával • Neuwirth Gábor középiskolai vizsgálata, 2007. Összes kilencedikes tanuló lekérdezése (3776 kilencedikes osztály 95,860 diákja vett részt a kutatásban) • Összehasonlításul szolgáló mutatók: lakóhely, szülők iskolázottsága, nevelési segélyben részesülők aránya • Következtetés:az AJTP tanulókhoz hasonló mutatókkal a szakiskolások rendelkeznek. E program nélkül valószínű csak szakiskolákba tanulhattak volna tovább a diákok. • (Fehérvári, 2008)

20. AJTP hatásvizsgálat 2008-2009 (Expanzió) • A vizsgálat célja: A program az elmúlt nyolc évben elérte-e a kitűzött céljait? A programban mi jellemző az állami források felhasználására? • Módszerek: • Interjú a korábbi és a mostani programvezetéssel • Fókuszcsoportos interjú a kollégiumok vezetőivel • Dokumentumelemzés • Adatelemzés: • a küldő általános iskolák térbeli és alapvető jellemzőinek elemzése, • a program pénzfelhasználásának adatai (OKM által biztosított adatok alapján) • Kérdőíves vizsgálat • Végzett tanulók levélben történő megkeresésével • 13. osztályos tanulók e –kérdőíves vizsgálata • 13. osztályos tanulók körében végzett vizsgálat szociális intelligencia teszt mérés • gimnáziumi tehetséggondozó tanárok körében e-kérdőívvel • küldő általános iskolák vezetői és osztályfőnökei kérdőívvel • középiskolák vezetői kérdőívvel történő megkeresésével

21. Feltárt problémák, 2008-2009 • Tartalmi problémák (előkészítő év tananyaga, egyéni fejlesztés, nyelvtanulás) • Finanszírozási problémák (normatíva felhasználása, fenntartó-iskola) • Koordinációs problémák (AJP iroda, iskolák közötti kapcsolat) • -> következmény tartalmi megújulás, éves monitoringok,

22. Hogyan tovább? • Többi alprogram hatásvizsgálata • Mit is jelent a sikeres program? -> • A középiskola kimeneti mutatói • Diplomaszerzés • A helyi értelmiség erősítése • Költséghaszon számítások