P rincipalele programe de asiste nță tehnică și abordarea instituțiilor publice privind evaluarea

1. Principalele programe de asistență tehnică și abordarea instituțiilor publice privind evaluarea Conferința “Noi abordări în evaluarea programelor și politicilor publice. Întărirea capacității de evaluare” București, 23 mai 2013

2. Elementele prezentării Aria de acoperire: Evaluarea Instrumentelor Structurale 2007-2013 (FEDR, FSE și FC) Cadrul instituțional al evaluării Resursele implicate Programul Operațional Asistență Tehnică 2007-2013 și Evaluarea Evaluarea pentru perioada 2014-2020

3. Structura instituțională Unităţi de evaluare Unităţi de Monitorizare sau persoane responsabile de monitorizare

4. Structura instituțională Aprobă Planul multianual de evaluare Examinează rezultatele evaluării Analizează termenii de referinţă Sprijină calitatea evaluării Autoritate de management Comitet de monitorizare Comitet de coordonare a evaluării

5. Resurse implicate

6. Programul Operațional de Asistență Tehnică 2007-2013 Obiectivul General Contribuire la asigurarea sprijinului necesar procesului de coordonare și la implementarea și absorbția eficace, eficientă și transparentă a instrumentelor structurale. Buget 212,8 mln EUR, din care 170,2 mln. EUR contribuție FEDR Structură 10 domenii majore de intervenție, grupate în 3 axe prioritare DMI 1.2 Evaluare Obiectiv: Dezvoltarea unei culturi comune de evaluare în cadrul sistemului de gestionare a fondurilor UE Buget: 9,7 mln EUR 7 proiecte contractate, totalizând aproximativ 23,4 mln lei (contribuție FEDR), din care 3 finalizate Suntem pe cale de a ne atinge obiectivul?

7. Obiectivele și activitățile proiectului Examinarea Culturii de Evaluare Obiectivul General Contribuire la imbunatatirea calitatii, eficientei si consistentei DMI 1.2 “Evaluare”al Programului Operational Asistenta Tehnica prin furnizarea unui mecanism de monitorizare ce poate aprecia gradul de atingere al obiectivului acestui domeniu major de intervenție și anume, dezvoltarea unei culturi comune de evaluare în cadrul sistemului de management al instrumentelor structurale, atât cantitativ, cât și calitativ. Obiectivele Specifice Dezvoltarea conceptului de evaluare adaptat particularitaților fondurilor UE și Politicii de Coeziune a UEîn România; Investigarea teoriei care sta la baza strategiei DMI 1.2 a POAT și semnalarea oricărei probleme în conceperea sau implementarea acestuia; Dezvoltarea unei metodologii pentru monitorizarea periodica a dezvoltării culturii de evaluare și stabilirea panelului cercetării; Măsurarea anuală a progresului culturii de evaluare.

8. Cultura de evaluare vs capacitatea de evaluare Analiza literaturii: 18 documente relevante Panel de experti In literatura de specialitatenu se face intotdeauna o distinctieclaraintrecultura de evaluareșicapacitatea de evaluare Cultura de evaluarereprezinta un model de convingeri si valori al factorilor de deciziesi al evaluatorilor, care furnizeazaacestoraun set de reguli de conduita, ce faciliteazapracticaevaluarii(De Peuter and Pattyn’s) Capacitatea de evaluare va fi asociata“cu aspecte si componente operationale, care sunt considerate necesare pentru realizarea evaluarii. In acest sens, capacitatea de evaluare este strans legata de practica de evaluare.Ambeleconceptevizeazaprobleme legate de personal precumsifacilitati de naturatehnicasiinstrumente in realizareaevaluarii”. “capacitatea de evaluare” reprezinta“rezultatul” implementarii DMI, iar “cultura de evaluare” esteimpactulimplementarii DMI 1.2.

9. Metodologie și instrumente de măsurare a culturii de evaluare Indexul de măsurare a culturii de evaluare – 4 dimensiuni (cererea, oferta, diseminarea si utilizarea rezultatelor evaluarii, institutionalizarea culturii de evaluare),16 criterii, 30 sub-criterii, 68 de indicatori – cu scopul de a stabili aspectele ce caracterizeaza cultura de evaluare si capacitatea de evaluare in domeniul Instrumentelor Structurale din Romania Construirea panelului de cercetare: 5 categorii și 11 subcategorii; 136 respondenti (80% partea de cerere si 20% partea de oferta – Evalrom, evaluatori independení, universitati) Chestionar electronic adresat panelului Documente naționale relevante, ghiduri metodologice UE și naționale, documente de programare și operaționale la nivel de PO și SCNR, rapoarte de evaluare Analiză comparativă internațională (benchmarking) Focus grup și seminar de dezbatere a concluziilor

10. Indexul de masurareStructuraindexului

11. Rezultatele primei măsurări a culturii de evaluare

13. Gradul de realizare a celor 16 criterii Proiect co-finanţat din Fondul European de Dezvoltare Regională prin POAT 2007-2013

14. Realizări ale proiectelorfinantate in cadrul POAT Analiza proiectelor finanțate prin DMI 1.2 din prisma contribuției lor la dezvoltarea unei culturi de evaluare in Romania Principalelerezultate ale proiectelorsunt: Asistentametodologicasisesiuni de formareprofesionalapentrupersonalulresponsabil cu evaluarea din AM-uri: revizuireaprocedurilor, traducerea EVALSED, analizanevoilor de formare, instrument de gestionare a rezultatelorevaluarii, formare. Sprijinacordat UCE in activitatileei legate de GLE : formare, conferintesiseminarii in domeniulevaluarii, grupuri de lucru GLE. Asistentametodologicalegata de evaluareaunuiproiect : ACB, studii de caz, manuale, ghidurisiformare. Publicarearapoartelor de evaluaresidiseminarearezultatelorevaluarii: site GLE, conferintainternationala, evenimente de diseminare. Meta evaluari(2), Rapoarte de evaluarepesubiectespecifice(4), Evaluaripeparcurs ale CNSR si POAT(4), Evaluaristrategicesi ad hoc (2).

15. Cum o putem identifica? • Au fost analizate legaturile dintre cei 64 indicatori ce caracterizeaza cultura de evaluare si cele 7 proiecte finantate in cadrul DMI 1.2, cu scopul de a identifica: • Contributia proiectelor la indexul culturii de evaluare • Gapuri care trebuie acoperite prin proiecte • Metodologie: • Analiza documentara sistematica, inclusiv a documentelor aferente proiectelor • Interviuri Contribuțiaproiectelorfinanțate la difuzareaculturii de evaluare:

16. Concluziipreliminare Nivel bun de difuzare al culturii de evaluare în România în Sistemul de management al Instrumentelor Structurale – 63,35% din scorul maxim Cererea și diseminarea/utilizarea rezultatelor evaluărilor sunt cele mai dezvoltate dimensiuni Instituționalizarea culturii de evaluare ar putea fi îmbunătățită

17. Recomandări (1) Reorganizarea unităților de evaluare în compartimente separate. Formalizarea legăturilor între evaluare și programare&monitorizare. Actualizarea periodică a planurilor de evaluare multianuale Sprijinirea dezvoltării profesionale a personalului și propunerea de criterii pentru selectarea personalului dedicat funcției de evaluare. Monitorizarea capacității personalului dedicat evaluării Îmbunătățirea sistemului de indicatori. Dezvoltarea unei baze de date de referință din punct de vedere statistic utila pentru analizele contrafactuale Includerea în cadrul proiectelor finanțate prin DMI 1.2 a unor componente legate de diseminarea rezultatelor evaluărilor. Includerea în cadrul proiectelor finanțate prin DMI 1.2 a unor sesiuni de comunicare adresate factorilor de decizie. Organizarea evenimentelor de diseminare pentru un număr mare de funcționari publici pentru răspândirea culturii de evaluare. Includerea în proiectele finanțate prin DMI 1.2 a unor sesiuni de comunicare ce se adresează factorilor implicați în instrumente structurale în privința importanței evaluării

18. Recomandări (2) • Adresarea regulilor de eligibilitate a cheltuielilor ce limitează tipurile de grupuri țintă eligibile pentru acțiunile de dezvoltare a capacității. Adresarea regulilor de eligibilitate a cheltuielilor ca o pre-condiție pentru consolidarea opțiunilor educaționale universitare. Adresarea regulilor de eligibilitatea a cheltuielilor ca o pre-condiție pentru sprijinirea activității organizației naționale a evaluatorilor și întărirea legăturilor între Guvern și mediul universitar

19. Realizările Politicii de Coeziune în România Proiecte finanțate: peste 9.500 Plăți către beneficiari: peste 24.000.000.000 lei la 17 mai 2013 Locuri de muncă create: peste 6.500 Proiecte de cercetare-dezvoltare: 341 Locuri de muncă în cercetare: 755 Proiecte de investiții în IMM: 952 Drumuri nou construite/reabilitate: 3.117 km Proiecte de deșeuri: 20 la 31 iulie 2012

20. Suntem pe cale de a ne atinge obiectivele? • Răspuns: Nu știm! • Este imposibil să generalizezi • Diverse sectoare cu obiective și nevoi variate • 7 Programe operaționale, 34 axe prioritare, 126 domenii majore de intervenție • Absorbţie inegală: 9 – 32% la nivel de PO, cu variaţii mai mari la nivel de DMI • Care este problema? • Obiectivele sunt vagi • Nu este clar cum să recunoşti succesul sau eşecul • Nu este clară diferenţa dintre monitorizare şi evaluare • Lipsa de cunoştinţe în metode şi tehnici de evaluare

21. Ce este propus pentru viitor? • Mai multă concentrare a resurselor • Focalizare pe rezultate • Programe care să articuleze clar schimbarea pe care o induc şi modalitatea de realizare a acestei schimbări • O mai bună colectare a datelor la nivel micro şi al outputurilor • Cerinţe mai precise pentru evaluări • Rapoarte Anuale de Implementare • Cadru de performanţă şi o rezervă de stimulare a performanţei

22. Implicaţii pentru evaluare

23. Metode şi tehnici de evaluare • La nivel macro: modele macroeconomice • La nivel mezo/micro • Evaluarea contrafactuală de impact (diferenţa din diferenţe, corelarea punctajului de propensiune, proiectarea discontinuă, variabilele instrumentale) • Evaluarea impactului bazată pe teoria programului • Analiza cost-beneficiu

24. Întărirea capacităţii • Instruire • Ghiduri • Networking • Publicarea integrală a rapoartelor de evaluare • Altele?

25. Va multumim! Claudia Măgdălina Unitatea Centrala de Evaluare www.evaluare-structurale.ro