Lecţii învăţate / Bune practici în evaluare

1. Lecţii învăţate / Bune practici în evaluare Simona NĂNESCU – expert evaluator NTSN CONECT Conferinţa “Îmbunătăţirea eficacităţii şi eficienţei politicii de coeziune. Instrumentele Structurale în România” Bucureşti, 29 noiembrie 2012

2. ...pe scurt, despre evaluatorii de la NTSN CONECT Experienţă îndelungată în evaluare, demonstrată prin participarea în: • evaluarea tuturor Programelor Phare din România (2001-2010) • primele evaluări intermediare ale Programelor Operaţionale din România (POR, POSCCE, PODCA) – din 2009 • Evaluarea Programului Facilitatea Schengen şi a Fondului Frontierelor Externe (România) • Acordul Cadru pentru evaluarea instrumentelor structurale, 2011-2015

3. Temele prezentării • Evaluarea Instrumentelor Structurale în România – privire de ansamblu • Principalele provocări ale Evaluării din perspectiva evaluatorilor • Bune practici 4. Lecţii învăţate

4. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluDe ce este necesară evaluarea ? • Evaluarea reprezintă o activitate strâns legată de buna gestiune a Programelor Operaţionale • În contextul actualei crize economice şi a eşecului parțial al instrumentelor tradiţionale de control în sectorul public(privind aprecierea performanţei cheltuirii fondurilor publice), evaluarea reprezintă unul dintre instrumentele care pot contribui la abordarea unui nou stil de management pentru gestionarea mai eficientă și mai eficace a resurselor publice

5. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluEvaluarea Programelor Operaţionale 2007-2013 • Planurile de evaluare la nivelul PO: • 2 evaluări intermediare • Evaluări operaționale, tematice, ad-hoc • Derularea evaluării: • Contractarea de companii care furnizează experţi evaluatori • Gestionarea evaluării: Unităţile de Evaluare din cadrul Autorităţilor de Management

6. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluEvaluarea – reper terminologic • Evaluarea reprezintă un instrument de analiză a relevanţei, eficienţei, eficacităţii asistenţei financiare alocate,precum şi a impactului şidurabilităţii rezultatelor atinse • Evaluarea este o însumare de dovezi care stau la baza formulării unor concluzii bazate pe criterii prestabilite. Evaluarea este un instrument important de responsabilizare și de diseminare a experienței.

7. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluTerminologie - Criteriile de evaluare (pe scurt) Relevanţa • Măsura în care obiectivele declarate adresează în mod corect problemele sau nevoile reale identificate • Sunt programele / proiectele relevante pentru nevoile factorilor interesaţi?

8. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluTerminologie - Criteriile de evaluare (pe scurt) Eficienţa • Au fost realizate activităţile conform planificării iniţiale ? • Oferă programele valoare adăugată fondurilor cheltuite? • Ar putea aceleaşi rezultate să fie obţinute cu costuri mai mici? • Sunt costurile unitare prea mari?

9. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluTerminologie - Criteriile de evaluare (pe scurt) Eficacitatea • Cât de bine au utilizat beneficiarii vizaţi produsele sau serviciile puse la dispoziţie? • Programele îşi ating obiectivele? • Corespund rezultatele pe termen scurt nevoilor exprimate iniţial în program?

10. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluTerminologie - Criteriile de evaluare (pe scurt) Impactul • Măsura în care beneficiile adresate beneficiarilor ţintă au avut un efect de ansamblu mai larg, implicând un număr mai mare de persoane din cadrul domeniului, regiunii sau la nivel naţional • Ce se schimbă, ca rezultat al programelor? • Depăşesc beneficiile programelor rezultatele imediate?

11. 1. Evaluarea Instrumentelor Structurale în România – privire de ansambluTerminologie - Criteriile de evaluare (pe scurt) Durabilitatea • Probabilitatea ca rezultatele pozitive ale proiectului să continue şi după ce finanţarea externă se va încheia şi, de asemenea, dacă impactul lor pe termen lung cu privire la procesul de dezvoltare mai larg poate fi susţinut la nivel de domeniu, regiune sau la nivel naţional. • Vor continua efectele programelor, ori programele în sine, dincolo de faza de implementare? • Se vor găsi surse de finanţare alternative?

12. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilorEvaluarea Programelor Operaţionale • Design-ul Proiectelor de Evaluare • Este adecvat nivelul solicitărilor Beneficiarilor evaluării versus resursele alocate? • În ce măsură este piaţa de consultanţă pregătită pentru noile abordări şi metode de evaluare?

13. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilor Evaluarea Programelor Operaţionale • Contractarea Proiectelor de Evaluare • Evaluarea independentă –beneficiarul este şi autoritate contractantă • Decalajul dintre programarea evaluării şi implementarea ei • este evaluarea realizată la timp? (relevanţa evaluării) • lipsa de predictibilitate pentru prestator (disponibilitatea resurselor umane şi financiare) • Criteriile de atribuire - deficienţe • preţul cel mai scăzut versus oferta cea mai avantajoasă dpdv economic (consecinţe) • Neacordarea unui punctaj pentru CV-urile experţilor propuşi

14. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilor Evaluarea Programelor Operaţionale • Realizarea evaluării • Sunt datele necesare evaluării disponibile la timp? • Deficienţe în stabilirea indicatorilor de realizare şi a corelării acestora la diferite niveluri (program, Axa Prioritară, DMI, proiect) • Aspecte financiare • Fluxul de numerar este în multe cazuri defavorabil pentru Prestator (spre deosebire de alte tipuri de asistenţă tehnică)

15. 2. Principalele provocări ale Evaluării din perspectiva evaluatorilor Evaluarea Programelor Operaţionale Implementarea recomandărilor evaluării • Recomandările sunt în general acceptate la nivel tehnic, până la nivel de Director General (Autoritatea de Management) dar uneori exced sfera de responsabilitate a beneficiarilor (ACIS, AM-uri), devenind astfel în practică neimplementabile • Există voinţă reală şi interes pentru implementarea acestora din partea factorilor de decizie (eşaloanele superioare celor tehnice) ?

16. 3. Bune practici • Practica evaluării de programe în România s-a consolidat constant în ultimii ani, iar UCE şi Unităţile de Evaluare din AM-uri nu au întâmpinat obstacole şi au fost sprijinite în acest sens • Utilizarea Acordurilor Cadru - permite un acces mai rapid la expertiză de evaluare, se evită distorsiunile apărute în procesul de achiziţie publice (scăderea excesivă a preţurilor, numeroasele contestaţii)

17. 3. Bune practici • Creşterea constantă a numărului de firme interesate de domeniul evaluării (inclusiv alocarea de resurse pentru dezvoltarea expertizei proprii) şi a numărului de experţi independenţi

18. 4. Lecţii învăţate • Expertiza internaţională este încă necesară, din păcate modul de contractare nu permite, în multe cazuri, utilizarea experţilor internaţionali din motive de preţ • Un aspect deficitar major rămâne însă limitarea utilizării evaluării numai la Instrumentele Structurale. În absenţa extinderii acestei practici către toate politicile publice, eficacitatea ofertei pieţei va rămâne limitată

19. 4. Lecţii învăţate • Există o tendinţă a creşterii gradului de sofisticare a cererii de evaluare. Pentru ca piaţa să răspundă corespunzător sunt necesare: • Un dialog mai activ între reprezentanţii cererii şi ofertei • O mai bună adecvare a resurselor proiectelor la solicitări (expertiza de specialitate, mai ales cea internaţională este costisitoare) • Firmele din domeniu trebuie să depună eforturi mai susţinute pentru ridicarea nivelului de cunoştinţe în domeniu (aceasta fiind în strânsă legătură cu predictibilitatea pieţei)

20. Vă multumesc! Simona Nănescu