Efektivní systém hodnocení a financování výzkumu, vývoje a inovací IPN „Metodika“

1. Efektivní systém hodnocení a financování výzkumu, vývoje a inovací IPN „Metodika“ Jitka Moravcová Česká konference rektorů Praha, 1.10.2012

2. Východiska Mezinárodní audit – obecná doporučení v oblasti řízení • Vytvořit profesionální a depolitizovaný systém státní služby. • Ustavit RVVI jako platformu pro budování konsensů a dlouhodobých strategií. • Vytvořit společnou metodologii hodnocení, otevřený dialog, princip „kaskády“, důvěryhodnost. • Zahájit ex-post hodnocení dopadů resortních a národních politik, aktualizace NP. • Definovat aktivity, rozsah a způsob financování GA ČR a TA ČR. • Opustit mechanistické hodnocení, špatné vodítko pro politiku. Využívání indikátorů a výkonnostních smluv jako nástrojů řízení VO a agentur by mělo být navázáno na širší proces „měkkého řízení“, který je založen na dialogu.

3. Východiska Mezinárodní audit – konkrétní závěry k metodice hodnocení • Pozitivní stránka • jednoduchá metodika • jasný signál o vztahu výkonu VO a financování • značná míra objektivnosti • Negativní stránka • redukce složité činnosti ve VaVaI na jednoduché indikátory • nerozlišuje mezi skupinami VO zřízených za různým účelem • vede k účelovému chování VO • konzervuje stav • přenáší se až na úroveň VO a týmů • postavena na výsledcích minulého období • nemá obdobu v evropských zemích (100% vztah k financování)

4. Východiska Mezinárodní audit výzkumu - doporučení • navázat institucionální podporu na výkon, ale vedle výkonu minulého brát do úvahy i budoucí rozvoj • vypracovat „smíšený“ způsob hodnocení VO (výkonnostní kritéria + „peer-review“) • vypracovat různé modely financování podle druhu (role) VO • zavést financování na víceleté bázi (v ustáleném stavu 4 roky) • v budoucnu navázat financování na výkonnostní smlouvy • přechod na nový systém by neměl být z roku na rok dramatický • zavést bezpečnostní mechanismy s cílem zajistit, aby peer- review proces byl transparentní, spravedlivý a co nejobjektivnější, pokud bude zařazen • stabilizovat systém a zavést předvídatelnější financování, což je základ pro skutečné plánování a institucionální rozvoj

5. Cíle projektu • nastolit takové mechanizmy, aby veřejná podpora přispívala k zvyšování excelence českého VaVaI, působila motivačně na všechny aktéry VaVaI a ve svých důsledcích podpořila růst konkurenceschopnosti ČR • zvýšit společenské povědomí o významu hodnocení • nahradit stávající Metodiku efektivnějším a na mezinárodní standardy kvality orientovaným hodnocením • vypracovat návrhy způsobu institucionálního financování, který transparentním způsobem promítne výkonnostní principy hodnocení • ověřit funkčnost nové Metodiky a financování • navrhnout postup implementace, včetně návrhu legislativních změn a postupu pro přechodné období • vychovat mladé odborníky • realizovat studii proveditelnosti vzniku nezávislé hodnotící instituce

6. Cíle projektu • Individuální projekt národní MŠMT, 1.2.2012-31.1.2014 • Efektivní systém hodnocení a financování R&D&I systému. • Oborová metodika hodnocení využívající dobrou zahraniční praxi. • Nový systém institucionální podpory bez mechanického vztahu body-peníze. Kombinace dvou pilířů: formula budget a performance contracts. • Institucionální podpora optimálně na 5 let. • Různé modely hodnocení a financování pro různé typy VO. • Těsná spolupráce a koordinace s RVVI. • Otevřená diskuse se všemi aktéry. • Hodnocení jako nástroj pro rozvoj výzkumných organizací. • Hodnocení jako nástroj pro kvalifikovaná politická rozhodnutí. • Hodnocení jako nástroj pro efektivní využívání veřejných prostředků. • Hodnocení jako nástroj pro podporu excelence.

7. Klíčové aktivity 01 Informační podpora (VŘ) • nadstavbový software k mezinárodní databázi • analýza zavedené struktury IS VaVaI • Návrh úpravy IS VaVaI pro účely OMH • Bibliometrické přehledy ve struktuře podle OMH • Porovnání významnosti českých výsledků se zahraničím podle OMH • Komplementarita IS a WoS, Scopus • Identifikace pracovišť

8. Klíčové aktivity 02 Systém hodnocení (VŘ) • OMH (expertní panely, procesní pravidla, struktura informačních podkladů, struktura zveřejnění výsledků) • hodnocení VO (indikátory podle typu VO, peer-review) • praktické seznámení s praxí v zahraničí • hodnocení poskytovatelů • malý pilotní projekt (hodnocení každého z typů VO) • Průběžná a závěrečná zpráva o plnění veřejné zakázky • Návrh oborových metodik hodnocení výsledků VaVaI • Návrh hodnocení institucí VaVaI pro účely institucionálního financování • Návrh hodnocení poskytovatelů podpory • Návrh hodnocení programů • Výsledek pilotního ověření návrhu hodnocení VO na vybraných institucích • Studie dobré zahraniční praxe

9. Klíčové aktivity 03 Systém financování (VŘ) • formula funding (OMH, další indikátory, informované peer- review na základě indikátorové kostry příslušných databazí, které budou vypovídat o výsledcích dosažených VO v minulosti) • performance based contract, ve kterém se bude posuzovat směr vývoje VO do budoucnosti a připravenost VO dostát závazkům • Průběžná a závěrečná zpráva o plnění veřejné zakázky • Návrh financování výzkumných institucí z veřejných prostředků

10. Klíčové aktivity 04 Velké pilotní ověření • formulace cíle a způsobu realizace hodnocení VVŠ • jednání s RVŠ, ČKR, jednotlivými VVŠ • konzultace a připomínky rektorů a prorektorů pro VaV • návrh formulářů, indikátorů, ukazatelů • výkonnostní profil VVŠ • zpětná vazba VVŠ • pilotní ověření návrhu nové metodiky hodnocení na VVŠ

11. Klíčové aktivity 05 Harmonogram pro přechodné období a podklady pro legislativní změny • přechodné období 2013-2014, realizace 2015 (2016) • spolupráce s RVVI, KHV, AV, RVŠ, ČKR, profesní sdružení, VO) • hodnocení dopadů regulace ke všem klíčovým komponentám výsledků • úprava institucionálního uspořádání systému VaVaI po roce 2015 • harmonogram postupných kroků • doporučené změny vnitřních předpisů VVŠ a VVI • příspěvek do věcného záměru zákona nahrazujícího zákon č.130/2002 Sb. a návrhy novel zákonů souvisejících

12. Klíčové aktivity 06 Institucionální zajištění hodnocení • otázka vzniku nezávislé hodnotící instituce • účel, mise, právní postavení, organizační struktura, personální obsazení, pravomoci a zodpovědnosti • výchova mladých perspektivních kádrů • kurz (scientometrie, bibliometrie, systém řízení VaVaI v ČR, řízení projektů, metody hodnocení) • Studie proveditelnosti vzniku nezávislé hodnotící organizace • Studijní materiály pro výchovu odborníků na hodnocení. • Závěrečné práce kurzu • Harmonogram postupných kroků

13. Klíčové aktivity • 07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí • koordinovaný postup při budování konsensu • RVVI, KHV • politici, klíčoví aktéři • odborná veřejnost • soukromý sektor • konference, workshopy, semináře, kulaté stoly • Závěry diskusí u kulatých stolů • Presentace z konferencí • Diskusní webové fórum • Návrhy úprav OMH, hodnocení a financování VO

14. Rozpočet klíčových aktivit 01 Informační podpora 21 621 tis. Kč 02 Systém hodnocení 37 220 tis. Kč 03 Systém financování 19 579 tis. Kč 04 Velké pilotní ověření 10 170 tis. Kč 05 Harmonogram pro přechodné období a podklady pro legislativní změny 6 511 tis. Kč 06 Institucionální zajištění hodnocení 5 192 tis. Kč 07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí 4 562 tis. Kč Celkem 111 980 tis. Kč

15. Odborní garanti Hlavní odborný garant Prof. Ing. Jitka Moravcová, CSc. 01 Informační podpora Prof. Ing. Petr Ráb, DrSc. 02 Systém hodnocení Doc. Ing. Daniel Münich, Ph.D. 03 Systém financování RNDr. Jiří Rákosník, CSc. 04 Velké pilotní ověření Prof. Ing. Stanislava Hronová, CSc. 05 Harmonogram pro přechodné období a podklady pro legislativní změny RNDr. Jan Hrušák, CSc. 06 Institucionální zajištění hodnocení Mgr. Karel Šima, Ph.D. 07 Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí Prof. Ing. Richard Hindls, CSc., dr.h.c.

16. Veřejná zakázka

17. Veřejné projednávání • Ke dvěma dílčím zprávám (hodnocení, financování). • K závěrečné zprávě (včetně malého pilota). • Každá veřejná konzultace bude trvat 2 (3) měsíce: • předložení konceptu zprávy • interní expertní oponentura (experti a panelisté) • finální verze zprávy ke zveřejnění a připomínkám • vypořádání připomínek a konference ke zprávě

18. IPN Metodika • Srovnání hodnocených jednotek (HJ) v oboru v ČR (dnes není k dispozici) • Srovnání kvality všech HJ vůči světovému standardu (dnes není k dispozici) • Kvalitativní a kvantitativní zpětnou vazbu (dnes není k dispozici) pro: • vědce, týmy, katedry • řízení / management součástí VŠ • řízení / management VO • poskytovatele • RVVI a vládu (například stanovení priorit) • podnikatelské subjekty • zájemce o studium • veřejnost – daňové poplatníky • zahraniční subjekty

19. Hodnocení • Inspirace praxí Velké Británie, Holandska, Finska. • Reflexe Dlouhodobých principů hodnocení a financování RVVI a Ipn Audit. • Metoda: • sada indikátorů (bibliometrie) • informované peer-review podle oborových metodik • nadresortní koordinace a dohled • pouze 1 x za ~5 let • cca 5 - 8 oborových panelů a cca 25-30 subpanelů • Hodnocené jednotky (HJ) přihlášené ke zhodnocení v oboru. HJ typicky v.v.i. nebo součásti VŠ (fakulty). • Hodnocení organizující instituce.

20. Hodnocení Průběh hodnocení • Ustavení (sub)panelů. • Přihláška HJ do hodnocení v daném oboru. • Zpracování sebeevaluační zprávy samotnou HJ. • Zpracování bibliometrické zprávy pro HJ. • Osobní návštěva subpanelu v HJ. • Hodnotící zpráva panelu a stanovisko HJ. • Syntéza výsledků na úroveň oborů, poskytovatelů, velkých infrastruktur. • Zveřejnění výsledků.

21. Trvání a řízení projektu • statutární zástupce MŠMT (náměstek) • dozorčí rada: statutární zástupce MŠMT, zástupci RVVI, ČKR, AV ČR, VŠ, RVŠ, Rada pro aplikovaný výzkum, GA ČR, TA ČR • výkonná rada: vrchní ředitel MŠMT, odborný garant projektu, garanti klíčových aktivit • administrativa (manažer projektu, finanční manažer, administrativní pracovník)

22. Složení dozorčí rady Akademie věd České republiky prof. Ing. Jiří Čtyroký, DrSc. Asociace výzkumných organizací Ing. Josef Kašpar Česká konference rektorů prof. RNDr. Zdeněk Němeček, DrSc. Grantová agentura České republiky prof. RNDr. Bohuslav Gaš, CSc. Ministerstvo průmyslu a obchodu Ing. Martin Štícha Ministerstvo školství, mládeže a tělovýchovy Ing. Jana Říhová Rada veřejných výzkumných instituci aplikovaného výzkumu prof. Ing. Karel Pospíšil, Ph.D, MBA Rada vysokých škol doc. Ing. Jakub Fischer, Ph.D. Technologická agentura České republiky prof. Ing. Petr Zuna, CSc., doc. Dr. Ing. Vladimír Kebo