Návrh multikriteriální Metodiky hodnocení 2013

1. Komentář k dokumentu Návrh multikriteriální Metodiky hodnocení 2013 Jiří Chýla http://www-hep2.fzu.cz/~chyla/veda/Malek_komentar_MFF.ppt Vědecká rada MFF UK

2. V čem se v Metodikou 2013 shodujeme • Vztah Metodiky 2013 a Ipn Efektivní • metodika hodnocení a financování VaV • V čem se Metodika 2013 liší od Ipn • Metodika • Proč považujeme Metodiku 2013 za • slepou uličku • Co konkrétně je na Metodice 2013 • zásadně chybné • Proč je Metodika 2013 neproveditelná • Zhoubný vliv kafemlejnku na vědeckou obec Vědecká rada MFF UK

3. V čem se v Metodikou 2013 shodujeme Výchozí dokumenty • Závěrečná zpráva Mezinárodního Auditu VaV v ČR • Dlouhodobé principy hodnocení a financování • schválené na 263. zasedání RVVI (DPHF) • MEMORANDUMo spolupráci mezi RVVI a MŠMT   • v rámci koordinace řešení Ipn „Efektivní systém • hodnocení a financování výzkumu, vývoje a • inovací“ a „Metodiky hodnocení výsledků VO a • hodnocení výsledků ukončených programů 2013“ • připravované Komisí pro hodnocení výsledků. Vědecká rada MFF UK

4. Vztah Metodiky 2013 a Ipn Metodika je definován v DPHF: Malé hodnocení: pro alokaci institucionální podpory do doby, než bude zavedeno velké hodnocení, zdokonalená forma stávajícího hodnocení. Metodika 2013 má ambice jím být. Velké hodnocení: bude vycházet především z výsledků IPn. Bude realizováno jednou za 5-6 let a poskytne oporu pro alokaci institucionálních prostředků a informace o výkonnosti VO a oborů ve srovnání se světem. Vědecká rada MFF UK

5. Hlavní cíl projektu Ipn Metodika navrhnout a pilotně ověřit systém hodnocení výzkumných organizací formou informovaného peer-review dle oborových metodik hodnocení, který by nahradil stávající Metodiku hodnocení výsledků výzkumných organizací efektivnějším a na mezinárodní a oborové standardy kvality lépe orientovaným hodnocením. Vědecká rada MFF UK

6. Hlavní rozdíly mezi hodnocením • dle Ipn Metodika a M2013 • perioda: 5 let vs. 1 rok • předmět: VO vs. jednotlivé výsledky • dimenze: zahrnují i dopady výzkumu, předpoklady • pro rozvoj, zhodnocení oborů vůči světu vs. nic • zajištění: nezávislá instituce vs. sekretariát RVVI • návrh metodik: veřejné konzultace vs. žádné • ověření metodik a hodnocení:pilotně vs. žádné • výsledek Ipn: bude zahrnovat návrh institucionál- • ního financování vs. nic takového • využití zahraničních zkušeností: ano(detailní a • seznámení se s praxí ve vybraných zemích) vs. ne Vědecká rada MFF UK

7. Proč považujeme Metodiku 2013 za slepou uličku Metodika 2013 by měla smysl pokud by byla založena na principech, které vycházejí z Mezinárodního Auditu a odpovídají zadání Ipn Metodika a tak umožní plynulý přechod od Metodiky 2013 do hodnocení vyvinutého v IPn Metodika, popř. umožní částečné výsledky Ipn Metodika průběžně implementovat do Metodiky 2013. Principy Metodiky 2013 jsou s tímto rámcem neslučitelné. Vědecká rada MFF UK

8. Základní principy Metodiky 2013 • Oborové hodnocení jednotlivých výsledků • Rozdělení výsledků nazákladní a • aplikované • Definice přípustných výsledků a jejich za- • stoupení v jednotlivých oborech • Zavedení zásadně jiného způsobu • hodnocení výsledků aplikovaného výzkumu • Zavedení pilíře „excelence“ hodnocení „kvality“ vybraných výsledků jsou všechny v rozporu s Auditem, praxí ve světě i rámcem zadání IPn. Vědecká rada MFF UK

9. Oborové hodnocení jednotlivých výsledků v platné metodice Oborově má smysl hodnotit výzkumné organizace, resp. jejich týmy, nikoliv jednotlivé výsledky, neboť software, prototyp a další nepublikační výstupy je třeba hodnotit nikoliv jednotlivě, ale jako součást výzkumného programu daného týmu, v jehož rámci byly vytvořeny. Tak se to samozřejmě dělá všude ve světě. Viz také další bod. Vědecká rada MFF UK

10. Rozdělení výsledků na základní a aplikované • podle kritéria publikační vs. nepublikační je absurdní neboť ignoruje všeobecně známé skutečnosti, že • publikace jsou standardními výsledky také • aplikovaného výzkumu.Existují celé řady časopisů • věnovaných aplikované fyzice, chemii, biologii apod. • Také obráceně, spousta software či prototypů • experimentálních zařízeníje vyvíjena jako • integrální součást základního výzkumu a musí být • proto jako součást výsledků základního výzkumu • také hodnocena. Vědecká rada MFF UK

11. Vymezení přípustných typů výsledků a jejich procentního zastoupenív oboru • pro každý obor odborné a poradní orgány Rady určí relevantní • typy výsledků, na ostatní typy nebude brán zřetel • pro tyto typy výsledků bude určen maximální procentní podíl • na všech výsledcích daného oboru • pokud některý typ výsledku v příslušném oboru hranici překročí, • bude bodová hodnota všech výsledků tohoto typu úměrně • krácena • nemá nikde ve světě analogii! • Naopak, například v RAEpro všechny obory platí: • all forms of publicly available assessable • output will be acceptable. Vědecká rada MFF UK

12. Takhle si to stejní autoři představovali v neschválené Metodice 2012 Tabulka obsahuje 47 Pišvejcových konstant, jejichž hodnoty by měla schvalovat vláda Místo hodnocení kvality škatulkování Vědecká rada MFF UK

13. Neproveditelný Podpilíř I. - Stručné zásady peer-review hodnocení knih a kapitol (B, C) a výsledků JREC Půjde o peer-review hodnocení (hodnotiteli) ve struktuře panelů 12 oborových skupin (verifikační a hodnotící panely). Neproveditelné podle harmonogramuběhem měsíce června neboť každoročně je produkováno • cca 2 tisíce knih a kapitol v knihách • cca 6-7 tisíc článků Jrec Hodnotící proces rozřadí výsledky do 3-4 kvalitativních skupin. Relativní bodové rozdíly mezi kvalitativními skupinami budou nastaveny cca v poměru 1:5:10:20 (založeno na zkušenostech z dosavadních verifikací). Nutný mimořádně kvalitní peer-review a důkladné pilotní ověření. Vědecká rada MFF UK

14. Proces ustavování panelů bude přísně dbát na • vyloučení konfliktu zájmů, • vysokou odbornost hodnotitelů v daném oboru, • posouzení každého výsledku několika hodnotiteli, • koordinaci uplatňování kritérií napříč panely, • transparentnost. • Pravidla ustavování VHP a procesní řád budou schváleny RVVI. Svěřit toto RVVI je zcela absurdní a cesta do pekel. Tohle může provést jen nezávislá na hodnocení specializovaná agentura, typu HEFCE ve Velké Británii či AERES ve Francii. Taková agentura u nás neexistuje a její vytvoření je součástí Ipn Metodika. Vědecká rada MFF UK

15. Obecná poznámka k zavedení II a III. pilíře M2013:Metodika řeší překlenovací období mezi současným stavem a dobou, kdy bude vytvořen nový dokonalejší systém hodnocení založený na výsledcích analýz a projektů, které souběžně probíhají, základní principy metodiky se po tuto dobu nebudou měnit. Poslední tvrzení není pravda!(viz další okno) Překlenovací období by mělo trvat jen dva roky: Hodnocení 2014 (pro financovaní na rok 2015) a Hodnocení 2015 (pro financování na tok 2016), poté by měla být použita Metodika vyvinutá v rámci Ipn Metodika. Má smysl zavádět na dva roky novou metodiku, která se i během těch dvou let má měnit? Vědecká rada MFF UK

16. Principy II. pilíře VO budou předkládat stanovený počet svých vybraných výsledků k tomuto posouzení a k srovnání s vybranými výsledky od ostatních institucí. Stanovení kvóty pro počet takto předkládaných výsledků se bude odvíjet od institucionální podpory dané VO, navrhuje se předkládat jeden výsledek na každých započatých 10 mil. Kč přijaté podpory Příliš velká částka, podle níž nelze kvalitu VO posoudit. Odpovídá cca 900 výsledkům ze 100 tisíc. V roce 2013 bude (pro rozpočet na rok 2015, JCh.) každé VO na indikátor excelence alokováno 10 % jejího celkového bodového skóre (hodnocení v tomto „nultém“ roce bude jen výsledkem postupů v ostatních pilířích). To znamená, že II. pilíř bude ve skutečnosti provozován jen jeden rok v roce 2014 pro rozpočet na rok 2016. Vědecká rada MFF UK

17. V dalším roce se každé VO příslušná bodová část procentuálně zvýší nebo sníží (či nezmění) podle zařazení jejích vybraných výsledků do jednotlivých kategorií. Podobně se bude postupovat i v příštích letech. Žádné „příští“ roky nebudou existovat. Budou stanovena pravidla pro sestavení expertních komisí a pro jejich fungování, komise výsledky rozřadí do tříd s tím, že výsledky v nejvyšší třídě výrazně vynikají (excelují) nad průměr, podíl výsledků, které mohou být v nejvyšší třídě, bude omezen. Tato "excelence nad průměr"je karikatura na skutečnou excelenci a je v rozporu s bodem 4) Memoranda „je nezbytné, aby v mezidobí KHV navrhla M13 tak, aby se přiblížila cílům nové metodiky hodnocení“ neboť ta má podle Memoranda obsahovat „prvky hodnocení peer-review prováděné v souladu s nejlepší mezinárodní praxí“ Vědecká rada MFF UK

18. Úrovně kvality výzkumu podle RAE/REF platné pro všechny panely a všechny typy výsledků Všude ve světě je srovnání se špičkou ve světě jedinou smysluplnou mírou „excelence“. V RAE jsou jen za první tři stupně kvality finance. Vědecká rada MFF UK

19. Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Na rozdíl od dosavadní praxe paušálního bodování všech výsledků nepublikačního charakteru zůstává paušální ohodnocení pouze druhu výsledku patent. Za ostatní výsledky se bude bodové skóre odvíjet podle finanční podpory jednak z projektů aplikované- ho výzkumu a jednak ze smluvního výzkumu. Rozpor: nepublikační výsledky jsou přirozenými výs- tupy také základního výzkumu a nemusejí být sou- částí projektů, tj. pocházet z účelových prostředků. S tím III. pilíř vůbec nepočítá. Vědecká rada MFF UK

20. Snaha měřit výkonnost VO v oblasti aplikovaného VaV objemem mzdových prostředků vynaložených na aplikovaný výzkum znamená • rezignovat na jejich vlastní hodnocení, • nemá ve světě obdoby, • je v praxi neproveditelná. • RAE: založen na zásadě, že všechny typy výsledků jsou posuzovány ze stejného hlediska, včetně aplikovaného a na praxi orientovaného výzkumu: Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted. Vědecká rada MFF UK

21. Otázka pro autory Metodiky 2013: Vědecká rada MFF UK

22. Vědecká rada MFF UK

23. Vědecká rada MFF UK

24. Vědecká rada MFF UK

25. Vědecká rada MFF UK

26. Vědecká rada MFF UK

27. Zhoubný vliv kafemlejnku na • vědeckou obec a její jednání: • kafemlejnek jako návod jak • provádět „cost-effective“ výzkum • podvádět Vědecká rada MFF UK

28. Hodnocení velkých mezinárodních kolaborací • Pro celkový počet autorů se čeští autoři se počítají s váhou 1, • zahraniční s váhou 0,5 • Body jsou rozděleny mezi české instituce v poměru počtu • domácích autorů. • V případě, že podíl českých autorů klesne pod 10 %, rozděluje • semezi ně 10 % bodové hodnoty výsledku. • Tyto zásady znamenají, že nejsnadnější a nejlevnější cesta k bodům a tedy i penězům je následující: • zapojit se malým počtem lidí • vybrat si kolaboraci, kde není žádná jiná česká instituce. Vědecká rada MFF UK

29. Účast MFF na experimentu ATLAS • Tento článek má cca 3000 autorů, z toho • 24 z FZÚ • 23 z ČVUT • 17 z MFF UK • Experimentu ATLAS se účastníme již 20 let, stát do něj vložil • za tu dobu cca 250 milionů, pracovali na něm desítky fyziků, • techniků a doktorandů z MFF, kteří významně přispěli k vývoji, • konstrukci a provozu detektoru a analýze výsledků. Vědecká rada MFF UK

30. Účast MFF na experimentu CMS Za každou práci CMS dostane MFF 4krát více bodů a tedy i peněz, než za práci ATLAS!!!! Vědecká rada MFF UK

31. Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2010 a 2011 a rok 2012) Domácí tvůrce“ výsledku v RIV, je tvůrce, který výsledku dosáhl v rámci pracovněprávního nebo studijního vztahu k předkladateli, tj. k subjektu, který předkládá výsledek, příp. k organizační jednotce subjektu, která předkládá výsledek. Pracovně právní vztah se musí vztahovat k aktivitě výzkumu a vývoje, na základě které výsledek vznikl. Pro zařazení tvůrce výsledku mezi domácí tvůrce je rozhodující, zda tento pracovně právní nebo studijní vztahtrval v době vytvoření výsledku, nikoli rok uplatnění. Pro zařazení tvůrce výsledku mezi domácí tvůrce je též nutnou podmínkou uváděná afiliace tvůrce v publikaci, ve které se afiliace uvádějí (vždy se vyžaduje u výsledků druhu J). Toto je také rozhodující pří řešení rozporů domácích tvůrců. Vědecká rada MFF UK

32. Podvod za 100 tisíc Vědecká rada MFF UK

33. Konferenční příspěvek Martina Spousty z ÚČJF si přivlastnila Přírodovědecká fakulta Palackého univerzity v Olomouci Podvod za 120 tisíc Vědecká rada MFF UK Lež, příspěvek ve sborníku není!

34. Závěr Metodika 2012 je velmi špatným nástrojem pro hodnocení VaV, ale Metodika 2013 je ještě horší, neboť její domnělé přednosti znamenají ve skutečnosti další podstatný odklon od doporučení Auditu, mezinárodních standardů i zadání Ipn Metodika. Metodiku 2013 je třeba odmítnout a platnou metodiku na přechodné období neměnit. Obě Metodiky mají zhoubný vliv na jednání vědecké obce. Vědecká rada MFF UK

35. Záloha Vědecká rada MFF UK

36. II. pilíř předstírané excelence alias hodnocení kvality vybraných výsledků Z Principů Metodiky 2013 před 276. zasedáním RVI Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu Vědecká rada MFF UK

37. hodnocení kvality vybraných výsledků II. pilíř předstírané excelence Z Principů Metodiky 2013 před 276. zasedáním RVI Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu Stejně jako jednooký „exceluje“ nad slepými Po úpravě schválené RVVI Vědecká rada MFF UK

38. Základní práce v Kao, C.K. , Hockham, G.A. Dielectric-fibre Surface Waveguides for Optical Frequencies. Proceedings of the Institution of Electrical Engineers-London (1966) 113, p. 1151. Jeden z výsledků aplikovaného výzkumu, který změnil svět Vědecká rada MFF UK

39. Praktická neproveditelnost některých kroků Vědecká rada MFF UK

40. Citace ze zákona 130/2002 Sb.: Základní výzkum: teoretická nebo experimentální práce prováděná zejména za účelem získání nových vědomostí o základních principech jevů nebo pozorovatelnýchskutečností, která není primárně zaměřena na uplatnění nebo využitív praxi. Aplikovaný výzkum: teoretická a experimentální práce zaměřená na získání nových poznatků a dovedností pro vývoj nových nebo podstatně zdokonalených výrobků, postupů nebo služeb. Výstupem aplikovaného výzkumu proto nejsou jen patenty a licence, ale taképůvodní vědecké práce publikované ve špičkových mezinárodních časopisech, včetně Nature a Science. Vědecká rada MFF UK

41. Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted. Panel criteriaencompass a range of indicators of excellence that are sufficiently broad to enable them to recognise the distinctive characteristics of applied research and practice-based research, and to ensure that they apply their quality benchmarks equitably. Podobně je tomu v hodnocení prováděném ve Francii a jiných zemích a tak by to mělo být i u nás. Vědecká rada MFF UK

42. Vědecká rada MFF UK

43. Vědecká rada MFF UK

44. Vědecká rada MFF UK

45. Vědecká rada MFF UK

46. Vědecká rada MFF UK

47. Závěry a doporučení Závěrečné zprávy mezinárodního auditu výzkumu, vývoje a inovací v České republice 5.1. Závěry Hodnocení v českém systému VaVaI funguje špatně. Použití Metodiky hodnocení (...) deformuje chování, snižuje stabilitu výzkumného systému (..) Obecně bere hodnocení v potaz nevhodné ukazatele. je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V paxi hodnocení je třeba provést radikální změny (...) (s. 83) Vědecká rada MFF UK

48. 5.2. Doporučení 7. Metodika hodnocení není vhodná pro účely, jimž má sloužit. Přináší pokřivení struktury i chování a je překážkou mnohým aspektům rozvoje národního systému výzkumu a inovací. Metodika hodnocení by měla být nahrazena systémem výkonnostních smluv, které by zahrnovaly perspektivní i retrospektivní složky, podpořené kombinací objektivních indikátorů a hodnocením nezávislým mezinárodním hodnotitelským panelem. 8. Systém hodnocení VaV v ČR je široce zaměřen na počítaní výstupů na úkor pochopení politických intervencí a jejich dopadů. Poskytuje tedy informace, jejichž relevance je přinejmenším omezená. Hodnotící praxe by měla být od základu reformována s tím, že bude zaměřena na výsledky a dopady a bude přispívat k rozvoji politik a programů a k plánování. Kromě jiného bude zahrnovat implementaci „kaskádového principu“, jenž znamená, že úrovně řídící hierarchie používají nezávislou expertízu pro hodnocení nižších hierarchických úrovní, ale nehodnotí samy sebe. Vědecká rada MFF UK