konference VšeVěd 2022 - Olomouc

1. Interní hodnocení výzkumu a PhD na Masarykově univerzitě Mgr. Petra Mořkovská, Ph.D. Centrum pro scientometrickou podporu a evaluaci Odbor výzkumu, Rektorát, Masarykova univerzita 1 VšeVěd, 05. 10. 2022

2. Agenda Opodstatnění Vyhodnocení Cíl Interní hodnocení výzkumu a PhD (IHVD) Východiska a vzory Proces Metoda a návaznosti Příprava 2 VšeVěd, 05. 10. 2022

3. 3 VšeVěd, 05. 10. 2022

4. Systém hodnocení výzkumu na MU Hodnocení výzkumu na MU je promyšlený systém aktivit, které analyzují informace o výzkumu v různém rozlišení, s jasným posláním a využitím. Tvoříme obraz o výzkumných kvalitách a publikačním výkonu MU. Postupujeme s respektem k principům zodpovědného hodnocení. www.hodnocenivedy.muni.cz 4 VšeVěd, 05. 10. 2022

5. Vrstvy hodnocení výzkumu na MU • Metodika 2017+ • Výsledky slouží MŠMT pro financování VŠ. • Pro MU je zdrojem informací o výkonnosti univerzity na úrovni oborů. Národní hodnocení • Systém skupiny indikátorů (publikace a granty). • Oceňuje předpoklady pro zvyšování reputace a ohlasu výzkumu. • Nezávislé na pravidlech poskytovatele. • Reflexe přijímaných kritérií externích hodnocení (Metodika 2017+; mezinárodní žebříčky apod.). Výkonová složka rozpočtu na DKRVO MU Interní hodnocení výzkumu a PhD • Hodnocení pracovišť a vědeckých týmů. • Přináší zpětnou vazbu a je podkladem pro strategické řízení jednak na úrovni součásti a také na úrovni MU. 5 VšeVěd, 05. 10. 2022

6. distribuce finančních prostředků uvnitř MU nesouvisí s výsledky M17+. x 6 VšeVěd, 05. 10. 2022

7. Systém hodnocení výzkumu na MU Celkový přehled Interní hodnocení výzkumu a PhD (IHVD) • 1× za pět let. • Formativní. • Systém indikátorů stimulujících kvalitní publikování. • Každoročně (sleduje tříleté období). Komponenty hodnocení Výkonové indikátory • Každoroční monitoring. • Standardní bibliometrická analýzy produkce, ohlasu, dopadu a spolupráce. Hodnoticí rozhovory s fakultami 7 VšeVěd, 05. 10. 2022

8. Systém hodnocení výzkumu na MU IHVD • Panely, návštěvy na místě. • Prezentace pracovišť a hodnoticí pohovory. • Není peer-review vybraných publikací. Peer review Sebehodnoticí zpráva Evaluační zpráva • Základní materiál pro hodnocení. Interní hodnocení výzkumu a PhD (IHVD) • Podkladový materiál, panoramatický přehled. • Produkce, ohlas a dopad; odráží publikační zvyklosti. Bibliometrie • Analytické podklady pro hodnocení DSP - počty studentů, školitelů, obhajob, témata disertačních prací, atd. Analýza manažerských dat 8 VšeVěd, 05. 10. 2022

9. 9 VšeVěd, 05. 10. 2022

10. Proč? ̶ V systému neexistoval proces, který by poskytoval přímou nezávislou zpětnou vazbu a strategickou podporu nižším organizačním jednotkám. ̶ Excelentní výzkum se na institucích typu univerzity/součásti nachází na úrovni jednotlivců, týmů a mikrooborů → je nutné jít do nižší úrovně hodnocení. ̶ Metodika 2017+ ̶ necharakterizuje obory na univerzitě organizačně (Modul 2); ̶ neumí identifikovat tradičně kvalitní a perspektivní témata a mikroobory; ̶ zůstává na úrovni součástí (Modul 3 a Modul 4); ̶ má jiné poslání. 10 VšeVěd, 05. 10. 2022

11. Mít jasně stanovený cíl… Z pohledu celé MU: 1. První plošné kvalitativní hodnocení pracovišť na MU. ̶ Zmapovat celkový stav + dlouhodobě úspěšná i perspektivní výzkumná témata. 2. Spojení s hodnocením doktorských studijních programů (DSP). ̶ Zpřehlednění systému hodnocení kvality na MU a snížení administrativy. 3. Vytvořit udržitelný a smysluplný model vnitřního hodnocení. Z pohledu součásti: 1. Informace pro řízení VaV a vnitřní strategii. 2. Skutečný feedback pro fakulty/pracoviště/jednotlivce. 11 VšeVěd, 05. 10. 2022

12. Klíčové vlastnosti interního hodnocení ̶ Hodnocení je legitimní (viz cíle). ̶ Hodnocení je ryze formativní: doporučení pro zlepšení. ̶ Hodnocení není navázáno na financování (DKRVO), ale na výzkumné strategie. ̶ Je povinné pro všechna pracoviště na MU. ̶ Spojeno s hodnocením doktorských studijních programů. ̶ Přestřihlo pupeční šňůru k národnímu hodnocení. ̶ M17+ nemá na MU vliv na hodnocení fakult a personální záležitosti. ̶ Informované panelové (peer) review s 5letou periodou. 12 VšeVěd, 05. 10. 2022

13. Jak jsme začínali (2018) 13 VšeVěd, 05. 10. 2022

14. Vzory ̶ Strategy Evaluation Protocol (Holandsko) ̶ M17+ ̶ REF (UK) ̶ IPN Metodika ̶ DORA, Leiden Manifesto, Agreement on Reforming Research Assessment, SCOPE framework 14 VšeVěd, 05. 10. 2022

15. Jsme v souladu s dobrou praxí 1. Diskuse s fakultami. ̶ Hledání struktury SEZ obsahující relevantní informace o jednotce. 2. Kontext. ̶ Pracoviště, oborový princip. ̶ Zmapovat potenciál, doporučení pro zlepšení. 3. Informované peer review. ̶ NE vládě bibliometrie. 4. První plošné hodnocení MU vůbec. ̶ NE přímý vliv na finance → zodpovědnost × gaming. ̶ Flexibilita. 5. Evaluace evaluace. ̶ Účastníme se všech on-site visits, zpětná vazba od hodnotitelů i hodnocených jednotek. 15 VšeVěd, 05. 10. 2022

16. 16 VšeVěd, 05. 10. 2022

17. Organizace hodnocení ̶ Rektorát hraje roli garanta a metodické podpory (jako MŠMT v M17+). ̶ RMU nastaví základní kritéria hodnocení – účel, základní strukturu. ̶ Součásti jsou odpovědné za organizaci panelů a sebehodnocení svých pracovišť (jako výzkumné organizace v M17+). ̶ Součásti mají prostor pro detailnější nastavení dle svých potřeb (včetně možnosti nastavení hodnocených jednotek). ̶ Základní subjekt hodnocení je Hodnocená jednotka (HJ) ̶ Obvykle pracoviště, nebo cluster pracovišť + přiřazený doktorský studijní program. 17 VšeVěd, 05. 10. 2022

18. Organizace panelů Panely jsou organizovány oborově nebo podle organizačních potřeb součástí. 1. Evaluační panel ̶ Hodnotí sebeevaluační zprávy na úrovni pracovišť, on-site visit. ̶ Minimálně tři experti (alespoň 2/3 členů ze zahraničí), vyloučen střet zájmů, genderově vyvážené. a) Oborový dílčí (v případě multioborové součásti) – obvykle na jedné součásti, ale možné i mezifakultní. Celofakultní (v případě oborové homogenity). International Scientific Advisory Board (ISAB) součásti. b) c) 2. Souhrnný panel součásti ̶ Funguje na úrovni celé součásti na základě všech evaluačních zpráv. ̶ Shrnutí nastavených procesů, managementu výzkumu a DSP. 18 VšeVěd, 05. 10. 2022

19. Bibliometrie pro IHVD ̶ Snaha o zachycení specifik pro SSH a STM obory. ̶ Zdrojem je Informační systém Masarykovy univerzity; napárováno na WoS či Scopus ̶ Extenzivní čištění dat v Informačním systému MU a databázích WoS a Scopus. ̶ Doplnili jsme 1300 chybějících identifikátorů Scopus a 1000 identifikátorů WoS. ̶ Vytvořili jsme organizační strukturu MU ve WoS (osoby a pracoviště). ̶ Struktura umožňuje analýzy podle evaluovaných jednotek. ̶ Generické reporty z InCites/MyOrganization a SciVal doplněné statistikami z IS (celková produkce, pokrytí v databázích atd.). ̶ Obsahuje informace o publikačním vzorci (struktura typů výsledků a pokrytí v databázích). ̶ Obsahuje informace o prestiži zdrojů, ohlasu a spolupráci. 19 VšeVěd, 05. 10. 2022

20. Dopady hodnocení ̶ Hodnocení pomůže identifikovat profilující a perspektivní oblasti výzkumu. ̶ Součást na základě výstupů hodnocení vypracuje dokument, který bude projednán v rámci jednání rektora MU s vedením součásti. Dokument bude obsahovat tyto náležitosti: ̶ Strategie pro řízení výzkumu v následujícím pětiletém období na úrovni součásti, která zohlední doporučení panelů / ISAB součásti a nastaví způsob jejich uplatnění. ̶ Reflexe hodnocení, která bude OV RMU sloužit pro vyhodnocení celého procesu IHVD ke zdokonalení pro příští období. ̶ Způsob, jakým bude součást ve vnitřním řízení uplatňovat doporučení panelů / ISAB součásti. ̶ Vedení MU využije výstupy z hodnocení 1) pro analýzu vnitřního prostředí ve výzkumu a v DSP, 2) k rozvoji výzkumu MU s cílem zvýšit úspěšnost MU v národním systému hodnocení vědy v ČR a zvýšit mezinárodní prestiž MU a 3) pro propagaci vynikajících výzkumných témat navenek. ̶ Některé součásti zavedly ISAB (International Scientific Advisory Board) jako stálý poradní orgán ve výzkumu. 20 VšeVěd, 05. 10. 2022

21. 21 VšeVěd, 05. 10. 2022

22. Organizační tým hodnocení Doktorské studium – Odbor pro kvalitu Soňa Nantlová Kateřina Oleksíková Jakub Vykydal Výzkum – Odbor výzkumu Tajemníci hodnocení 12 tajemníků – jeden za každou součást. Garanti hodnocení na dané součásti. Petr Kalíšek Petra Mořkovská Monika Kuchlei Sieberová Michal Petr Natálie Štepánková Jan Bláha Web hodnocení 22 VšeVěd, 05. 10. 2022

23. Aktéři hodnocení Vedoucí HJ/clusteru RVH Hodnotitel PHD student Garant DSP Tajemník 23 VšeVěd, 05. 10. 2022

24. Aktéři hodnocení Hodnotitelé jsou nominováni hodnocenou součástí (fakultou, ÚVT, CEITEC). Kritéria • Expert, ideálně se zkušenostmi s managementem vědy a vědeckých týmů. • Bez střetu zájmů. Jeden hodnotitel z panelu přebírá funkci předsedy. • Plánuje práci hodnotitelů v panelu. • Moderuje on-site visit. • Schvaluje evaluační zprávu před jejím odevzdáním. • Účastní se souhrnného panelu součásti (pokud je uplatněn). Hodnotitel Všichni hodnotitelé dostali příručku k hodnocení s podrobným popisem cílů, procesu a výstupů hodnocení. 24 VšeVěd, 05. 10. 2022

25. Aktéři hodnocení Plánuje a provádí technicko-organizační zajištění celého procesu Interního hodnocení výzkumu MU na dané součásti. Má přehled o termínech a dbá na jejich včasné dodržení. Je hlavním kontaktním bodem pro hodnocenou jednotku při přípravě sebeevaluačních zpráv. Zajišťuje distribuci podkladů pro hodnotitele. Organizuje on-line meeting před příjezdem hodnotitelů. Řeší individuální specifika a potřeby hodnotitelů. • • • • • • Tajemník 25 VšeVěd, 05. 10. 2022

26. Aktéři hodnocení Vypracuje sebeevaluační zprávu. Jedná s hodnotícím panelem během on-site visit. • • Vedoucí HJ/clusteru Účast na on-site visit. Průběžná reflexe jednotlivých schůzek na zasedáních RVH. Po skončení hodnocení bude sledovat, jakým způsobem studijní programy na dané hodnocení reagovaly a zda s výsledky a doporučeními aktivně pracují. • • Vypracuje sebeevaluační zprávu pro DSP, jehož je garantem, a projednává ji s oborovou radou. Jedná s hodnotícím panelem během on-site visit. Zpracovává Plán rozvoje DSP a projednává jej s oborovou radou. • • • • RVH Garant DSP Pročítá sebeevaluační zprávu DSP. Účastní se samostatné schůzky s hodnotiteli během on-site visit. • • PHD student 26 VšeVěd, 05. 10. 2022

27. Proces hodnocení – časový rámec Hodnocené období: 2017–2021 27 VšeVěd, 05. 10. 2022

28. Proces hodnocení – podkladové materiály Kdo dodává co Odbor výzkumu Bibliometrická analýza hodnocených jednotek HODNOTÍCÍ PANEL Zpráva z tématického hodnocení doktorského studia na MU, Fakultní shrnutí DSP Odbor pro kvalitu Sebehodnotící zpráva hodnocené jednotky, Sebehodnotící zpráva doktorského programu Hodnocené jednotky 28 VšeVěd, 05. 10. 2022

29. Proces hodnocení – podkladové materiály Hodnocení vědy Bibliometrický report • Dodán pracovištím 3 měsíce před on-site visit pro kontrolu. • Součástí je Benchmarking na úrovni FORD pro MU, Českou republiku a EU-15. Tento dokument ukazuje přehled základních výkonnostních metrik na úrovni oborů výzkumu a vývoje (FORD). Metriky byly zpracovány v InCites pro data Web of Science (WoS) pro Masarykovu univerzitu (MU), Českou republiku a EU-15 publikací v časopisech indexovaných v těchto FORD. HODNOTÍCÍ PANEL Sebeevaluační zpráva - struktura • Základní informace o hodnocené jednotce • SWOT analýza • Strategie a vize • Výzkumná témata a výsledky, granty • Společenský přínos výzkumu a uznání výzkumu vědeckou komunitou • Spolupráce • Výzkumné infrastruktury 29 VšeVěd, 05. 10. 2022

30. Proces hodnocení – podkladové materiály Hodnocení DSP Zpráva z tematického hodnocení doktorského studia na MU • Vychází z dat v IS MU pro jednotlivé doktorské studijní programy. • Dodán pracovištím 3 měsíce před on-site visit pro kontrolu. • Nastínění hlavních trendů (tzv. dashboard prezentující vývoj doktorského studia co se týče klíčových statistických ukazatelů). Sebeevaluační zpráva DSP • Zpracována dle závazné struktury. • Profil absolventa a zacílení studia. • Přijímací řízení. • Průběh studia a výzkumná činnost studentů. • Ukončení studia a absolventi. • SWOT analýza a návrh plánu rozvoje studijního programu. https://muni.cz/go/dsp_data 30 VšeVěd, 05. 10. 2022

31. Proces hodnocení – On-site visit Účastníci Garanti hodnocených studijních programů Vedoucí hodnocených pracovišť • Zástupci vedení fakulty • Členové oborových rad Seniorní i juniorní výzkumníci z hodnocené jednotky • Zástupci rektorátu studenti DSP • Zástupce RVH • Studenti Tajemník hodnocení 31 VšeVěd, 05. 10. 2022

32. Proces hodnocení – On-site visit Povinné komponenty Prezentace pracovišť Prezentace DSP Detailní harmonogram zpracuje součást dle svých potřeb při zachování povinných bodů. Samostatná schůzka s DSP studenty 32 VšeVěd, 05. 10. 2022

33. Proces hodnocení - výstupy Evaluační zpráva Shrnující zpráva • Kombinuje prvky formativní a sumativní – obsahuje komentáře k hodnocené jednotce a DSP, doporučení pro jejich další rozvoj a také výslednou známku (typicky 0–5; slabý – mezinárodně kompetitivní), která odpovídá formalizovanému slovnímu stanovisku ke kvalitě výzkumu. • Zpracována do 2 týdnů po skončení on-site visit. • Je specificky zaměřená na průřezová témata zjištěná z proběhlých on- site visit a z evaluačních zpráv hodnocených jednotek. • Slouží pro nastavení strategických priorit univerzity a fakult v oblasti vědy, výzkumu a doktorských studijních programů do budoucna. • Součást na základě doporučení vytvoří nebo upraví strategii rozvoje výzkumu a představí ji vedení univerzity. 33 VšeVěd, 05. 10. 2022

34. Statistika Počet hodnocených jednotek Počet DSP Počet hodnotitelů Panel Arts Economy 4 7 4 6 3 5 6 clusterů (PdF) + 1 HJ samostatně (FF) 4 1 31 (výzkumné skupiny) 5 clusterů 2 clustery 3 3 2 1 3 10 4 clustery 4 1 cluster (FSS) + 2 HJ samostatně 1 cluster (FSS) + 5 HJ samostatně Education & Educational Research History & Archaeology Informatics 1 ISAB CEITEC ISAB MED ISAB PHARM Biology Chemistry Earth Sciences Mathematics Physics Languages & Literature Law Philosophy, Ethics and Religion 9 4 1 0 9 3 4 206 Počet pracovišť MU Nehodnoceno - kliniky LF 33 12 12 4 3 3 3 3 3 3 5 3 14 5 6 7 4 1 1 19 15 2 Počet hodnocených jednotek/clusterů 109 109 Počet hodnocených DSP 21 Počet panelů 97 Počet hodnotitelů Z toho Čechů/Slováků působících v ČR/SK Psychology 3 4 9 Social Sciences Sports and Exercise Sciences, Leisure and Tourism RECETOX Informatics 2 6 5 7 1 1 1 1 0 4 3 3 34 VšeVěd, 05. 10. 2022

35. IHVD současný stav Stav k 22.9. 2022 ON-SITE VISITS - PŘEHLED neproběhla 38% proběhla 62% 35 VšeVěd, 05. 10. 2022

36. Lessons learned Co musíme zlepšit (co zatím víme) Snížit množství podkladových materiálů (odstranit repetitivní části). Zvýšit informovanost hodnotitelů o tom, co se od nich očekává a o systému vzdělávání a financování v ČR. Lépe instruovat všechny aktéry o jejich rolích – obecná komunikace. Bibliometrie – automatizované reporty nahradit pro některé obory jim přizpůsobenou analýzou. 36 VšeVěd, 05. 10. 2022

37. Otázky? 37 VšeVěd, 05. 10. 2022

38. Děkujeme za pozornost! Petra Mořkovská Monika Sieberová Natálie Štěpánková Michal Petr Centre for Scientometric Support and Evaluation Odbor výzkumu morkovska@rect.muni.cz http://scientometrics.muni.cz @scientometrics.muni.cz 38 VšeVěd, 05. 10. 2022