Metody pro evaluaci výsledků VaV - follow up D oc. MUDr. Ivan Pohl, CSc.

1. Metody pro evaluaci výsledků VaV - follow upDoc. MUDr. Ivan Pohl, CSc. Vzdělávání pracovníků VaV MU a VFU Brno v endoskopických vyšetřovacích technikách a endoskopicky asistované miniinvazivní chirurgii s využitím nových materiálů Tato prezentace je spolufinancována Evropským sociálním fondem a státním rozpočtem České republiky.

2. Hodnocení vědy a výzkumu • Výkon individuální nebo kolektivní • Kvalitativní hodnocení nebo kvatitativní

3. RVVI • Rady pro výzkum, vývoj a inovace (RVVI) jako poradního orgánu vlády a Grantové agentury ČR • Ministerstva jsou správní orgány oprávněné poskytovat podporu ze státního rozpočtu

4. Grantová agentura ČR • vyhlašuje veřejné soutěže ve výzkumu a vývoji na podporu grantových projektů základního výzkumu • Projekty: • (1) standardní grantový projekt • (2) postdoktorský grantový projekt • (3) bilaterální grantový projekt.

5. Metody pro hodnocení vědy a výzkumu (Ráb P., Kadlecová I Inforum 2008 ) • 1. ranking • 2. benchmarking • 3. rating benchmarking

6. A Directory of Evaluation Methods Relevant to Technology Development Programs (USA) • Peer Review/Expert Judgment • Monitoring, Data Compilation, and Use of Indicators • Bibliometrics – counts and citation analysis • Bibliometrics – data mining • Bibliometrics – hotspot patent analysis • Network Analysis • Case Study Method – Exploratory, Descriptive, and Explanatory • Survey Method • Benchmarking Method • Technology Commercialization Tracking Method • Benefit-Cost Case Study • Econometric Methods • Historical Tracing • Spillover Analysis.

7. Zdroje dat pro bibliometrické metody • Polytematické • Science Citation Index • Scopus • Scholar Google • Oborové • databáze Medline • astronomie, fyzika, NASA-ADS • medicínský citační index Národní lékařské knihovny • Specializované • patentový citační rejstřík Derwent, STN Internat., Dialoq • Web of Science • Journal Citation Reports • RIV • ASEP

8. Informační systém výzkumu, vývoje a inovací (IS VaV) • RIV - registr informací o výsledcích výzkumu a vývoje. • ASEP – Automatizovaný Systém Evidence Publikací a dalších typů výsledků pracovišť AV ČR

9. Databáze • Web of Science (WoS) • SCOPUS - Scopus Citation Tracker • review citations to a particular author. • review the citations in a particular field. • Use the refine box to view a summary of citing documents

10. Analýza časopisů • Journal of Citation Reports • Celkem je vyhodnocováno asi 9100 časopisů od 2200 nakladatelů ze 78 států, zahrnujících asi 230 vědních oborů. • Journal Impact Factor • poměr počtu citací v hodnoceném roce na všechny články publikované v daném časopise za předchozí dva roky, k celkovému počtu všech těchto článků

11. Analýza časopisů • Immediacy Index • Citační poločasy Opatrnost při interpretaci výsledků bibliometrické analýzy !

12. Problémy citačních indexů • citační zvyklosti v jednotlivých oborech se liší, • smysl má porovnávat stejné obory, • mezioborové práce mají obvykle vyšší citovanost, • vysokou citovanost mají práce z úzkého oboru, • citační mafie (gangy), • vysokou citovanost mají přehledové a metodické články, • „nezasloužená“ citovanost („šéfové“, drobná spolupráce), • negativní citace má stejnou váhu jako pozitivní, • dobrá práce přejde do referátového článku, který je citován, • autocitace (tvoří cca 1/3 všech citací), • velmi dobré publikace mají desítky, výjimečné stovky citací, • znevýhodnění popularizátorů vědy.

13. Metodika hodnocení výsledků výzkumných organizací • Úvod • Hodnocení výsledků výzkumných organizací • Hodnocení výsledků programů výzkumu, expr. vývoje a inovací ukončených v r. 2009 a 2010 • Pravidla ověřitelnosti vykazovaných výsledků • Renormalizace bodového ohodnocení a pravidla rozdělování institucionálních prostředků výzkumných organizací a stanovení finanční hodnoty bodu, • Závěr a Přílohy.

14. Hodnotící kritéria pro výběr projektů TAČR • Binární kritéria ano – ne (ne znamená automaticky vyřazení projektu) • Navrhovaný projekt je projektem aplikovaného výzkumu nebo experimentálního vývoje • Návrh projektu je v souladu s cíli programu a podprogramu • Podstata návrhu projektu nebo její části nebyla řešena v rámci jiného projektu, atd. • Příjemce prokázal požadovanou spoluúčast při financování • Příjemce prokázal, že projekt bude generovat alespoň 1 aplikovaný výsledek z množiny podporovaných výsledků, který bude realizován v praxi do 3 let od ukončení projektu

15. Hodnotící kritéria pro výběr projektů TAČR • Bodovaná kritéria • Kapacity výzkumného týmu (max. 10 bodů, prahová hodnota 5 bodů) – Prokázání odborné způsobilosti řešitelů, znalost řešení analogických problémů v zahraničí, porovnání řešení se stavem v ČR a ve světě • Očekávané přínosy projektu z hlediska cílů programu (max. 20 bodů, prahová hodnota 10 bodů) Novost řešení, aplikační potenciál, výsledků projektu, celková úroveň a komplexnost řešení • Existence významných tržních příležitostí a schopnost těchto příležitostí využít (max. 20 bodů, prahová hodnota 10 bodů) - Znalost relevantního trhu pro uplatnění výsledků. atd. • atd. celkem 7 bodů a 18 podbodů • Jde o mix kritérií ryze odborných, technických a ekonomických. Cíl je posílení české ekonomiky a minimalizovat rizika neúspěšného řešení.