1 / 23

Jindřich Leitner VŠCHT Praha

Jaká je hodnota našich publikací. Jindřich Leitner VŠCHT Praha. „Work-finish-publish“ (M. Faraday, 1791-1867). „Publish or perish“ (L. Wilson, 1942). Získat body pro hodnocení. Sdělit výsledky. Proč publikovat?. Goodhartův zákon. Je-li nějaká sociální nebo ekonomická veličina

haruko
Download Presentation

Jindřich Leitner VŠCHT Praha

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Jaká je hodnota našich publikací Jindřich Leitner VŠCHT Praha

  2. „Work-finish-publish“ (M. Faraday, 1791-1867) „Publish or perish“ (L. Wilson, 1942) Získat body pro hodnocení Sdělit výsledky Proč publikovat?

  3. Goodhartův zákon Je-li nějaká sociální nebo ekonomická veličina užita jako kvantifikovaný cíl nějaké politiky, pak tato veličina ztrácí svoji vypovídací schopnost, protože zainteresované subjekty jsou motivovány k jejímu zkreslování. Charles E.A. Goodhart Příklad : Hodnocení kvality pedagogů podle počtu „úspěšných“ studentů.

  4. Hodnocení VEVI • Kariérní růst akademických pracovníků • Akreditace studijních programů a oborů na VŠ • Poskytování finančních prostředků na grantové projekty • Hodnocení institucí zabývajících se VEVI • … Hodnocení odborných publikací: kvantita a kvalita Kvantita = počet publikací + počet citací Kvalita publikace = kvalita časopisu (IF) Kvalita jednotlivce = suma kvality jeho publikací Kvalita kolektivu = suma kvality jeho členů

  5. Scientometrie Scientometrics is the science of measuring and analysing science. In practice, scientometrics is often done using bibliometrics which is a measurement of the impact of (scientific) publications. http://en.wikipedia.org/wiki/Scientometrics Wiley, 1950 IF2010 = 2,137 Springer, 1978 IF2010 = 1, 905 Elsevier, 2007 IF2010 = 3,119

  6. Bibliografické databáze Thomson Reuters 7 citačních databází SCI-Expanded od r. 1945 2011: 1907 zdrojů Elsevier Dokumenty od r. 1996 2011: 3448 zdrojů, 3140 časopisů Google + Publish or Perish (Anne-Wil Harzing)

  7. O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall: Protein measurement with the Folin phenol reagent, J. Biol. Chem. 193 (1951) 265. 22.5.2012 WoS: 297485-krát GS: 249809-krát Kvantitativní ukazatele Počet publikací (dle kategorie) - Nadprodukce publikací - Problém stejných jmen (GS - Smith: 1.330.000, Li: 2.140.000) Počet citací - Proč jsou práce citovány - Celkový počet citací vs. distribuce počtu citací (h-index) - Problém autocitací

  8. Kvantitativní ukazatele Analýza citovanosti prací 1900-2005 Celkem prací 38.163.319 Citováno alespoň 1x 19.938.769 (tj.52,25%)

  9. Citační ohlas prací z oblasti TAC • Homer E. Kissinger: Reaction kinetics in differential thermal analysis, Anal. Chem. 29 (1957) 1702-1706 (5254 citací dle GS, 4629 citací dle WoS) 24.5.2012. • Takeo Ozawa: A new method of analysing thermogravimetric data, Bull. Chem. Soc. Jpn. 38 (1965) 1881-1886 (2491 citací dle GS, 2294 citací dle WoS) 24.5.2012.

  10. - Délka názvu - Přítomnost zkratek, znaků (např. – nebo :) a určitých slov - Specifické geografické vymezení - … Proč jsou publikace citovány - Aktivní/pasivní citace - Specifické preference (autor, zdroj, „indukční efekt“, …) - Negativní citace - Autocitace

  11. Hirschův index Jorg E. Hirsch: An index to quantify an individual's scientific research output, Proc. Natl. Acad. Sci. USA. 102 (2005) 16569. 2265 citací dle GS, 1017 citací dle WoS (24.5.2012)

  12. O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall: Protein measurement with the Folin phenol reagent, J. Biol. Chem. 193 (1951) 265. Rosebrough N.J. Suma citací 297694 h-index 3 Hirschův index • h-index: výhody • - Eliminuje vliv výrazně hodně/málo citovaných prací • h-index: nevýhody • - Výrazné rozdíly mezi obory (nelze porovnávat) • - S rostoucím věkem roste/neklesá • - Při výpočtu jsou uvažovány autocitace • - Hodnota může záviset na databázi, ze které je vypočtena • - …

  13. IF = Garfield story ... Science, Vol:122, No:3159, p.108-111, July 15, 1955 Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas Eugene Garfield, Ph.D. SCImago Cites per Doc.(2y) http://www.garfield.library.upenn.edu/ Kvalitativní ukazatele Kvalita publikace = kvalita časopisu (IF)

  14. Impakt-faktor časopisu IF: nevýhody - Výrazné rozdíly mezi obory (nelze porovnávat) - Závisí na charakteru časopisu (obecný/specializovaný, původní/přehledné články, jazyk, …) - Při výpočtu jsou v některých případech uvažovány různé soubory pro publikace a citace (Letters to Editor) - Při výpočtu jsou uvažovány autocitace - Může se výrazně měnit v čase - Nevhodné použití - není mírou kvality jednotlivé práce „The use of journal impacts in evaluating individuals has its inherent dangers.“ (E. Garfield, 2005)

  15. Impakt-faktor časopisu

  16. Impakt-faktor časopisu

  17. Lze impakt-faktor časopisu ovlivnit ? • Proč ? • Osobní zájem vydavatelů, redaktorů i autorů. • Jak ? • Zvýšením počtu autocitací (citace na články ve stejném časopise).

  18. Časopisy s vysokým impakt-faktorem

  19. Body RIV Institucionální podpora na dlouhodobý koncepční rozvoj výzkumné organizace • Články v prestižních časopisech Science a Nature (500 bodů). • Články v mezinárodních časopisech s IF (10–305 bodů). • Články v mezinárodních recenzovaných časopisech bez IF (Časopis musí být veden v databázi Scopus) (12 bodů). • Články v českých recenzovaných časopisech (4 body). • Články ve sbornících z konferencí (Sborník musí být evidován v databázi ConferenceProceedings Citation Index - Science společnosti Thomson Reuters) (8 bodů).

  20. 1 bod ≈ Jimp vybraných časopisů

  21. 1 bod ≈ České univerzity Body RIV v r. 2011 (2006-2010)

  22. Hlavní nedostatky • Kvalita vědecké práce je velmi obtížně kvantifikovatelná. • Běžně užívané kvantitativní indikátory mají řadu zřejmých a obecně známých nedostatků, jejich hodnoty lze cíleně manipulovat. • Kvantitativní ukazatele jsou mnohdy nevhodně užívány a všeobecně přeceňovány. Důsledkem současného systému hodnocení vědy pouze/zejména podle počtu a kvality publikací vede k nadprodukci publikací a k účelové manipulaci s citacemi.

  23. Lze to i jinak ? Projekt „Technopolis“ – Mezinárodní audit VVI v ČR (2010-11) Různé aspekty vědní politiky včetně hodnocení organizací zabývajících se VEVI • Systém není optimální – změna je nevyhnutelná. • Změny provádějte pomalu, aby systém mohl přirozeně reagovat na měnící se podmínky. • Nepoužívejte pouze přístupy založené na kvantitativních indikátorech (body RIV), kombinujte je s jinými principy rozdělování zdrojů (posouzení nezávislými experty, posouzení přínosů, sebehodnocení). • Berte v úvahu rozdíly mezi jednotlivými vědními obory.

More Related