Evaluation of Performance Based on Information in Documents‘ Databases Hana Pessrová Tomáš Cahlík

1. Evaluation of Performance Based on Information in Documents‘ DatabasesHana PessrováTomáš Cahlík

2. Outline 1.Introduction 2. Evaluation of Universities Thomson ISI Approach Czech Methodology 3. Our Own Experiments 4. Outlooks

3. Introduction What can be evaluated based on the information in documents´ databases? Quality of journals impact factor Quality of authors Number of publications Impact measured by number of citing papers Quality of research of sets of authors (departments, universities, states, EU) Number again Impact again

4. Introduction Which databases are accessible at Charles University? For everybody Web of Knowledge The only database with citation information Look at others at CUNI webpage “informační a poradenské služby, portály, brána k informacím”

5. Introduction For libraries a lot of others, for example EconLit

6. Evaluation of Universities - Thomson ISI Approach One of Products of the Thompson Research Service Group is Institutional Indicators • University Science Indicators (United States, United Kingdom, Canada, and Australia) • A database • Containes the number of ISI indexed papers for each university and the number of times the papers were cited through 2003

7. Evaluation of Universities - Thomson ISI Approach • For each university, information available is • Total number of papers • Total citations to papers • Citation impact statistics • World and university baselines for publication, citation and citation impact statistics

8. Evaluation of Universities - Thomson ISI Approach Conclusions • We have requested a „Virtual Study Tour“ • We believe that the same form can be used for our project • An open question: Is Thomson likely to deliver this product for Europe, too?

9. Evaluation of Universities - Czech Methodology Vláda ČR zvažuje změnu kriterií pro hodnocení výzkumu a vývoje. V návrhu usnesení vlády se uvádí, že kriteria hodnocení musí být • předem známá a závazná • jasně formulovaná • kvantifikovatelná, měřitelná, zhodnotitelná • vztahující se k danému cíli.

10. Evaluation of Universities - Czech Methodology Pro ekonomické a společenské vědy se předpokládá, že jako kriterium budou využity • články v impaktovaných vědeckých časopisech • články v odborných českých vědeckých časopisech • odborné knihy či články v knihách nebo sbornících v cizím jazyce • aplikované výsledky.

11. Our own experiments • Web of Knowledge • Možno najít záznamy z publikační činnosti UK a jiných českých univerzit v celistvosti a podle oborů a citace podle autorů, titulů ( vyhledávání v Social Science Citation Index a Science Citation Index) • JSTORE • Možno najít záznamy podle škol, podle autorů a titulů, pramenů a to s výjimkou posledních 2-3 let. Neobsahuje citace, ale plné texty obsahují bibliografické seznamy.

12. Our own experiments • Current Contents • Je možné hledat podle škol, oborů a záznamy obsahují plná jména autorů včetně jejich pracovišť a rozšířených přístupových adres. • EconLit • Je možné hledat především podle autorů a titulů, podle oborů a škol bylo třídění velmi hrubé.

13. Outlooks Provedeno investigativní šetření výskytu dalších nástrojů pro evaluaci publikační činnosti a zjištěno, že především firma Elsevier oznamuje na 2.pol. 2004 zpřístupnění nejrozsáhlejšího registru publikací, časopisů a citačních parametrů „SCOPUS Service“ http://www.infotoday.com/newbreaks/nb040301-1.shtml