Ulf Kronman School of Education and Communication in Engineering Science

1. Bibliometri för utvärdering av forskning – publikationer som prestationsmätare och kvalitetsmått Ulf Kronman School of Education and Communication in Engineering Science KTH Royal Institute of Technology / Kungliga Tekniska Högskolan Karolinska Institutets bibliotek 2011-11-09

2. Seminariets delar • Kort grundkurs i bibliometri • Datakällor, metoder och indikatorer • Mäter bibliometri forskningskvalitet? • Kritisk granskning • Bibliometri och forskningspolitik • Bibliometri som nyckeltal och incitament • Bibliometrins inverkan på forskningssystemet

3. Grundkurs i bibliometri

4. Bibliometri = statistiska analyser av publikationer • Produktion – publikationer • Hur många, per år, per forskare, per krona? • Vilka typer av publikationer? • Genomslag – citeringar • Blir publikationerna lästa och gör intryck? • Samverkan – nätverk • Samförfattande, ämnesrelationer och citeringsrelationer • Dynamik • Hur förändras ovanstående indikatorer över tiden?

5. Datakällor för bibliometri • Thomson Reuters Web of Science • 11 500 tidskriftstitlar – från 1960-talet (ISI) • Elsevier Scopus • 17 000 tidskrifter och konferensserier – från 1996 • Google Scholar • Samlar in "allt på nätet" • Även doktorsavhandlingar och rapporter • Egen publikationsdatabas, DiVA & SwePub • Bättre täckning – fler dokumenttyper • Verifierade data – forskare och institution • Inga citeringsdata – ingen världsdata

6. Olika forskningsfält – olika förutsättningar • Skiftande publiceringskulturer • Olika publikationstyper • Varierande publiceringsfrekvens • Olika citeringsmönster • Olika täckningsgrad i datakällorna • Medicin och naturvetenskap täcks bra • Internationella tidskriftsartiklar • Teknik täcks halvbra • Tidskriftsartiklar, konferenser, rapporter • Samhällsvetenskap och humaniora täcks dåligt • Nationella tidskriftsartiklar, böcker, antologier

7. Olika områdens synlighet i Thomson ISI Konferenstryck Rapporter Tidskriftsartiklar Böcker Dataunderlag från norska Database for statistikk om høgre utdanning (DBH)

8. Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet Citerande/refererande Citerande/refererande B C Citerad Referens Referens Citering Citering A

9. Citeringar – ojämnt fördelade http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

10. Citeringar i relation till publikationstyp och ålder

11. Citeringar i relation till ämne och ålder

12. Fältnormerad citeringsgrad • Publiceringsår • Fler citeringar ju fler år sedan publicering • Dokumenttyp • Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar • Forskningsfält • Cellbiologi 10 gånger fler citeringar än matematik • Normering jämför lika med lika • Samma år, dokumenttyp och forskningsfält • Normerat världsmedelvärde = 1 • Mer än 1 = större genomslag än världsgenomsnittet

13. Bibliometriska indikatorer – exempel • Antal publikationer (P) • Ämnesområden, trender, samförfattande • Citeringar (C) • Fältnormerade (cf) • Tidskriftsnormerade (cj) • Tidskrifter • Thomsons Journal Impact Factor (JIF) • Tidskriftens citeringsgrad normerad mot fält (jf) • h-index • h antal publikationer citerade minst h gånger

14. Visualiseringar av bibliometriska relationer

15. Mäter bibliometri forskningskvalitet?- en kritisk granskning

16. Citeringarna är inte normalfördelade http://www.syque.com/quality_tools/toolbook/Variation/measuring_spread.htm

17. Inneboende variabilitet i datamaterialet • Gränsdragningar i datamängden skapar brus • Konstruerade gränser mellan publiceringsår, tidskrifter, ämnesområden – och även organisationer • Forskarnas publicering och citering uppvisar en viss bibliometrisk "godtycklighet" på mikronivån • Var publicerar de sig och varför? • Vad/vem citerar de och varför? • Vilka får vara med i författarlistan (och hur sorteras den)? • Indata är komplext och genererar slumpmässiga variationer i citeringsdata • Över hälften av citeringarna leder till publikationer utanför Thomsons index • Thomson missar runt 6% av citeringarna inom sitt system

18. Studie av brus i indikatorer

19. Korrelation antal artiklar och brusnivå

20. Aggregated errors in interpretation The organisation The world of the researcher The world of the publication The Thomson database= "the truth" Relation Thomson citation - quality? Relation researcher - publication? Relation researcher - organisation?

21. Hur ska man använda bibliometri? • Som statistiskt underlag till sakkunniga • Som komplement till kunskap om ämnet och den bedömda organisationen • Bibliometri fungerar bäst på makronivå • En statistisk "genväg" till kvalitetsbedömning Peer review Bibliometri

22. Bibliometri som nyckeltal och incitament • Skilj på indikatorer och nyckeltal • Indikatorer är approximativa och innehåller felmarginaler • Nyckeltal förväntas vara exakta • Skilj på utvärdering och incitament • Utvärdering görs efteråt • Incitament ges före • Skilj makronivå och mikronivå • Bibliometri arbetar bäst på makronivå • Incitament fungerar bäst på mikronivå

23. Mäter bibliometri forskningskvalitet? Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

24. Beware the direction of deduction High bibliometric indicator values usually implies good research High bibliometricindicator values Good research But: Good research will not always lead to high bibliometric indicator values Poor research often results in low bibliometric indicator values Low bibliometricindicator values Poor research But: Low bibliometric indicator values will not always imply poor research

25. Bibliometri och forskningspolitik

26. Varför bibliometrihausse? • Globalisering – konkurrens • Global trend att satsa på forskning • Forskningen kostar mycket numera • Vad får vi för pengarna? • Revisionssamhälle? • Ny manegementkultur kräver mätbar uppföljning • Få mätbara resultat av grundforskning • Publikationer och citeringar är två av de få

27. Elfenbenstornet kontra hantverkaren • Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? • Många menar att det är bäst om forskarna får resurser utan att behöva ansöka om dem • Men vilka och hur många ska då få denna säkra finansiering? • Ska vi ha forskningshantverkare som fokuserar på mätbara resultat? • Hur går det med den långsiktiga grundforskningen om allt ska kunna följas upp i mätbara entiteter?

28. Hur påverkar bibliometrin forskningen? • Forskningen blir mer inriktad på att producera publikationer än resultat • Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering • Att få sitt namn i en författarlista blir hårdvaluta • Handledare tar publiceringspoäng av doktorandernas arbete • Affilieringar blir ett sätt att rikta ”credit” och forskningsmedel • Amatörbibliometrin gör mest skada • Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen • Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden

29. Bibliometrics – one view on reality Simplification Ranking lists Bibliometric indicators Complexity Peer review