Lituanistikos duomenų bazė ir HSM darbų vertinimas

1. Lituanistikos duomenų bazė ir HSM darbų vertinimas Prof. Rūta Marcinkevičienė Lietuvos mokslo taryba Humanitarinių ir socialinių mokslų komitetas

2. Mokslo vertinimas: objektai ir būdai • Kiekybinis ir kokybinis vertinimas • HSM vertinimo situacija • Lituanistikos DB Lietuvos HSM vertinimui Planas

3. Kas yra vertinama • atskiri mokslininkai • leidiniai, institucijos, renginiai (knygos, žurnalai, leidyklos, asociacijos, institutai, universitetai, konferencijos, mokslo programos, projektai, etc.) • Kaip • Kiekybiškai (publikacijų skaičius, bibliometriniai rodikliai t.y. autorių citavimo indeksai, žurnalų poveikio faktoriai) • Kokybiškai, t.y. ekspertams vertinant publikacijų, projektų paraiškų tekstus • Bibliografinis (publikavimo kanalų: leidyklų, žurnalų) vs bibliometrinis (citavimo indeksų ir poveikio faktorių) vertinimas Mokslo vertinimas – objektai ir būdai

4. Remiasi svarbiausiu – mokslo darbo kokybės kriterijumi, jo atitikimu tyrimo tikslui • Grindžiamas nešališku, konfidencialiu ir aiškiu ekspertiniu vertinimu • Vertinami tekstai (publikacijų, paraiškų, ataskaitų), o ne kiekybiniai rodikliai (citatų skaičiai, reitingai) Kokybinio vertinimo privalumai

5. Ekspertinis vertinimas brangus (JK mokslininkai per metus vertina 3 mln. valandų už 165 mln. svarų) • Dėl asmeninių priežasčių ekspertai gali būti šališki, o jų vertinimai – perdėm subjektyvūs, stinga bendrų standartų • Ekspertai linkę teikti pirmenybę populiarių sričių pripažintiems tyrėjams, ignoruoja inovatyvias dar nežinomų mokslininkų idėjas, kurioms patikrinti reikia laiko Kokybinio vertinimo trūkumai

6. Privalumai • Aiškumas ir objektyvumas • Palyginamumas ir bendri standartai (nors ir negalima palyginti jaunų ir vyresnių tyrėjų, mažų ir didelių grupių ir biudžetų vadovų h-indekso • Trūkumai • Mokslo poveikis suprantamas tik kaip citavimas • Vertinimai remiasi citatų skaičiais, kuriais gali būti manipuliuojama (savicitavimas, rezultatų tiražavimas) • Aukšti žurnalų poveikio faktoriai nebūtinai rodo juose skelbtų straipsnių vertingumą, o žemi – prastą publikacijų kokybę. Gerų ar prastų darbų galima rasti visur Kiekybinis (bibliometrinis) vertinimas

7. Kiekybinio ir kokybinio vertinimo santykis su HSM ir GTM • Siekis netaikyti GTM vertinimo standartų HSM • Didesnė HSM publikacijų žanrų (monografijos, redaguotos knygos, švietėjiška literatūra) ir kalbų įvairovė • Publikavimas gimtąją kalba nacionaliniuose leidiniuose • Didesnė sričių, krypčių šakų, metodų įvairovė • Menkesnis tyrimų tarptautiškumas (SM tarptautiškesni už HM) • Skirtinga citavimo, bendraautorystės kultūra • Didesnė teksto, argumentacinės struktūros svarba • Didėjantis poreikis suvienodinti mokslo vertinimą taikant HSM bibliometrinius metodus • Įtraukiant HSM į egzistuojančias DB, nes dabar Web of Science ir SCOPUS silpna HSM aprėptis • Kuriant naujas, specialias HSM DB kaip FRIDA Norvegijoje, VABB-SSH - Olandijoje, GESIS –Vokietijoje • Kuriant naują bendrą Europos šalių HSM DB, be kita ko skirtą HSM vertinimui HSM vertinimo situacija

8. Lituanistikos DB - kokybiškų dalies HSM darbų talpykla • Remiasi atskirų tekstų (2012 gale buvo 32.128 jų aprašai), o ne leidybos kanalų vertinimu, tačiau įtraukiami ir kai kurie žurnalai • Apima bibliografinius publikacijų duomenis, santraukas (25.764 santraukų lietuvių kalba, 22.005 santraukų anglų kalba) ir ištisus tekstus (12.000 viso teksto dokumentų), t.y. sudaro sąlygas kokybiniam ir kiekybiniam vertinimui (296.650 citavimo įrašų) • Suteikia atvirąją prieigą prie tekstų Lituanistikos DB Lietuvos HSM vertinimui

9. Pirminė tekstų atranka • Tvarkomasis vertinimas (15 žurnalų) pagal Ekspertų tarybos nustatytus kokybės kriterijus (90% anksčiau teigiamai įvertintų jų tekstų) • Ekspertinis vertinimas (227 HSM ekspertai) • Po 2 vienam tekstui • Prieštaringai įvertinus kviečiamas trečias • Pildoma vertinimo anketa, rašomas komentaras Tekstų vertinimas procedūros

10. Per projekto laikotarpį numatyta įvertinti 20 tūkst. publikacijų, iš jų 15 tūkst. ekspertinio vertinimo būdu • Šiame projekto etape teigiamai jau įvertinta per 16 tūkst. publikacijų, iš jų neigiamai – 2,6 tūkst., t.y. 16% • Praeituose projekto vykdymo etapuose iš beveik 20 tūkst. vertintų publikacijų bemaž 4 tūkst., t.y. 20 % įvertinta neigiamai Tekstų vertinimo rezultatai

11. Tekstų vertinimas rezultatai

12. Pirminės atrankos atveju (plėsti geografiją) • Tvarkomojo vertinimo atveju (nuolat stebėti atskirų leidinių tekstų vertinimus ir plėsti neekspertuojamųjų leidinių sąrašą) • Ekspertinio vertinimo atveju (nauja mokslo krypčių ir šakų klasifikavimo sistema, vertinamojo, ne referuojamojo pobūdžio komentarai, plagiato patikra, etc.) Tekstų vertinimo sistemos tobulinimas

13. Apimti viso nepriklausomybės laikotarpio publikacijas, net tik po 2000 m. • Plėsti objektą, įtraukti baltistiką, gal ir HSM, išlaikant lituanistikos autonomiją • Tolydžio mažinti ekspertuojamųjų tekstų skaičių • Kurti ir taikyti specialią HSM bibliometrijos metodiką • Remtis DB vertinant Lietuvos HSM • Integruoti šią DB į kursimas tarptautines HSM DB Lituanistikos DB plėtros galimybės