Zkušenosti z kontroly údajů v RIV

1. Zkušenosti z kontroly údajů v RIV Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010

2. Kontrola RIV • Zadání • ke kontrole výstupů typu B (kniha) a aplikovaných výsledků typu P, S, T, Z byla vyzvána OK SHV v červnu 2008 (stejně jako ostatní komise); • zadavatelem byla RVV, • ve SHV šlo o celkem 3960 položek typu B a 114 položek typu P, S, T, Z za období 2003 až 2007, • odborné komise měly označit ty výsledky, které dle jejich názoru nesplňují definice druhů výsledků, které byly (jsou) platné v roce jejich uplatnění. • Nástroje • kontrola záznamů v RIV, • možnost fyzické kontroly v Národní knihovně.

3. Kontrola RIV – typ B • Vstupní problémy • definice knihy, monografie, odborné knihy se v průběhu let měnila (2003 - neexistovala Metodika, 2004 - v Metodice není definice knihy, 2005 - kniha = vědecká knižní publikace, 2006 - kniha = odborná kniha, 2007 - kniha = odborná kniha vytvořená jedním autorským kolektivem), • hodnotitelé – členové OK SHV jsou ve střetu zájmů, • kontrola položek v RIV je prováděna ryze na základě formálních znaků výstupu, • OK je jen poradním orgánem; má minimální pravomoci, slabé materiální a finanční zázemí, nízké úvazky členů. Je problematické činit dostatečně transparentní a systematická rozhodnutí o kvalitě publikací (tj. doporučení, že výstup splňující formální kritéria je natolik nekvalitní, že by měl být vyřazen z hodnocení). Výsledky kontrol mohou být poměrně snadno napadnutelné.

4. Kontrola RIV – typ B • Postup kontroly • ke každému podoboru SHV (AA až AQ dle RIVu) byl z členů OK SHV ustaven garant kontroly, • předseda OK SHV instruoval o přístupech doporučovaných KHV v případech, kdy nejsou pravidla pro kontroly nebo jejich uplatňování jednoznačná. V rámci toho předseda OK tlumočil stanovisko KHV, že v tomto prvním kole kontrol byl OK doporučen benevolentní přístup, • garanti OK SHV zaslali výsledky předběžných kontrol, kde kromě položek k vyřazení označili položky k vizuální kontrole (kontrola vhodná, kontrola nutná), • předseda OK SHV zpracoval kvalitativní a kvantitativní souhrnný přehled výsledků předběžných kontrol pro členy OK SHV, a to v zájmu sladění přístupu a přísnosti hodnocení. • předseda OK SHV zajistil vyhledání a fyzické shromáždění položek doporučených k vizuální kontrole v čítárnách AV a NK. Na základě vizuálních kontrol garanti vypracovali finální seznamy, • předseda OK SHV zpracoval kvalitativní a kvantitativní přehled výsledků a s členy OK provedl drobná doladění finálních výstupů. Na základě zkušeností členů OK SHV z kontroly byla vypracována zpráva.

5. Kontrola RIV – typ B • Výsledky kontroly • formální kontrola položek v RIV • jako původní vědecké monografie byly v RIV běžně zařazeny cestopisy, beletrie, texty divadelních her, krásná literatura, výběrové bibliografie, ročenky a výroční zprávy, proslovy, učebnice, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků, čtyřstránkové working papers, testy pro přijímací zkoušky na VŠ, příručky, učební texty, propagační brožury, sborníky z konferencí apod., • co přesně je učebnice? Je to text, který slouží primárně pro výuku, neobsahuje nově vytvořené vědecké poznatky, ale pouze shrnutí existujících znalosti? Kde je hranice mezi skutečnou učebnicí a monografii shrnující stav oboru, která se využívá pro výuku? • některé publikace byly zadány vícekrát se stejným ISBN, • rozlišovány a označovány důvody vyřazení. • fyzická kontrola v NK či AV • řada publikací chyběla (vina vydavatele, ne autora), • řada publikací splňujících formální kritéria zařazení do RIV jako typ B jsou z vědeckého hlediska problematické, • subjektivní posuzování vědeckosti publikace, • bez fyzické kontroly nelze poznat skutečný charakter publikace.

6. Kontrola RIV – typ B • Výsledky kontroly • kvantifikace výsledků kontroly • různí hodnotitelé, různé výsledky (k vyřazení navrženo min. 0 %, max. 20 %; k fyzické kontrole min. 0 %, max. 18 %), • různá míra přísnosti (v rámci OK i mezi OK) ovlivňuje ohodnocení výsledků předkladatelů – střet zájmu, • benevolence není na místě, poškozuje dobré výsledky, • celkově vyřazeno 28 % (tj. 1 110 výsledků); oborově nejvíce 48 % (AF), nejméně 12 % (AB, AK), • podle poskytovatelů vyřazeno nejvíce 56 % (MPSV), nejméně 9 % (MO, MS) • nejvíce vyřazeno za rok 2006 (32 %, tj. 385 výsledků), • 15,3 % nesplňovalokritérium 50 stran.

7. Kontrola RIV – typ B • Závěry z kontroly • kontrola záznamů typu B v RIV by měla být prováděna, • OK nejsou vhodným hodnotitelem, • byly shrnuty některé zkušenosti OK SHV → zpřesnění definice výstupu typu B, ale další kontroly se nekonaly, i když byly avizovány, • přístup a přísnost kontrol velmi rozdílná → subjektivita hodnocení s dopadem na předkladatele, • posuzování vědeckosti a kvality výstupů typu B je výrazně vázáno na obor, • kontrolu by měli zajišťovat poskytovatelé, • nutnost sankcí za nekvalitní záznam.

8. Kontrola RIV – typ B Děkuji za pozornost