1 / 33

K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013

K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013. Bożenna Kawalec-Pietrenko, Maciej Zabel, Stanisław Kistryn. Łódź, 22.06.2012. 1. NAJWAŻNIEJSZE RANKINGI UNIWERSYTETÓW 1. Ranking Uniwersytetu Shanghai Jiao

atalo
Download Presentation

K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Komitet Ewaluacji Jednostek Naukowych Kategoryzacja Jednostek Naukowych 2013 Bożenna Kawalec-Pietrenko, Maciej Zabel, Stanisław Kistryn Łódź, 22.06.2012 1

  2. NAJWAŻNIEJSZE RANKINGI UNIWERSYTETÓW 1. Ranking Uniwersytetu Shanghai Jiao 2. THE – QS World University Rankings (The Times Higher Education oraz organizacja Quacquarelli Symonds) 3. Webometrics Ranking of World Universities (opracowuje HiszpańskaNarodowa Rada Badawcza) 4. G – Factor 5. Global University Ranking (niezależna agencja rosyjska ) 6. HEEACT – Performance Ranking of Scientific Papers for World Universities (ranking Tajwańskiej Rady Oceny i Akredytacji Szkolnictwa Wyższego)

  3. Światowy ranking uniwersytetów - 2010

  4. ENGINEERING ANDTECHNOLOGY UNIVERSITIES 13.10.2011

  5. Miejsca „polskich” nauk ścisłych wg liczby publikacji w rankingu światowym 2010 1998-2002 Fizyka 12 12 Matematyka 12 13 Materiałoznawstwo 14 12 Astrofizyka 15 16 Nauki inżynierskie 23 23 Informatyka 23 27

  6. STRUKTURA KOMITETU KEJN • Komisja ds. Grupy Nauk Ścisłych • i Inżynierskich • Komisja ds. Grupy Nauk o Życiu • Komisja ds. Grupy Nauk Humanistycznych • i Społecznych • Komisja ds. Grupy Nauk o Sztuce • i Twórczości Artystycznej Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 8

  7. KEJN – ocena działalności JN 2013 Cele - uzyskanie informacji dotyczących JN (jednostek naukowych) - ustalenie kategorii JN (A+, A, B, C) - ukierunkowanie rozwoju JN Ważniejsze terminy 1.Przygotowanie założeń -czerwiec 2011 2.Rozporządzenie -czerwiec 2012 3.Nadsyłanie ankiet - marzec 2013 4.Zakończenie parametryzacji i ustalenie kategorii - 30.09.2013 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  8. KEJN – główne etapy procedury oceny • Klasyfikacja • Przypisanie jednostek do grup wspólnej oceny (GWO) • Parametryzacja • Ocena działalności JN na podstawie opracowanych • kryteriów charakteryzujących daną GWO • Kategoryzacja • Ustalenie kategorii jednostek naukowych • (kategorie A, B, C oraz A+) • Projekt rozporządzenia z dnia 20.04.2012 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 10

  9. Grupy Wspólnej Oceny • 1.Grupa dziedzin nauki • wspólne kryteria w ramach każdej grupy • 2. Rodzaj jednostki (jedn.uniw.; inst.PAN; inst.bad.) • wspólne wagi kryteriów w ramach rodzaju • 3. Określenie przynależności JN do GWO • Dla każdej GWO wspólne kryteria, parametry i progi • poszczególnych wymogów oraz jednostki referencyjne Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 11

  10. Grupy Nauk Rodzaj Jednostki Humanist. i Społeczne Ścisłe i Inżyn. o Życiu o Sztuce i Twórcz Artyst. Podstawowe Jednostki Organizacyjne Szkół Wyższych 6 7 7 4 Instytuty Polskiej Akademii Nauk 2 4 4 Instytuty Badawcze 6 1 Grupy Wspólnej Oceny - wynik prac wstepnych Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 12

  11. Najważniejsze nowe elementy oceny JN • 1.Kryteria oceny z ustalonymi wagami: • Osiągnięcia naukowe i twórcze • Potencjał naukowy • Efekty materialne działalności naukowej • Pozostałe efekty działalności naukowej • 3.Kategoryzacja - metoda porównań parami z uwzględnieniem jednostek referencyjnych • 4.Ocena parametryczna prowadzona przez Zespoły Ewaluacji. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  12. Grupa Nauk Humanist. i Społeczn. Ścisłych i Inżyniersk. o Życiu o Sztuce i Twórczości Artystycznej Kryterium Publikacje Monografie Publikacje Monografie Patenty izgł. Publikacje Monografie Patenty Publikacje Monografie Patenty Dorobek art. 1. Osiągnięcia nauk. i twórcze Uprawnienia Rozwój kadry Funkcje Projekty Uprawnienia Rozwój kadry Lab.akredyt. Status PIB Środki z proj. Uprawnienia Rozwój kadry Lab. akredyt. Uprawnienia Rozwój kadry Funkcje Projekty 2.Potencjał naukowy Patenty Ekspertyzy Płace brut.ze źródeł zewn. Nakłady na apar.ioprogr. Płace ze źródeł zewn. Nakłady na apar.i oprogr. Ekspertyzy Działania artyst. 3.Efekty material nedziałalności naukowej Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne 4. Inne efekty działalności naukowej Podkryteria wg grup nauk i rodzaju JN Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 14

  13. Wartości punktowe kryterium • Osiągnięcia naukowe i twórcze • Publikacje: • Lista A 20  50 Lista ERIH 12  20 Lista B do 10 • Monografie: 20  25 • Patenty: 25 (+ 25) • Wzory użytkowe: 10 (+ 10) Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 9

  14. Wagi kryteriów wg grup nauk i rodzaju JN W a g i Kryterium Sposób oceny Nauki Hum. i Społ. N. Ścisłe i Inż.JU PAN IB N.o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy min. i ustalone przezKEJN 65 65 65 35 70 75 60 60 Wg ustalonej punktacji 15 10 10 10 5 5 5 20 2. Potencjał naukowy 3.Materialne e- fekty działalnoś- ci naukowej Wg ustalonej punktacji 5 15 15 45 151025 5 4. Inne efekty działalności naukowej Ankieta Zesp.Ew. 15 10 10 10 101010 15 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 16

  15. Kategoryzacja • Określenie kategorii A, B i C • - porównanie parami z uwzględnieniem • jednostek referencyjnych • 2. Określenie kategorii A+ - ocena ekspercka • A+  - poziom wiodący • A    - poziom bardzo dobry • B - poziom akceptowalny z rekomendacją wzmocnienia dzia- • łalności nauk., bad.-rozw. lub stymulujacej rozwój gospodarki • C    - poziom niezadowalający. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 17

  16. KEJN – kategoria A + • ►Wymóg podstawowy • Jednostka kategorii A; wynik z procedury rankingu w górnych ok.25% w danej grupie wspólnej oceny • ►Zestaw dodatkowych kryteriów.Opis własnych najważniejszych osiągnięć:cytowania, punktacjanajlepszych prac, nagrody, prestiżowe granty, funkcje we władzach naczelnych naukowych organizacji międzynarodowych,KomitetachPAN, przychód z zastosowań wyników badań. • ►Audyt • Ewentualna wizyta Zespołu Ewaluacji w JN Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  17. Uzasadnienie wyboru metody. PUNKT WYJŚCIA - BRAK PEWNOŚCI, ŻE WYBÓR BEZPOŚREDNI JEST OPTYMALNY! PRZYKŁADY WYBORU 1.Wybór kandydata na dane stanowisko pracy. Trzeba porównać stopień spełnienia przez kandydatów kryteriów wymaganych na danym stanowisku tj. wykształcenie, staż pracy, znajomość j. obcych, itd. 2.Przetarg. Trzeba uwzględnić różne kryteria. Niestety obecnie zwykle decyduje tylko cena, co zresztą spotyka się z bardzo szeroką krytyką.      Zatem wybór bezpośredni nie jest wyborem optymalnym! Stąd decyzja KEJN-u o zastosowaniu w kategoryzacji metody wielokrotnego wyboru. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  18. Wymagana procedura 1. Ustalenie kryteriów wyboru z przypisaną im miarą. 2. Ustalenie wag kryteriów. 3. Obliczenie dla wszystkich JN wartości miar w obszarze każdego kryterium. 4. Wybór obiektu w wyniku przeprowadzenia porównań parami każdego z każdym w odniesieniu do poszczególnych kryteriów. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  19. Ustalenie kryteriów wyboru • Zasada: prawidłowe kryterium = jednoznacz- na definicja włączająca miarę kryterium. • - Metoda „burzy mózgów” lista kryteriów. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  20. JN Ankieta JN p1 p2 p3 p4 KEJN – kategoryzacja *Ranking pozornie oczywisty: ● Porównanie jednostek (dane z ankiet) ● Uporządkowanie wg wyników *Oceny wg 4 kryteriówniewspółmierne Problem wielokryterialnego porządkowania Porównanie jednostek parami w ramach GWO: dla każdej pary JN X i Y porównanie ocen każdego spośród kryteriów„i” (i = 4) z osobna, Pi(X)↔ Pi(Y) wynik punktowyRi Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 22

  21. Ri ocena jednostki Y ocena jednostki X +1 0 pX –pY –G –D D G –1 KEJN – kategoryzacja Identyczna zasada porównań ocen P danych dwóch JN w odniesieniu do każdego kryterium– relacja przewyższania) D – próg nierozróżnialności;G – próg pełnego przewyższania D = α∙min(pX,pY); G = m∙D (n.p. α = 0.1, m = 3) Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 23

  22. Dokonany wybór jest wyborem optymalnym powstałym w wyniku porównania wszystkich JN każda z każdą w obszarze każdego kryterium. Metoda optymalnego wyboru jest wprawdzie pracochłonna, ale powinno zależeć nam na stosowaniu obiektywnych rozwiązań, mimo że dziel i rządź jest pokusą wielu demokracji (cyt). Stąd decyzja KEJN-u dot. wyboru wyżej opisanej metody. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

  23. KEJN – kategoryzacja X Y Ankieta JN Ankieta JN R1 p1 p1 R2 p2 p2 R3 p3 p3 R4 p4 p4 Przykład Porównanie ocen dla każdego z i=4 kryteriów piX↔piY→Ri Wynikiem porównania pary X i Y byłaby dla każdej z nich sumapunktów z 4 porównań każdej pary ocen (wszystkie kryteria), czyli liczba z zakresu –4 do +4 Kryteria nie są tak samo istotne  wagi (mnożące Ri) Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 25

  24. X Y Ankieta JN Ankieta JN g1R1 p1 p1 g2R2 p2 p2 g3R3 p3 p3 g4R4 p4 p4 KEJN – kategoryzacja Ranking ● Porównanie jednostek parami ważoną relacją przewyższania ● Uporządkowanie wg wyników Porównanie ocen dla każdego Z i=4 kryteriów piX↔piY→Ri Jednostki otrzymują punkty w zakresie (–gi÷gi ). Wynikiem porównaniapary jednostek jest dla każdej z nich sumapunktów z 4 porównań par ocen (wszystkie kryteria). Jednostki szeregowane są wg sumy punktówpowstałej ze wszystkich porównań dokonanych w parach. Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 26

  25. KEJN – kategoryzacja Wynik rankingu (porównania parami): Każdej jednostce (w grupie wspólnej oceny) przypisana punktacja Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 27

  26. KEJN – kategoryzacja • ► Rankingnie jest celem – jest tylko etapem pośrednim, • bo konieczne jest porównanie punktacji jednostek z wzorcem • ►Jednostki referencyjne– postawione będą minimalne wymaganiaco do wartości kryteriów P1,…, P4 dla • przekroczenia progów kategorii A  (B→A) i B  (C→B) • (z analizy statystycznej zakresu wartości każdego z kryteriów • oraz poprzez odniesienie do standardów światowych) • ►Kategoryzacja- włączenie jednostek referencyjnych AB • i BC do rankingu;odniesienie punktacji każdej jednostki • do wyniku rankingujednostek referencyjnych AB i BC Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 28

  27. KEJN – kategoryzacja Wynik kategoryzacji A B C Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 29

  28. Przykład porównania parami Ri R(Y) R(X) +1 0 Progi: D = 0,1 , G = 0,3 pX –pY G –D –G D –1 Znaczenie wag (giRi) JU (wagi 70/10/15/5) : O(X) = +45,4 , O(Y) = –45,4 IB (wagi 40/10/45/5) : O(X) = –12,5 , O(Y) = +12,5 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 30

  29. Przykład porównania parami Ri R(Y) R(X) +1 0 pX –pY G –D –G D –1 Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5 Znaczenie funkcji przewyższania („wysycenie” Ri) O(X) = +19,3 , O(Y) = –19,3 O(X) = +15,6 , O(Y) = –15,6 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 31

  30. Przykład porównania parami Ri R(Y) R(X) +1 0 pX –pY G –D –G D –1 Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5 Znaczenie „słabego” kryterium (ocena Zespołu Ewaluacji) O(X) = + 4,1 , O(Y) = – 4,1 O(X) = – 5,9 , O(Y) = + 5,9 Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 32

  31. Dziękuję za uwagę Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 33

More Related