1 / 33

Role r ankingów w systemie oceny jakości oraz ich miejsce w budowani u prestiżu wyższych uczelni [z odniesieniem do

Role r ankingów w systemie oceny jakości oraz ich miejsce w budowani u prestiżu wyższych uczelni [z odniesieniem do polskich uczelni technicznych]. Jan Sadlak President, IREG Observatory on Academic Ranking and Excellence

karis
Download Presentation

Role r ankingów w systemie oceny jakości oraz ich miejsce w budowani u prestiżu wyższych uczelni [z odniesieniem do

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Role rankingów w systemie oceny jakości oraz ich miejsce w budowaniu prestiżu wyższych uczelni [z odniesieniem do polskich uczelni technicznych] Jan Sadlak President, IREG Observatory on Academic Ranking and Excellence XIII Kolegium Prorektorów ds. Nauki i Rozwoju publicznych wyższych szkol technicznych, Politechnika Łódzka, 21 czerwca 2012 1

  2. Kontekst i główne cechy “nowego porzadku” [new compact] funkcjonowania szkolnictwa wyższego[na szczeblu systemu] • massification of student enrolment [zbliżanie sie do poziomu powyżej 50 % tradycyjnej grupy podejmującejstudia wyższe]; • big numbers [institutions, providers and programs] and diversification [world wide: around 20,500, and in Europe some 4,500 HE institutions that enroll more than 19 million students and employ 1.5 million staff]; • science: global, highly competitive, costly and economically relevant enterprise [joint effect of knowledge-based/dependent economy and effect of globalization in which creativity, innovation and research became a major contributor to technological advancement and social progress]; • changes in relations between the state and higher education with regard to financing and quality assurance

  3. Nowy porządek w którym obecniefunkcjonują systemy szkolnictwa wyższegowymaga nowych strategii, szybko wdrążający je porządek prawny, przejrzyste regulacje oraz adekwatne [oraz szeroko zrozumiale]procedury i mierniki oceny jakości funkcjonowania systemu, uczelni, programów, etc. Jednocześnie obecne warunki [lokalne i międzynarodowe] i kontekst w jakim funkcjonują wyższe uczelnie wymagają szczególnej uwagi odnośnie konkurencyjności i “miejsca w akademickiej hierarchii” [prestiż]. 3

  4. Nowe strategie i regulacje [nastawione na jakość i konkurencyjność] [1] Chiny: National Plan for Medium and Long-term Education Reform and Development (2010-2020) which has as a principal objective: “to speed up the transition from the world’s largest education system to one of the world’s best, and from a country with larger scale of human resource to a country rich in human resources”. In order to implement this strategic objective China has accelerated building of a number of world-class universities and faculties (Project 985 – funding of about $100 billion US dollars), opening up of the best faculties to the world, and to participate in or set up collaborative international academic organizations and global science plans. Indie: Under the 11th Five-Year Plan (2007-2012) is foreseen, among other things, establishing of 8 new Indian Institutes of Technology, 7 Indian Institutes of Management and 30 Central Universities [out of which 14 would be “world class universities”]. 4

  5. Nowe strategie i regulacje [jakość, konkurencyjność] [2] Europa: zmiany wynikające z założeń i celów określonych przez Proces Boloński i Lisbon Strategy ale jednoczesnie szereg „narodowych inicjatyw”: Niemcy: Excellence Initiative 2006-2011 – 40 graduate schools, 30 clusters of excellence, institutional strategies to promote top-level research]; Francja: Investir Pour l’Avenir: Priorités stratégiques d’investissement et emprunt national [€ 35 billions of ‘public borrowing’ - out of which € 16 billion for higher education and research to create some 5-10 world-class campuses]; Rosja: creation of a special category of universities – 2 federal universities and some 40 national research institutions; automatic recognition of degrees of the world’s leading universities in order to attract high quality researchers and professionals [US$4.1 billion to allocated in support of higher education in 2011-2015]; Dania: within a so-called “Globalisation Funds” which foresee support the foundations for attaining world-class status for some Danish universities and as a goal “to have at least one university among the top 10 in Europe by 2020 as measured by the THE ranking”; Finlandia: creation of cluster universities e.g. Alto University. Mergers of universities are also foreseen in Latvia and Czech Republic. 5

  6. Nowe strategie i regulacje [jakość i konkurencyjność] [3] Polska: - Inwestycje w laboratoria, aparaturę i infrastrukturę [ponad 20 mld zł]; - selekcja najlepszych kierunków studiów [lista wyroznionych 25 wydziałów, w tym 8 wydziałów na uczelniach technicznych – 3 Politechnika Wrocławska, 1 Politechnika Warszawska, 1 Politechnika Gdańska, 1 Politechnika Poznańska, 1 Politechnika Krakowska, 1 Politechnika Śląska. Uczelnie otrzymają dotacje w wysokości do 3 mln zł]; - konkurs na najlepsze programy studiów [dotacja w wysokości 1 milion zł]; - konkurs w ramach projektu Krajowe Naukowe Ośrodki Wiodące [najlepsze wydziały lub instytuty uczelni, które otrzymają w ciągu pięciu lat dodatkowe dofinansowanie w kwocie ok. 50 mln zł]; - decyzja o utworzeniu Polskiej Agencji Wymiany Akademickiej. „Polskie uczelnie mogą stać się najlepszymi uniwersytetami w Europie. Nie zaklinam tymi słowami rzeczywistości i nie najlepszej dziś pozycji naszych szkół wyższych w międzynarodowych rankingach. Gdyż już dziś zaczynają się wyłaniać elitarne jednostki, które mogą walczyć o pozycję europejskich liderów”. [wypowiedz Prof. Barbary Kudryckiej, Ministra Nauki i Szkolnictwa Wyższego w dniu 6 czerwca 2012] 6

  7. Procedury i mierniki oceny jakości New landscape of higher education creates, combined with calls for greater accountability and transparency, demand for “quality assurance” based on shared basis for evaluation [standards] as well as information [supported by evidence] which is readable by a large and diversified stakeholders about quality and performance of HE institutions and their activities. Main instruments used for this purpose are: • Accreditation; • Benchmarking; • Rankings/League tables. Peer-review: Assessment procedure regarding the quality by experts (in most cases not associated with a given institution). For institutional and program evaluation such procedure implies self-evaluation combined with on-site visits. . 7

  8. Akredytacja Accreditation: a process during which HE institution or study program is a subject evaluation by competent body in order to establish if the given institution or programme meet a set of standards with regard to teaching, research and services. There are three main types of accreditation: institutional, study programs and profession-related. New phenomenon: multiple, international and professional accreditations as quality label: - in engineering: EUR-ACE/European Accreditation of Engineering Programs, U.S. ABET Inc./Accreditation Board for Engineering and Technology]; - in business education: EQUIS/European Quality Improvement System of the European Foundation for Management Development (EFMD), AMBA of the Association of MBAs; AACSB International Accreditation of the Association to Advance Collegiate Schools of Business [so-called “triple crown” accreditation]. In US: non-governmental, peer-review and usually a volunteer process. In Europe: since adoption of the Bologna Process regime it is mostly compulsory and growingly internationalized – a creation of EQAR-European Quality Assurance Register. 8

  9. Benchmarking It is a standard/reference point reflecting the best practice in a given domain. It can be established externally [ISO standards] or internally [by peers] in order to: • serve as a diagnostic instrument to better understand the process; • provide comparison with competition in order improve position your institution; • facilitate learning from other members of the “benchmarking club” [learning from peers]; • influence setting up of the system-wide standards. It is heavily relying on indicators. It does not produce ranking. 9

  10. Rankings “Rankings” is a procedure which purpose is to collect data and information according to established methodology in order to display the comparative standing of the institutions of HE or certain domains of its performance. The results are presented in an organized, most often hierarchical, order. Already in the early 1970s “ranking” has been recommended as one of types of evidence for academic staff assessment and program evaluation. Source: Frederick E. Balderston, Managing Today’s University, 1974. However, popularity of rankings is based on the fact that it is a kind of “consumer guide” for potential students [number of present day, mainly national rankings, continue to point out to this function and call themselves as “good university guides”. 10

  11. Rankingi: dlaczego sa robione [i dlaczego sa obecnie tak “popularne”] • to provide basis “to make informed decision” when taking such decision requires information on performance of a given higher education institution or its activities (potential students, parents, politicians, foundations, funding agencies, research councils, employers, international organizations and bodies); • to foster healthy competition among HE institutions; • to stimulate an emergence of centres of excellence – the best universities now have worldwide reach; • to provide additional rationale for allocation of funds; • to provide additional rationale for selection of partners. Overall, rankings are convenient tool for marketing, policy debates, selection of partners, identification and recognition of academic excellence as well as public relations to attract the best talent and funding. 11

  12. Czy celem reformy ma być uzyskanie lepszych miejscw rankingach? Lepsza pozycja w rankingu jest sprawdzianem efektu rozwoju polskich uczelni. Po rozwiązaniu problemu dostępu na studia wyższe pozostaje: • generalny problem jakości studiów; • niska pozycja polskich uczelni w rankingach rzutują negatywnie na możliwości partnerstwa międzynarodowego [e.g. przyjazdy studentów, możliwość udziału w konsorcjach międzynarodowych, pozycję w programach ramowych, grantach ERC, itd.] Źródło: Musimy wzmocnić siłę polskich uczelni, Rozmowa Prof. Jerzym Woźnickim,prezesem Fundacji Rektorów Polskich, Forum Akademickie, No.2, 2012

  13. Główne typy rankingów Taking into consideration a methodological approach there are two types of ranking: - One-dimensional [oparte na jednorodnym zbiorze cech], which goal is assessing performance of all institutions included in the ranking according to one set of indicators and weight attached to a given indicator; - Multi-dimensional [pozwalające na preferencyjny wybór cech z określonego ich zbioru], which use one set of indicators to construct an overall list of performing institutions but its methodology enable users to weight indicators by using own criteria and preferences [ranking a la carte]. Jedne i drugie mogą być krajowe, regionalne lub międzynarodowe obejmujące wszystkie lub określone typy uczelni lub programy studiów.

  14. Kto przygotwuje rankingi Contrary to general view, the number and type of providers of ranking is quite diversified: • individual/group initiatives [mostly academics or universities]; • media [usually in collaboration with specialized research teams or partners]; • ministries and governmental agencies; • independent professional organizations; • accrediting bodies; • funding organizations; • international organizations • others. 14

  15. Ranking Nestle Polska S.A. [wspolnie z portalem nk.pl]

  16. Data and information used for rankings Surveys [badania ankietowe] which allow receiving opinions of various stakeholders [with a clear preference for peer-review] in order to produce indexes on quality and prestige of different institutions, study programmes and other activities; Public domaindata and information collected by government agencies and various agencies involved in higher education and research; Data and information collected from institutions of higher education; regularly collected [internal needs and external requirements] or requested by and provided to those conducting rankings; Bibliometric data, of which the most important are: - Web of Science (WoS) of Thomson Reuters, covers over 9,000 journals and book series in the natural sciences, social sciences, arts and humanities. It publishes two data bases – Science Citation Index/SCI, and Social Sciences Citation Index/SSCI; - SCOPUS of Elsevier, same basic structure as WoS but more inclusive as it covers more than 20,000 peer-reviewed journals + conference papers; - Google’s Scholar, functions as an automatic recording of citations by using Google’s search engine. 16

  17. Międzynarodowe rankingi [w których występują lub powinny występować polskie uczelnie techniczne] • Academic Ranking of World Universities/Shanghai Ranking - Centre for World-Class Universities, Shanghai's Jiao Tong University, China www.arwu.org • QS World University Rankings - QS Quacquqrelli Symonds Ltd., United Kingdom www.topuniversities.com/university-rankings • Webometrics - Ranking Web of World Universities - Cybermetrics Lab, the National Research Council of Spain www.webometrics.info/ • Scimago Institutions Rankings World Reports [SIR World Report 2011] - SCImago Research Group, Spain www.scimagolab.com • URAP – University Ranking by Academic Performance - Research Laboratory at Informatics Institute of Middle East Technical University, Ankara, Turkey www.urapcenter.org 17

  18. ARWU Ranking Methodology Selection of Universities: • any university that has any Nobel and Fields Medalslaureates, highly cited researchers, or papers published in Nature or Science; - universities of every country with significant amount of papers indexed by Citation Indexes in Web of Science of Thomson Reuters. Number of universities actually ranked 1000 Number of universities published Top 500 Top 100 Top 100 Number of universities scanned > 2000 ARWU ARWU-FIELD ARWU-SUBJECT 18

  19. ARWUMethodology: criteria and weights 19

  20. 20

  21. ARWU “szanghajski ranking” 2008-2011: Obserwacje i rekomendacje Obserwacje: - brak polskich uczelni technicznych w pierwszej 500-ce czołowych uczelniświata [wg.tego rankingu] ale należy zaznaczyć ze 3 uczelnie techniczne – Politechnika Warszawska,Politechnika Wrocławska oraz AGH sa w kolejnych edycjach wśród pierwszego 1000-ca klasyfikowanych uczelni [Politechnika Gdanska wypadla z tej klasyfikacji w edycji rankingu 2011]; - polskie uczelnie techniczne “najlepiej” wypadają jeśli chodzi o wskaźnik wyników badan [Research Output] który stanowi 40% całościowej ocenie a zwlaszcza jeśli chodzi o publikacje wysoko notowanych publikacjach [indexed in Science Citation Index of Thomson Reuters] co stanowi 20% całościowej oceny danej uczelni; - stosunkowo dobrze polskie uczelnie techniczne osiągają wyniki jeśli chodzi o wskaźnik “Per Capita Performance” [the weighted score of all other five indicators divided by the number of full-time equivalent academic staff] który stanowi 10% oceny uczelni. Rekomendacje: • celem dla polskich uczelni technicznych powinno być zwiększenie liczby publikacji w Nature i Science [należy nadmienić ze polska publikacja w tych prestiżowych pismach ukazuje sie w nich przeciętnie raz na cztery lata, wg. raportu “Produktywność naukowa wyższych szkol publicznych”, A.Partek, J. Wolszczak-Drelacz, Politechnika Gdańska, 2010]. 22

  22. Exist since 2004. Evaluates 600 universities in the world [also regional presentations]. Published annually in October online at www.topuniversities.com. Six indicators to evaluate the overall position of a university: - Academic Peer Review [survey to identify universities they consider excellent in their own broad field of knowledge] 40%; - Global Employer Review [survey to identify universities they consider to be best at preparing their graduates for the workplace] 10%; - Citations per Faculty Member [using information from Scopus, to measure research productivity] 20%; - Student Faculty Ratio [as proxy for commitment to teaching] 20%; - International Students [the proportion of international students to all students] 5%; - International Faculty [the proportion of faculty to a total number] 5%. In addition rankings in five key subject areas are produced: Engineering & Technology, Natural Sciences, Life Sciences & Biomedicine, Arts & Humanities, and Social Sciences [200 universities are presented in this ranking]. 23

  23. Obserwacja: • w porównaniu z QA 2010 nastąpił wyraźny spadek pozycji polskich uczelni w edycji QS 2011 [np. UJ z pozycji 304 na 393 a UW z pozycji 364 do grupy uczelni sklasyfikowanych na miejscu 400-450; Politechnika Warszawska “wypadła” z klasyfikacji uczelni technicznych - z programamiEngineering & Technology, Natural Sciences . • brak polskich uczelni technicznych w rankingu w 2011 QS World University Rankings by Subject – Engineering & Technology; Natural Sciences. Jak wytłumaczyć ten wynik? Zdaniem Bena Sowtera, głównegoanalityka w QS, przyczyny sa następujące: • dropping of “academic standing” [prestige] according to the latest information collected from Academic Peer Reviewsurvey [some 15,000 replies has been received]; • it looks that particular problem area of Polish universities is the low number of international faculty and inability to attract the international students and high-standing academics. 24

  24. Webometrics or Ranking Web of World Universities Conceptual argument: “ The web presence and visibility are probably the best proxies for describing the overall performance of the Universities in the 21st century, and possibly they are also the only ones able to classify all of them in a confident way”. Since 2004, the Webometrics Ranking is published twice a year [data is collected during the first weeks of January and July for being public at the end of both months]. At present it covers more than 20,000 higher education Institutions worldwide [20,300 in 2012]. Źródła informacji: Google and Scimago Research Group. Kryteria/siła: -Visibility [50%] – liczba stron zewnętrznych przekierowanych do strony danej uczelni; - Size [10%] – liczba stron [excluding the rich files]; - Rich files [10%] – suma różnego rodzaju stron: pdf, doc+docx, ppt+ppts oraz ps+eps; - Scholar [15%] – liczba publikacji na Google Scholar [za lata 2007-2011] oraz liczba publikacji w bazie danych Scimago Research Group. Wyniki edycji 2012 [styczeń]: • wśród 64 państw ujętych w tym rankingu Polska znajduje sie na 39 miejscu; • polskie uczelnie techniczne sa zróżnicowane jeśli chodzi o zajmowane miejsce – od czołowych pozycji takich uczleni jak - AGH [301miejsce], Politechniki Warszawskiej [354] do znacznie niżej pozycji takich uczelni jak Politechnika Poznańska [miejsce 3547] czy Politechnika Łódzka [miejsce 3917]. 25

  25. Scimago Institutions Rankings [SIR World Report 2011] [1] It is a relatively new ranking. 2011 is the third edition. It label itself as “the most comprehensive ranking of institutions with significant scientific output”. It includes more than 3,000 institutions, from104 countries, grouped in five sectors: Higher Education, Health System, Government Agencies, Corporations and Others. Higher education institutions represent mor than 80% of ranked institutions. Źródła informacji: Elsevier’s Scopus. Kryteria: • Output [O]: number of scientific papers published in scholarly journals; • International Collaboration [IC]: “Output” ratio that has been produced in collaboration with foreign institutions; • Normalized Impact [NI]: scores indicating the scientific impact that institution has over the scientific community. The values are expressed in percentages and show the relationship of the institution's average impact to the world average, which is 1 (a score of 0.8 means the institution is cited 20% below world average and 1.3 means the institution is cited 30% above world average); • High Quality Publications [Q1]: ration of publications that an institution publishes in the most influential scholarly journal of the world; • Excellence Rate: indicates which percentage of an institution's scientific output is included into the set formed by the 10% of the most cited papers in the respective fields. 26

  26. Scimago Institutions Rankings [SIR World Report 2011] [2] Wyniki: - 50 polskich instytucji i jednostek zostało objętych tym rankingiem [Rosja 34, Czech Republic 26, Romania 19, Hungary 8, Ukraine 7]. - najwyższą lokatę zajmuje PAN [świat 81, region C&E Europe 2, Polska 1]. Z polskich uczelni najwyższe miejsce zajmuje UJ [363/10/2], następnie UW [490/14/3]. - jeśli chodzi o uczelnie techniczne to zajmują one następujące miejsca: Politechnika Warszawska [538/15/4]; Politechnika Wrocławska [603/17/5]; AGH [735/26/6]; Łódzka [896/37/11], Gdańska [1057/48/16]; Śląska [1099/54/17]; P-Poznanska [1226/58/19]; Zach-Pomorski U Techniczny [1703/90/24]; WAT [2044/114/30]; Krakowska [2272/133/32]; Rzeszowska [2307/139/33]; P-Bialostocka [2327/142/35]; P-Czestochowska [[2633/165/43]; Lubelska [2716/172/45]; Opolska [2887/189/49].

  27. URAP – University Ranking by Academic Performance [1] The Delphi system was conducted to assign weighting scores to the above indicators. Total score of 600 is distributed to each indicator as follows:Number of Articles: 21 %Citation: 21 %Total documents: 10 % Journal Impact Total: 18 %Journal Citation Impact/H-Index: 15 %Internationa Collaboration: 15 % 28

  28. URAP – University Ranking by Academic Performance [2] URAP zebrał dane dla około 2,500 uczelni z czego najwyżej stojących 2,000 uczelni zostało sklasyfikowane. Wśród nich sklasyfikowanych zostało 35 polskich uczelni. Dwie polskie uczelnie – UJ i UW znalazły sie wśród trzeciej setki i otrzymały ogólną kategorie “A”. Jeśli chodzi o polskie uczelnie techniczne to URAP ranking obejmuje 11 uczelni technicznych [w tym WAT]. Najwyższe miejsca zajmują P-Wroclawska i Warszawska obie skwalifikowano do grupy pierwszych 600 uczelni i otrzymały kategorie “B++” [ogólne miejsce 636 i 654]. Następne kolejne miejsca zajmują: AGH - 812, P-Gdanska – 812, P-Lodzka – 837 [wszystkie te uczelnie otrzymały kategorie “B++”]. Do następnej grupy uczelni [kategoria “B+”] zaliczone zostały P-Gdanska – 991, P-Poznanska – 1132, P-Slaska – 1192. A w kategorii “B”: P-Szczecinska – 1520, WAT – 1590, P-Rzeszowska – 1638, Krakowska – 1733. 29

  29. Universitas 21 Ranking of National Higher Education Systems It is a new ranking responding to the arguments that a nation’s economic developments depends on performance of higher education sector and not only on a particular institution or program. It is an initiative of Universitas 21 [global network of research-intensive universities]. It uses 20 indicators grouped under four main headings, each weighted differently in the final aggregate score: - Resources: investment by government and private sector on teaching and research - 25 %; - Output: research and its impact, and ability of system to produce an educated workforce which meets labor market needs - 40 %; • Connectivity: international students and proportion of articles co-authored with international collaborators – 10%; • Environment: government policy and regulation, institutional and socio-economic diversity and participation opportunities – 25%.

  30. “U-Multirank: Multi-dimensional Global University Ranking” • Project is funded by the European Commission which aim is to crate a multi-dimentional ranking system for HE institutions based on mapping the different strengths and missions of universities [to reflect diversity of HE] covering: teaching, research and knowledge exchange, international orientation, and regional engagement. • Outcome: multidimensional perspective of ‘institutional profiles’, no overall ‘league tables’, two-level analysis - institutional and ‘field’. Project is going to be implemented in the course of 2012-2013 by a consortium led by CHE-Centre for Higher Education Development. 31

  31. Krytyka rankingów • Questionable methodologies [especially with regard to weighting scales] and validity of data [especially from surveys]; • Biased towards the research productivity and encourages convergence towards a research-dominated model and reduces the system diversity [academic drift]; • Introduces hierarchies among HE institutions and members of the academic community [not in line with an ethos of “academic corporatism”]; • “Come off as well as possible in a ranking” can become an obsession; • Hinders open-to-everyone academic cooperation and encourages cluster mentality; • Tend to focus on certain academic fields and not comprehensive performance of entire institution. 32

  32. Ogólne wnioski i rekomendacje Szereg polskich uczelni ma ambicje i potencjał aby polepszyć swoje miejsce w międzynarodowych rankingach. Ale aby to zrealizować jest potrzeba: • potraktowanie tego celu jako przedsięwzięcie ważne dla całej społeczności danej uczelni - od studenta do władz uczelni [włączając to również absolwentów i partnerów]; • Przyjęcie “wysokich standardów” jako zasady odnoszącej sie nie tylko do badan ale także w zakresie koncepcji i oferty kształcenia - “otwarte na wejściu elitarne na wyjściu” co wymaga odpowiednio wysokich wymogów w egzekwowaniu wiedzy [“Tough courses do more than transmit genuine knowledge and skills. They provide the experience – and instil confidence – of completing something difficult”, Robert J. Samuelson]; • Zrozumienie ze rankingi sa instrumentem wspierającym powyższe działania a nie celem w samym sobie a uzyskanie lepszej pozycji w międzynarodowych rankingach wykracza poza działania promocyjne; • Zrozumienie ze lepsza pozycja w rankingach międzynarodowych umacnia pozycje danej uczelni a “samozadowolenie” często oznacza regres. 33

More Related