Как работают университетские рейтинги? Российский и мировой опыт

1. Как работают университетские рейтинги? Российский и мировой опыт Анастасия Кинчарова, Михаил Соколов, НОЦ “PAST” 27марта 2013

2. Проект «Политическая экономия высшего образования» • «Физиология рейтингов» • Экономика рынка образовательных услуг • Академическая миросистема • Научный истэблишмент: происхождение дисциплинарных элит • Политика университета • Исследования цитатного поведения • ….

3. «Физиология рейтингов»:критика ранжирующего разума • Кто и почему обращается к ним? • Почему они так выглядят – шкалы и способы агрегации? • Почему кто-то выглядит в них лучше, чем другие? • Каковы последствия их применения?

4. Кто участвует в рождении рейтинга? • Объекты ранжирования; • Потребители – (а) домохозяйства и/или студенты; (б) государственные органы; (в) университетские администрации и/или преподаватели; • Производители – «эксперты».

5. Чего хотят потребители? • Домохозяйства • Информация – качество образования, престиж или социальные шансы • Государственные чиновники (частные доноры) • Эффективность расходования средств - ex ante или ex post – и политическая поддержка • Множественность идеологий высшего образования – технократическая или социально-гуманитарная • Университетские администраторы и преподаватели • Рациональная оценка положения (?) • Субсидии и плата за обучение

6. Доверие, легитимность и прагматическое принятие • Возможность каждой из сторон использовать рейтинг определяется доверием к нему со стороны других сторон; • Доверие рождается из • Соответствия традиционным представлениям об иерархии университетов; • Соответствия процедуры традиционным образцам (миметический изоморфизм –DiMaggio & Powell, 1983); • Привлечение иных процедурных легитимационных мифов (Meyer and Rowan, 1977); • Отсутствие видимых манипуляционных намерений; • Авторитет производителя. • Прагматическое принятие (Mann, 1977) рождается из • Представление о доверии других; • Невозможности легитимно оспорить рейтинг

7. О чем думают «эксперты»? • Легитимность решения – прозрачность и давление «мировой культуры» (Meyer and Schofer, 2005). • Техническая исполнимость и экономическая целесообразность. • Соответствие познавательным целям политического принципала. • Лоббизм (принципал или группа экспертов) – подмена показателей или позиция в рейтинге.

8. Исследования рейтингов университетов: основные направления • Методологические исследования: как устроены и/или могут быть устроены рейтинги (методики измерения характеристик университетов) (Liu & Cheng, 2005; Huang, 2012). • Сравнение рейтингов: результатов, методик (Buela-Casal G. et al., 2007; Huang, 2011) • Критика: методологическая (Van Raan, 2005, Dill & Soo, 2005) и идеологическая (Marginson, 2006, 2007; Amsler & Bolsmann, 2012). • Эффекты рейтингов (Hazelkorn, 2008, van Vught& Ziegele, 2012).

9. Виды показателей (мировой опыт) Выбор показателей – зависит от нормативных представлений разработчиков о том, что такое «качество» применительно к университету. Основные группы (по источнику): Библиометрические: количество публикаций, цитирование, соавторство. Peer review: опрос представителей академии. Другие: в основном с использованием данных статистики, как правило, университетской.

10. Критика библиометрических показателей Проблемы: Технические - связанные с трудностями сбора «чистых» данных: корректная идентификация авторов и университетов (перевод имен и названий, отнесение лабораторий и клиник, решение проблемы «зонтичных» университетов и «разведение» разных университетов из одного города). Методологические - связанные с трудностями построения релевантных индикаторов; Некорректное использование (подход «если данные уже куплены, построить рейтинг просто и быстро»). Необходимо учитывать: Практики публикации в определенных областях; Характер источника данных, присущие ему проблемы; Временной интервал (различия в периодах актуальности для цитирования в разных дисциплинах); Разная плотность цитирования в разных дисциплинах.

11. Критика peer review Проблемы: • Что на самом деле показывает репутация? Показывает ли она «лучшие университеты»? • Проблемы организации сбора данных: • Неясная и несистематическая схема отбора экспертов, географический «перекос»; • Невысокое качество вопросника (представители академии могут судить об исследовательской работе других университетах по ее результатам, но о процессе преподавания им, скорее всего, известно очень мало); • Низкий процент возврата; • Недостаточная компетентность экспертов (представители академии могут компетентно судить преимущественно о факультетах своей дисциплины, которые находятся в том же регионе или стране).

12. Критика статистических показателей Критика конкретных показателей: • Неясны цели использования конкретных индикаторов (например, индикатора интернационализации, которая может быть следствием или причиной целого ряда разных явлений). • Низкое качество данных, предоставляемых университетами (данные могут быть предметом манипуляций, либо неумышленных искажений) • Зависимость от размера – для абсолютных показателей. Критика комбинаций показателей: • Охват разных периодов для разных показателей. • Асимметрия выбора при учете выдающихся успехов: используются показатели, отражающие максимально возможные достижения в науке, но не негативные характеристики. • Отсутствие среди показателей характеристик процесса обучения: качество преподавания, успеваемости студентов, «выходных» характеристик студентов. • Разнородность индикаторов, объединяемых в единый индекс без достаточных обоснований.

13. Индикаторы и веса ARWU (2012 г.)

14. Индикаторы и веса QS (2012 г.)

15. Индикаторы и веса THE (2012 г.)

16. Индикаторы рейтинга Минобрнауки для вузов и филиалов 1. Образовательная деятельность: средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на очное обучение по программам бакалавров и специалистов за счет бюджета или с оплатой физическими и юридическими лицами (средневзвеш.); 2. Научно-исследовательская деятельность: объем НИОКР в расчёте на одного НПР; 3. Международная деятельность: удельный вес численности иностранных студентов, в общем выпуске студентов; 4. Финансово-экономическая деятельность: доходы вуза из всех источников в расчете на одного НПР; 5. Инфраструктура: общая площадь учебно-лабораторных зданий в расчете на одного студента (приведенного контингента), имеющихся у вуза на праве собственности и закрепленных за вузом на праве оперативного управления.

17. Индикаторы рейтинга Минобрнауки для филиалов 6. Приведенный контингент; 7. Доля кандидатов и докторов наук в численности работников ППС (без совместителей и работающих по договорам гражданско-правового характера); 8. Доля работников ППС (без совместителей и работающих по договорам гражданско-правового характера) в общей численности ППС.

18. Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (1) Образовательная деятельность вуза (вес 0,2): Оценка числа студентов первого уровня подготовки (бакалавриат, специалитет). Оценка спектра образовательных программ. Оценка числа ППС, работающих на полной ставке. Оценка уровня квалификации ППС. Оценка качества абитуриентов.  Оценка затрат на подготовку студента. Оценка ресурсного обеспечения образовательного процесса. Научно-исследовательская деятельность вуза (вес 0,2) Результативность работы аспирантуры и докторантуры. Оценка образовательных программ подготовки научно-исследовательских кадров (магистратура, аспирантура, докторантура). Оценка ресурсного обеспечения исследовательского процесса. Оценка достижений ППС в области науки и исследований.

19. Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (2) Социализаторская деятельность вуза (вес 0,15) Оценка образовательных программ дополнительного образования. Пространственный масштаб деятельности вуза. Оценка динамики активности выпускников на региональных рынках труда. Оценка зарплатных ожиданий и карьерных притязаний выпускников. Международная деятельность вуза (вес 0,15) Оценка академической мобильности студентов, преподавателей, учёных. Оценка уровня международного сотрудничества в разработке и реализации образовательных программ. Оценка влияния на зарубежные рынки образования, исследований. Оценка ресурсного обеспечения международной деятельности вуза. Показатели сотрудничества с зарубежными вузами и исследовательскими организациями в научно-исследовательской деятельности.

20. Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (3) Бренд вуза (вес 0,15) Репутация вуза. Миссия вуза, программы развития, управление. Успешность выпускников вуза, достижения вуза в процессе селекции элит национального и международного уровней. Показатели публичной и экспертной деятельности представителей вуза. Известность вуза среди зарубежного академического сообщества. Инновации и коммерциализация разработок (вес 0,15) Оценка результатов интеллект. деят-ти вуза: российские патенты на изобретения и полезные модели, другие виды интеллект. собственности (программы, ноу-хау), регистрируемые Рос-патентом. Создание и развитие вузом малых инновац. предпри-ятий (МИП), стимулирование предпринимательства.  Оценка развитости инновац. инфраструктуры вуза. Участие вуза в развитии технол. платформ, госпрограммах развития технологий. Доходы вуза от коммерциализации разработок.

21. Индикаторы различных российских рейтингов «Национальный рейтинг университетов» - элиты: первое в/о представителей элит; второе и последующие в/о представителей элит; Рейтинг «Коммерсанта»: число компаний, готовых принять выпускников данного вуза; число компаний, трудоустроивших выпускников данного вуза в 2006 г. ; число принятых выпускников. Рейтинг Фонда Потанина: тестирование, игровой тур, конкурсы преподавателей, волонтерские проекты. Рейтинг «Эксперта»: рейтинговый функционал, качество образования, востребованность работодателями, научно-исследовательская активность.

22. Индикаторы рейтингов НИУ ВШЭ • НИУ ВШЭ, рейтинг качества приема: средний балл зачисленных по результатам ЕГЭ (в расчете на один предмет); средний балл ЕГЭ зачисленных по конкурсу в расчете на один предмет) – показатели представлены отдельно, без формирования индекса. • НИУ ВШЭ, рейтинг научной и публикационной активности: среднегодовое число грантов РГНФ в расчете на 100 штатных преподавателей вуза; среднегодовое число грантов РФФИ в расчете на 100 штатных преподавателей; число статей в базе "Российского индекса научного цитирования" в расчете на 1 штатного преподавателя; индекс цитирования статей научно-педагогических работников вуза в базе "Российского индекса научного цитирования"; число наименований журналов ВАК, издаваемых вузом.

23. Эффекты рейтингов Выбор абитуриентов Управление организацией: «выбивание» финансирования, перераспределение ресурсов Государственная политика (государственное финансирование) Изменение понимания качества «Эффект Матфея» Манипулирование результатами Повышение качества собираемой университетом информации Моральное состояние сотрудников Слияния университетов Установки руководителей университетов на продвижение в рейтинге Продвижение университета Академическое сотрудничество В России не исследовались

24. Препринт • НОЦ “PAST” http://www.tsu.ru/content/science/noc/nots_sotsialno_politicheskie_issledovaniya_tekhnologiy.php