310 likes | 450 Views
Рейтинги университетов. Что это? Зачем они? Какие и сколько?. Ирина Разумова Консорциум НЭИКОН razumova@neicon.ru Вятка, ВятГУ, октябрь 2009. Международные и национальные рейтинги университетов как механизм оценки научной деятельности: альтернатива или дополнение
E N D
Рейтинги университетов. Что это? Зачем они? Какие и сколько? Ирина Разумова Консорциум НЭИКОН razumova@neicon.ru Вятка, ВятГУ, октябрь 2009 Вятка, оетябрь 2009
Международные и национальные рейтинги университетов как механизм оценки научной деятельности: альтернатива или дополнение к индексам цитирования? Ирина Разумова Консорциум НЭИКОН razumova@neicon.ru Science Online в Крыму, июнь 2009 Вятка, оетябрь 2009
СИСТЕМА БИБЛИОМЕТРИЧЕСКИХ ИНДИКАТОРОВ ВУЗОВКак внедрить и не навредить Владимир Владимирович Писляков к.ф.-м.н. зам. директора по управлению электронными ресурсамиБиблиотека ГУ-ВШЭ http://library.hse.rupislyakov@hse.ru SCIENCE ONLINE: электронные информационные ресурсы для науки и образованияМармарис, 2009 Вятка, оетябрь 2009
А У ВАС СПРАШИВАЛИСРЕДНИЙ ИНДЕКС ЦИТИРОВАНИЯ ? Как правильно задать этот вопроси проанализировать ответы вузов Владимир Владимирович Писляков к.ф.-м.н. зам. директора по управлению электронными ресурсамиБиблиотека ГУ-ВШЭ http://library.hse.rupislyakov@hse.ru День SCIENCE ONLINE на Крымской конференции Судак, 2009 Вятка, оетябрь 2009
Почему вдруг? Письмо о ФОТ и индикаторе, 17 октября 2009 г. В связи с постановлением Правительства Российской Федерации от 5 августа 2008 г. № 583 и требованиями Федерального агентства по образованию по порядку и выполнения работ по распределению централизованной части фонда оплаты труда (далее - ФОТ), все университеты должны представлять информацию по следующему индикатору http://www.kpmo.ru/kpmo/info/nsotdocs.html Вятка, оетябрь 2009
Зачем? Чтобы делить деньги. Бегущая строка на сайте... Внимание!!! Всем федеральным учреждениям необходимо заполнить данные, необходимые для распределения Рособразованием централизованной части ФОТ до 1 декабря 2008 г Вятка, оетябрь 2009
Что нас спросили?(письмо № 2527/12-16 от 17.11.2008) • «Средний индекс цитирования у преподавателей вуза» (п. 8) • «Количество работающих в вузе профессоров, находящихся на основной работе в другом вузе, имеющих индекс цитирования, больший, чем в п. 8» (п. 10) Вятка, оетябрь 2009
Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) Данные про индекс цитирования заполняются в том случае, если имеются сведения о международном индексе (Шанхайский, Таймс) Указывать данные, только если есть сведенияпро международный ИЦ (шанхайский, Таймс) Что мы переспросили? • Основываясь на какие документы и пр. можно приводить данные по п. 8 «Средний индекс цитирования у преподавателей вуза» (и 10, соответственно). • Что такое цитирования у преподавателей? • Исчисляется ли средний индекс цитируемости преподавателей вуза самим вузом или же необходимо за основу взять соответствующую информационную базу, в которой указаны наиболее цитируемые авторы. Какая эта база? • Средний индекс цитирования у преподавателей вуза: Как его рассчитать? Вятка, оетябрь 2009
А дальше определение забыто. Кроме того появляется упоминание о рейтингах… «При расчёте индексов цитирования необходимо брать данные о международных индексах цитирования (Шанхайский, Таймс). При их наличии.» Вятка, оетябрь 2009
Полнейшая абракадабра. Поэтому начнем еще раз… • Что же такое индикаторы, индексы цитирования, и рейтинги ? Под индексом цитирования понимается база данных… Вятка, оетябрь 2009
Какие бывают базы.... Продовольственная Военная база – база – там лежит там военные продовольствие Индексы цитирования: там лежат статьи и цитаты на них. Российская база– РИНЦ, международные:Web of Science, Scopus, Google Scholar Вятка, оетябрь 2009
Какую информацию можно получить из этих баз, то есть, индексов цитирования ? • Данные по публикационной активности • Данные по цитированию публикаций Вятка, оетябрь 2009
На основании этих данных расчитываются индикаторы Индикаторы – это цифры. Они бывают разные и используются, например, в: • Системе распределения ЦТ ФОТ • Национальных системах аттестации университетов и НИИ а также для • Определения рейтингов Вятка, оетябрь 2009
…so much for that.Что необходимо указать в методологии для получения внятного библиометрического индикатора? • Базу данных, по которой ведется подсчет • Тип(ы) публикаций, которые учитываются • Временной промежуток-1: когда выходят оцениваемые публикации • Временной промежуток-2: на каком интервале времени учитывается цитирование оцениваемых публикаций • Календарное время (месяц) предоставления индикатора для отчета вуза Вятка, оетябрь 2009
Отступление простоео временных промежутках Только годы и только календарные!(так устроены БД цитирования) Вопрос М.В. Кузнецовой: «Данные по научной деятельности предоставляются в Рособразование по календарному году. Сведения по объемам НИР за указанный период можно, конечно, вычленить, но ни одному официальному документу они соответствовать не будут. Как быть?» — «Все данные должны быть предоставлены за отчетный период» Вятка, оетябрь 2009
Отступление напрасноео терминологии Как называть показатель цитирования? • индекс цитирования?результат неверной кальки с английского: «citation index» — это база данных, а не показатель; + почему суммарный, валовой показатель стал «индексом»? • в зависимости от того, что оцениваем:— цитируемость (суммарная), число цитирований, число ссылок;— средняя цитируемость статьи, число ссылок на статью;— импакт-фактор (для журналов). Вятка, оетябрь 2009
Наше предложение1. основной индикатор • База данных: Web of Science (документы: SCIE+SSCI, цитирования из всей базы) • Тип(ы) публикаций: все, с дополнительным выделением Article+Review+Proceedings Paper • Сколько публикаций вышло за последние5 лет (2004–2008) • Сколько цитирований они получили за те же самые 5 лет (2004–2008) • Считать не ранее сентября следующего за учитываемым интервалом года Вятка, оетябрь 2009
Наше предложение2. «оперативный» индикатор • База данных: Web of Science (SCIE+SSCI) • Тип(ы) публикаций: все, с дополнительным выделением Article+Review+Proceedings Paper • Сколько публикаций вышло за последний год (2008) • Средний («средневзвешенный») импакт-фактор журналов, в которых выходили эти публикации (IF-2008) • Считать не ранее июля следующего года Вятка, оетябрь 2009
Самое сложное в анализе — кроссдисциплинарное сопоставление • Сравнение с цитируемостью на статью для вузов той же дисциплинарной направленности • Сравнение с цитируемостью, например, всех российских ученых (желательно работающих в той же отрасли) • Для оперативного индикатора — сравнение со средним (или медианным) импакт-фактором журналов той же дисциплины Вятка, оетябрь 2009
Письмо 2008 г. о распределении ЦЧ ФОТ • Данные о количестве публикаций в Российских изданиях учитывают только публикации в ваковских изданиях. • Индикатор - количество цитирований сотрудников вуза в двух международно признанных индексах цитирования Science Citation Index Expanded и Social Sciences Citation Index, входящие в состав базы данных Web of Science (WoS). Вятка, оетябрь 2009
Письмо от 17 октября 2008 года и показатели цитируемости ВУЗов. Как их надо считать? … Вятка, оетябрь 2009
Вопросы • Какие параметры (индикаторы) будем определять ? • По какому источнику будем считать? • Какие публикации будем рассматривать ? • За какое время будем считать? Вятка, оетябрь 2009
Ответы • Будем подсчитывать число статей, опубликованных в ВУЗЕ и число цитат, полученных на эти статьи. • Индикаторы будем определять по данным базы Web of Science (SCIE, SSCI). • Будем учитывать все публикации в журналах WoS и полученные цитирования за 5 истекших лет. Вятка, оетябрь 2009
Комментарии число статей, опубликованных в ВУЗЕ за 5 истекших лет и число цитат, полученных на эти статьи. Внимание! Нельзя определять полное число статей за все годы и отсортировать их по годам. В этом случае вы получите данные о числе статей, появившихся в базе в таком-то году, а не число опубликованных в этом году статей. Нельзя получить данные о цитировании всех статей организации и отсортировать цитаты по годам. Вы получите данные о цитировании в таком-то году ВСЕХ статей организации. А надо данные о цитировании статей, вышедших за 5 последних истекших лет. Вятка, оетябрь 2009
Комментарии Индикаторы будем определять по данным базы Web of Science (SCIE, SSCI). Почему Web of Science ? Потому, что так считают во всем мире. Потому, что так просит Рособраз. Внимание! Нельзя использовать данные из Скопуса, если требуются данные по Web of Science. Это разные базы с разными списками журналов. Причем для многих издательств в Скопусе журналов расписывается больше, но для некоторых МЕНЬШЕ (AGU, MIT…) Поэтому иногда индикаторы, расчитанные по Скопусу будут ниже (ЮФУ, ФТИ им Иоффе…) Вятка, оетябрь 2009
Комментарии Индикаторы будем определять за 5 истекших календарных лет. Почему 5 ? Потому, что за год считать бессмысленно, количество цитат будет практически равно 0. Потому, что так считают в общепризнанной во всем мире базе ESI. Почему календарных, а не учебных? Потому, что в WoS можно считать только по календарным годам. Почему истекших? Потому, что некоторые статьи текущего года появятся в базе в следующем году. Особенно это касается статей из российских журналов. Вятка, оетябрь 2009
Комментарии TS=((CU=Russia OR CU=(Russian Federation) OR CU=USSR)) and (ad= (St PETERSBURG STATE UNIV) and (ad=Petersburg OR ad =(198504 OR 199034))) AND PY=2004-2008 Databases=SCI-EXPANDED, SSCI Timespan=All Years. 5137 Вятка, оетябрь 2009
Комментарии More options Analyse Results Create Citation Report Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et al.Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages: 406-414 Published: SEP 2008 . 5137 Вятка, оетябрь 2009
Комментарии More options Analyse Results Create Citation Report Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et al.Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages: 406-414 Published: SEP 2008 . 5137 Вятка, оетябрь 2009
Спасибо за внимание Ирина Разумова консорциум НЭИКОН Санкт-Петербург razumova@neicon.ru www.neicon.ru Вятка, оетябрь 2009