Библиометрические показатели , как инструмент оценки науки

1. Библиометрические показатели, как инструмент оценки науки д.пед.н. В.А.Маркусова ВИНИТИ, Москва, 2011 г. E-mail: markusova@viniti.ru

2. СОДЕРЖАНИЕ • Создание Science Citation Index (SCI) и ISI • Книга В.В.Налимова – «Наукометрия», 1968 г. • Развитие науки в конце XX века и потребность в наукометрических показателях • Развитие наукометрических методов • Сетевые технологии • Предложения Минобразования и науки РФ • Выводы ВИНИТИ РАН

3. История н-инф.деят. США • Д-р Ванневар Буш - выдающийся организатор науки США в книге «Предел науки-бесконечность» отмечал необходимость использования сокровищницы знаний. Он был инициатором создания ННФ в 1950 г., сыгравшего большую роль в н-инф. деят. США • Спутник и его влияние на научную политику США (доклад А.Вайнберга) • Развитие н-инф. деят деятельности было обусловлено развитием вычислительной техники и необходимостью решения мультидисциплинарных проблем ВИНИТИ РАН

4. История идеи • Д-р Ю. Гарфилд- выдающийся специалист в области информатики, ему принадлежит идея использования научных ссылок, как поискового термина (журнал Science, 1955 г., №3759) для получения информации об исследованиях и научных открытиях • На грант ННФ в 1955 г. был выполнен экспериментальный указатель цитирования по генетике ВИНИТИ РАН

5. Закон С.Брэдфорда Соотношение журналовв тематической области как1:n:n2 • Ю.Гарфилд о журнальном мифе • SCI позволяет получить сведения об изменениях в динамике публикаций страны, научном сотрудничестве и развитии тематических направлений • Статистика Journal Citation Reports (JCR), как основа отбора научных журналов ВИНИТИ РАН

6. История инф. продуктов и ISI • Current Contents, 1957 г. • Science Citation Index,1964г.,Social Science Citation Index, 1967 г. • Journal Citation Reports, 1975г., CD-ROM 1985 г. и STN International • WOS (Web of Science) 2000 г. • WOK (Web of Knowledge), 2001г. • Оценки науки ВИНИТИ РАН

7. Причины цитирования • Оказание уважения • Признание вклада • Определение/описание методов, оборудования • Корректирование собственной работы или других • Критика предыдущих работ • Указание дополнительной литературы по теме • Отрицание предыдущих работ • Подтверждение данных ВИНИТИ РАН

8. Цитируемость • Цитируемость зависит от ряда факторов: области знания, языка, престижа научного журнала, и социо-культурных привычек самого автора статьи. • Культура цитирования в нашей стране несколько иная, чем на Западе. Кроме того, цитируемость статей неанглоязычных стран значительно ниже, и им необходим более длительный интервал (gap) между временем опубликования статьи и ее цитируемостью. • Средняя отечественная статья содержит в два раза меньше ссылок, чем иностранная, а это значит, что шанс наших ученых быть процитированным значительно меньше, чем у иностранных коллег ВИНИТИ РАН

9. Библиометрия • Библиометрия основана на количественном анализе библиографических данных публикаций, содержащихся в документальных потоках и массивах. Объектами изучения в библиометрических исследованиях являются публикации, сгруппированные по разным признакам: авторам, журналам, тематическим рубрикам, странам и т.п. • Использование библ.показателей, и в первую очередь количества статей, опубликованных в лучших международных журналах, связано с тем непреложным фактом, что на протяжении последних 150 лет лет научная статья стала основным звеном распространения нового знания в системе научных коммуникаций вне зависимости от формы носителя (бумажная, электронная). ВИНИТИ РАН

10. Библиометрия • Библиометрия – один из ключевых количественных инструментов для поддержки принятия решений, касающихся научной политики, мониторинга развития научных направлений и эффективности финансовых инвестиций в науку. • Рейтинги университетов ВИНИТИ РАН

11. Библиометрические показатели • Научные публикации – НП • Цитируемость; средняя цитируемость статьи по отношению в средней цитируемости статьи в данной предметной области; доля процитированных работ по отношению к доли цитируемости в данной отрасли; доля участия в международном сотрудничестве • Индекс Хирша • Патенты • Импакт -факторы журналов • Библиометрические методы это только инструмент, а решение должно оставаться за мэтрами в науке (Ю.Гарфилд) ВИНИТИ РАН

12. Библиометрические показатели как индикатор научной деятельности • Библиометрические показатели: • Прозрачные • Их легко повторить и понять • Эти данные стали стандартом при оценке научных исследований в мире • Университеты и правительства широко используют эту метрику при выборе • Стратегического планирования • Оценки эффективности программ • Оценке факультетов ВИНИТИ РАН 12

13. Поиск в Web of Science • Авторы; ключевые слова; название журнала; адрес: название организации, страны; финансирующая организация • Цитируемость • Опция Research analysis • Глубина поиска –до 1900 г. ВИНИТИ РАН

14. Тенденции научной продуктивности и цитируемости статей России, БД NSI, 2009 ВИНИТИ РАН

15. Средняя цитируемость одной статьи по БД ESI, 1999-2009гг. ВИНИТИ РАН

16. Статистика по S&EI-2010 • С 1995-2007 гг. ежегодная скорость роста потока статей США- 0.7%, Японии -1.0%, ЕС-1.9%, что значительно ниже чем в быстро развивающихся экономик 8 стран Азии-9.0% и Китая -17% • Среди стран Азии самая высокая у Китая. Затем Таиланд - 15%, Южная Корея -14%, Сингапура -11%, и Тайваня -9% • Количество статей в журнале выросло со 117 статей in 1988 до 139 в 2005 г. (S&EI-2008) • Доля НП ЕС (27 стран) составляла 33% мирового потока в 2005г., США-29% и 10 стран Азии около 20 % ВИНИТИ РАН University of Alabama, SLIS-2008 16

17. S&E Indicators-2010 • Рост затрат на R&D с 1991-2005 г. в США, ЕС-15 и Японии со скоростью 4-5 % в год, КНР-17% (с 0.6% до 1.3% от ВВП, или с $12,4 млр. до $86,4млр.) • Снижение доли публикаций США на 4%. При росте расходов Правительства с 28 % в 2001 г. до 34 % или до $139,2 млр. • Соревнование США и ЕС, КНР -2 место в мире по статьям, 6 -по цитируемости. Россия-13-ое по статьям и 21 поцитируемости за 2000-2010 гг. • Статистика по России только с 1993 г. ВИНИТИ РАН

18. Средняя цитируемость одной статьи стран Большой Семерки, ОЕСД и BRIC, Web of Science, 2005-2009 ВИНИТИ РАН

19. ESSENTIAL SCIENCE INDICATORS (ESI) • Аналитическая БД ESI содержит за 10 летний период статистические материалы о распределении научных публикаций и ссылок по 22 областям исследований, странам, организациям и наиболее цитируемым авторам. Для каждого года и каждой области знаний свой порог цитирования. • Содержит сведения об 1% цитируемых авторов (top scientists) и 1% организаций по каждой области знания. ВИНИТИ РАН

20. Кластеры • Исследовательское направление или кластер статей - это актуальное направление исследований, состоящее из группы публикаций, которые наиболее часто совместно цитируются новыми журнальными статьями. • Эти цитируемые работы, представляющие интеллектуальную основу области знаний, называются «ядром» специальности или исследовательского фронта -Research Front. Входят в состав БД ESI. ВИНИТИ РАН

21. Вклад России в мировой поток по БД ESI • Россия занимает 2001-2011 г. 13-ый ранг по кол-ву статей, 21-ый по цитируемости; в 2000-2010 гг. 10-ый по статьям и 20 по цитируемости • По цитируемости Россия занимает: 8 ранг физике; 11- ый по математике; 12-науки о Земле; 14- исследованию космоса; 16 химия; 18-материаловедению и тех. н. • РАН -51-ый ранг по цитируемости; 5-физика; химия-8-ой;науки о Земле-12; • РАН по статьям ранг 2-ой; 1-физика, науки о Земле, математика и микробиология; 2-химия, материаловедение, биология и биохимия; 3-тех.н.; науки о космосе -6; ВИНИТИ РАН

22. Структура отечественных статей по областям науки по БД NSI 2004-2008 гг. ВИНИТИ РАН

23. РАН в БД ESI • Ранги России:13ый-статьи; 21-цитируемость. • По данным БД ESI за 2000-2010 гг. РАН занимала среди верхушки (top institutions) организаций по количеству опубликованных статей: • первое место в области физики, химии, математике, микробиологии; • второе место – в области наук о Земле, биологии и биохимии, и по материаловедению. • Ранги РАН по цитируемости:5-ый по физике, 8-ой по химии, 12-ый по по наукам о Земле • Ранги РАН:53-ий по цитируемости и 13-ый по статьям среди 4,6 тыс.организаций мира ВИНИТИ РАН

24. Высокоцитируемые статьи • БД ISI Highly Cited.Com состоит из библиографических описаний, ссылок и биографических сведений о тысячах авторов по таким областям знаний по двадцати двум научным дисциплинам с 1981 г. по настоящее время; • Адрес в Интернете: www.isihighlycited.com • Hot papers -группа недавно опубликованных статей, которые начинают активно цитироваться сразу после опубликования, определяет то направление исследований («Hot”), которое претерпевает быструю трансформацию. ВИНИТИ РАН

25. Journal Citation Reports (JCR) • JCR , изд. ежегодно с 1975 г. и содержащее статистические сведения о наиболее информативных научных журналах мира. • Начиная с 2010 г. доступно только через Интернет . • JCR –Science Edition за 2009 г. содержал сведения о 5907 журналах, из которых 132 российские (6 Social Science) • Импакт-фактор (impact factor)и показатель оперативности (immediancy index) • JCR нашел широкое применение вредакционно-издательских целях, помимо информационных и библиотечных специалистов • При заявке на грант, научную премию и выдвижении на научное звание соискатель должен знать значения ИФ журналов, в которых были опубликованы его работы ВИНИТИ РАН

26. Нормализованное цитирование российских статей Выросло в 2.5 раза с 1981г. Thomson Reuters InCites 1981 - 2008 ВИНИТИ РАН

27. Рост нормализованного цитирования в астрофизике, физике частиц и полей и математике ВИНИТИ РАН

28. Сравнение показателей для неанглоязычных стран • В масс-медиа постоянно можно услышать обвинения в низкой цитируемости отечественных исследователей. Мы цитируем своих коллег значительно реже, чем иностранных. За период с 2005-2009 гг. по статистике БД National Science Indicators (NSI) американские ученые процитировали 69,5 % своих работ, а мы -44,7%. В среднем цитируемость мирового потока составила 62,38%. • Средняя цитируемость одной статьи 2005-2009 гг. • Бразилия 3,02 • Китай 3,07 • Индия 2.83 • Россия 2.39 • Мировой поток 4,77 • Относительная цитируемость: Россия -0,5 ВИНИТИ РАН

29. Сравнение показателей для неанглоязычных стран • Специфика области знания. Разные модели цитируемости и разрыв между областями знаний может достигать соотношения 10:1. Так средняя статья по мол.биологии и генетике получит 40 ссылок, а средняя статья по математике или вычислительной технике соберет не более 4-х ссылок. Временной лаг аккумуляции ссылок www.imu.org • Несбалансированный характер распределения ссылок (кривая нормального распределения). Небольшая группа статей может получить огромное кол-во ссылок и значительное большинство публикаций быть процитировано незначительно или совсем не быть процитировано (пример с Новоселовым К.). ВИНИТИ РАН

30. Система научных коммуникаций России • В России, также как в других неанглоязычных странах (Китае, Латинской Америке) сложились две системы научных коммуникаций или два основных канала распространения знаний - международная и внутренняя. Под международной системой мы подразумеваем опубликование статьи в зарубежном или в отечественном научном журнале, включенном в англоязычную информационную систему (БД) WOS. Для подготовки WOS используются 156 наименований отечественных журналов, соответствующих международным стандартам • Для получения адекватной картины о достижениях отечественной науки необходимо организовать сбор статистики о публикациях, составляющих внутреннюю систему научных коммуникаций. Первоочередная задача- составление списка научных журналов. ВИНИТИ РАН

31. Индекс Хирша организаций за 2000-2010 гг. Информационная система Web of Knowledge, version 5.(тестовый поиск выполнен 24.03.11.) ВИНИТИ РАН

32. Российский парадокс • Библиометрические показатели пытаются использовать без учета мнения экспертов-ведущих ученых • Библиометрические показатели пытаются использовать для оценки состояния всей науки, а не только фундаментальной, как это происходит в наиболее развитых странах. • Используется не вся совокупность библиометрических индикаторов, а только показатели цитируемости и Индекс Хирша • Необходимость реформирования науки связывают с низкими показателями цитируемости отечественной науки, забывая, в частности, о проблемах неанглоязычной литературы и др.(Китай, Бразилия) ВИНИТИ РАН

33. Что делать? • Повысить авторитетность, отечественных научных журналов в международных научных кругах. Пригласить иностранных коллег в состав редколлегий, снабжать каждый выпуск журнала аннотацией содержания и ключевыми словами на русском и английском языках, развивать сайт в Интернете. • Статьи должны сопровождаться списком процитированной литературы. • Организовать для авторов языковые консультационные бюро для помощи в редактировании статей, написанных на английском языке. • Семинары и спец. курсы в ВУЗах на тему «Как писать научные статьи и заявки на гранты» ВИНИТИ РАН

34. Подводные камни • Различные версии написания одного и того же автора (например, Emelianov SV or Emelyanov SV or Yemelyanov SV.) или организации ( шесть вариантов названия Российского федерального ядерного центра им.И.В.Курчатова) • Специфика области знания. Разные модели цитируемости и разрыв между областями знаний может достигать соотношения 10:1. Так средняя статья по мол.биологии и генетике получит 40 ссылок, а средняя статья по математике или вычислительной технике соберет не более 4-х ссылок. Временной лаг аккумуляции ссылок www.imu.org • Несбалансированный характер распределения ссылок (кривая нормального распределения). Небольшая группа статей может получить огромное кол-во ссылок и значительное большинство публикаций быть процитировано незначительно или совсем не быть процитировано (пример с Новоселовым К.). ВИНИТИ РАН

35. Science Watch • Специальное издание, посвященное анализу тенденций развития областей знаний, вкладу отдельных стран и организаций в мировой информационный поток с 1990 г. • Публикует «Hottest Research» с 2000 г. • Интервью с авторами наиболее цитируемых статей (история с Новоселовым К.) www.sciencewatch.com ВИНИТИ РАН

36. Импакт-фактор Импакт-фактор –это показатель информационной значимости научного журнала ИФ-это соотношение количества ссылок на публикации данного журнала за два года, предшествующих году обследования, к кол-ву статей, опубликованных этим журналам за два года ИФ зависит от области знания и варьируется в широких пределах 10/27/2014 ВИНИТИ РАН 36

37. Полезные сайты • Science & Engineering Indicators”www.nsf.gov • www.SCIMagojr.comсодержит библиометрическую статистику из SCOPUS • www.science-metrix.com/30years-Data.htm • International Mathematical Union http://www.imu.org ВИНИТИ РАН 37

38. Выводы • Библиометрические показатели сильно различаются в зависимости от области знания • Российские публикации также как и публикации на китайском языке цитируются значительно меньше чем англоязычные • Специалисты по библиометриии при выполнение оценок должны работать в тесном контакте с экспертами в области знаний. • Использование библиометрических показателей не должно быть фетишированием. ВИНИТИ РАН