Второе рождение библиометрии

1. Второе рождение библиометрии Земсков А.И. , ГПНТБ России andzem@gpntb.ru

2. Библиометриякакмассоваянаукасуществуетболее 60 лет – еслисчитать с моментаоснованияИнститутанаучнойинформации (ИНИ) и выпускапервогоизданияуказателя Science Citation Index. Системаиндикаторовпоказателейактивности и результативностинаучныхисследованийразрабатывалась в 1970-е гг., однаковнедрениеееоткладывалосьдотехпор, поканепонадобилосьосуществлятьконтрользаэффективностьюработы коллективов, продуктивностьюотдельныхученых и проводитьсравнительныйанализдеятельностиуниверситетов. Этовремянастало, когдаприобщемснижениирасходоввместоподдержкиуниверситетаили НИИ в целомбылавведенаинаясистемафинансирования, предполагающаяподдержкуконкретныхнаучныхпрограмм

3. По мнению Питера Вайнгаарта, представлявшего ключевой доклад «Оценка результатов научных исследований: опасность манипулирования цифрами» на 2-ой международной конференции, организованной Центральной библиотекой Научного центра Юлих «Библиометрический анализ в науке и исследованиях. Применения, преимущества и ограничения» 5-7 ноября 2003 г., университет г. Билефельд, Германия «Использование данных цитирования базируется на том предположении, что при достаточно большом количестве найденных ссылок различные мотивации, служащие стимулом для цитирования той или иной статьи взаимно нейтрализуются и то, что остается – это сам факт внимания к указанной статье. В различных отраслях науки сложились очень разные обычаи цитирования. Статьи о результатах основных биомедицинских исследований цитируются в шесть раз чаще, чем статьи по математике».

4. Как заявил Президент Российской Федерации В.В. Путин на заседании Совета по науке и образованию 30 апреля 2013 года «Нам нужно выстроить систему объективного анализа работы научных организаций (я бы хотел здесь подчеркнуть: национальную систему объективной оценки работы научных организаций), наряду с ведомственной оценкой активно привлекать профессиональных экспертов. Причём система оценки должна действовать и по отношению к научным учреждениям, и на уровне их структурных подразделений: отделов, лабораторий и так далее. Это позволит сконцентрировать государственные средства на тех направлениях, где мы можем сказать, действительно, веское новое слово, получить многообещающие результаты, востребованные нашим обществом и экономикой страны».

5. На эту тему высказывается и Президент РАН академик Фортов в своей предвыборной программе: «…Существенный критерий оценки научной деятельности – число публикаций в научных журналах и индекс цитируемости этих публикаций. Ясно, что критерии должны быть разными для разных областей знаний. Особые критерии должны быть разработаны для учёных и организаций, ведущих масштабные экспериментальные, прикладные и оборонные работы».

6. Рост публикаций в мире по одному из продуктов библиометрии - журнальному импакт-фактору иллюстрирует график рис.1, заимствованный из доклада (Analysis of journal impact factor Research in time: development of a Specialty?) ТэдаванЛюйвена и Поля Вутерса, Центр изучения науки и техники Лейденского университета , Нидерланды, на 14-ой конференцииМеждународногообществанаукометрии и информетрии (The 14th International Society of Scientometrics and Informetrics Conference University of Vienna 15-19 July 2013). Трудыэтойконференции – 2200 страницдаютбогатейшийфактическийматериалдляанализа и сопоставления. ДалеедлякраткостибудемназыватьеепростоВенскаяконференция. • Динамика роста • общего количества статей в Web of Science за 1981 - 2010 гг (розовые точки, левая шкала ) и статей по импакт фактору (синие точки, правая шкала), оригинал - http://www.issi2013.org/Images/ISSI_Proceedings_Volume_I.pdf

8. eLIBRARY.RU - Российский индекс научного цитирования (РИНЦ) elibrary.ru/project_risc.asp‎ Российский индекс научного цитирования (РИНЦ) - это национальная информационно-аналитическая система, аккумулирующая более 4.7 миллиона публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4000 российских журналов. Она предназначена не только для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но является также мощным аналитическим инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т.д. РИНЦ разрабатывается с 2006 года при поддержке Министерства образования и науки Российской Федерации.

14. Надо признать, что объективные причины для беспокойства существуют. Последние 15 – 20 лет российская наука продолжает неуклонно терять позиции, если их измерять в терминах количества и качества научных публикаций, их цитируемости, а также в рейтингах университетов. В обзоре «Анализ научной деятельности организации и роль библиотек» Олег Уткин, Oleg.utkin@thomsonreuters.com, менеджер по работе с ключевыми клиентами, научные исследования компании Thomson Reuters приводит данные о динамике доли российских научных публикаций в мировом потоке научных публикаций за 1994 – 2011 гг, рисунок 2. • Динамика доли российских научных публикаций в мировом потоке научных публикаций за 1994 – 2011 гг (источник - Web of Science SCIE, SSCI, AHCI, CPCI, BKCI, по состоянию на 23.05.2012. Список русских журналов в системе Web of Science, WoSможно найти по адресу http://srd.nsu.ru/website/nich/var/custom/File/wos_rus_journals.pdf)

16. По-видимому, дело не только в недостаточном финансировании науки, или в неготовности российского бизнеса поддерживать прикладные научные исследования. Развитые страны - Япония, США, Германия, Великобритания, Франция, Корея, Австралия - имеют более высокую долю расходов на НИОКР по сравнению с долей валового национального продукта (ВНП), чем могут позволить себе другие страны. Более детальное изучение показывает, что в этих странах значительную часть расходов на НИОКР дает бизнес. Например по данным 2008 года : в Японии - 78,2% расходов на НИОКР дает бизнес; в США – 67,3%; в Германи– 67,6% ; в Великобритании – 45,1%.

17. После проведения экономических реформ в России значительная количество наиболее талантливой, творчески настроенной молодежи уезжает работать за рубеж и доля ученых старшего поколения заметно возросла, что неизбежно влечет за собой усиление традиционных, хорошо освоенных методов научных исследований, нежелание прибегать к новым подходам. Такое впечатление, что чем больше слов про «инновации» произносится на высоком уровне, чем больше средств вкладывается в национальные проекты типа Сколково, тем хуже (по объективным данным объемов научных публикаций, доли российской науки в мировом потоке научных публикаций и уровню цитирования) идут реальные дела. Проект Сколково, задуманный как центр коммерциализации и внедрения научных достижений, пока что не имеет притока научных результатов, попросту говоря, внедрять то пока что нечего и чем конкретно занимаются люди в Сколково– научному сообществу неизвестно, информирование поставлено плохо.

18. Конечно, сказалось и наследие специфически советского отношения к научным публикациям. Я помню, как в то время непременным условием отправки публикации в российский научный журнал было наличие справки (заключения) Экспертного Совета предприятия, ключевая фраза которой звучала примерно так («Работа тов. Иванова не содержит сведений, составляющих предмет государственной тайны, не содержит элементов новизны и может быть опубликована в открытой печати». Предусловие компилятивности, отсутствия новизны в публикациях сыграло свою негативную роль.

19. Присутствие вузов страны в международных рейтингах университетов – таких например как в ARWU (AcademicRankingofWorldUniversities), созданный и поддерживаемый Шанхайскиим университетом или мировой рейтинг университетов THE – (TheTimesHigherEducationWorldUniversityRankings) – система оценок, поддерживаемая компанией ThomsonReuters также во многом зависит от уровня цитируемости и конечно, определенным образом отражает научный авторитет страны. Во всех рейтингах первые места представлены одним и тем же набором двадцатки американских университетов и 4 – 5 английских университетов; далее занимают места все страны мира.

20. В таблице 1 показаны международные рейтинги университетов стран БРИК и МИСТ, содержащий позиции России в 2004 и 2010 гг. В дополнение заметим, что в рейтинге THE за 2012 – 2013 гг Россия делит 201-225 места ( это МГУ, LomonosovMoscowStateUniversity), и 226-250 места это МИФИ, MoscowStateEngineeringPhysicsInstitute; по рейтингу ARWU у нас делит 301-400 места СПГУ(SaintPetersburgStateUniversity), получивший в этом рейтинге 27.8 балла за мнение выпускников университета) и занимающий 2 –е место в национальном рейтинге университетов. Итак положение наших университетов в мире стабильно незавидное.

22. Еслиговорить о фундаментальныхисследованиях, торольАкадемиинаук (АН СССР, затем РАН) неизменнопадаланапротяжениимногихлет. Нарисунке 3 показанадоляпубликацийАкадемииотносительнодолидругихроссийскихнаучныхорганизаций (этотакиеорганизации,какИнститутатомнойэнергииим И.В. Курчатова, Всероссийскийинститутэкспериментальнойфизики в Сарове, и т.п.), и долиуниверситетскихученыхсредипубликаций в журнале Physical Review Letters (рисунок 1). Источникдоклад “Where natural sciences (physics) made in the world and in Russia: 3-decades Dynamics”, Michael Romanovsky, A.M.Prokhorov General Physics Institute, Moscow, Russia, представленныйна Венской конференции.

24. Очень часто можно услышать сетования на то, что серьезным препятствием к широкому узнаванию, пользованию и цитированию российской научной периодикой является разница в языке. Это так, но в тоже время заметим, что во первых, в течение многих лет более сотни наиболее авторитетных российских научных журналов переводится на международный язык общения и английская версия выходит одновременно с русской. Ну и во-вторых, как оказалось язык – не препятствие, ученые неанглоязычных стран успешно продвигаются на международной арене. В доказательство приведу динамику изменений за 1997 – 2010 гг количества журналов, индексируемых и отражаемых в системе JCR (Journal citation reports JCR ), продукция компании Reuters, таблица 2

25. Материал доклада испанских специалистов Эльбы Малеон и Даниэлы де Филиппо «Повышают ли страны БРИК (Бразилия, Россия, Индия, Китай) и страны МИТС ( Мексика, Индонезия, Южная Корея, Турция) свое присутствие на международной сцене? Таблица 2. Количество периодики, регистрируемой в системе JCR (Journal citation reports JCR by Reuters ) в 1997, 2004 и 2910 годах Приведены данные для трех групп стран: группа БРИК (Бразилия, Россия, Индия, Китай), группа МИТС (Мексика, Индонезия, Турция, Южная Корея) и группа развитых стран, входящих в G7. За эти годы наша страна увеличила представительство относительно самой себя в 1,5 раза; Бразилия – почти в 10 раз; Индия в 3 раза; Китай в 7 раз.

27. Качество наших статей оставляет желать лучшего. В докладе на конференции в Вене представителя Центра мониторинга науки бельгийского Католического университета в Лувене г-на Вольфганга Глянцеля«Применение методики группирования научных статей по классам на основе статистики их цитирования. Тематическиеимеждисциплинарныеоценкидляразличныхстран»показано - см. рис 4), что • Доля наиболее цитируемых статей (4-й класс) обозначена зеленым, далее по убыванию цитирования : класс 3 – розовые, класс 4 - голубые; доля наименее цитируемых статей - незакрашенный остаток до 100%. В первой слева колонке приведены средние данные по миру. подавляющая часть статей из России (87% в пятилетнем окне цитирования с 2007 - 2012 гг) - входит в класс 1 - то есть работы очень невысокого качества ( в сравнении с публикациями из других стран).

29. Бельгия, Дания, Голландия и Швейцария выпускают наибольшую долю качественных статей 4-го класса ( и у них наименьшая доля работ класса 1); за ними идут Норвегия, Швеция, Великобритания и США. Россия стабильно занимает наименее благоприятную позицию

30. На основании изучения автобиографий и коротких биографий, в основном опубликованных в интернете , японские ученые ЯсухироЯмащита и ДайсукеИошинага из университета Ямагата в докладе «В какой мере можно проследить интернациональное перемещение ученых на основе опубликованных источников?» представили необычайно интересные, можно сказать увлекательныерезультаты. Они проанализировали две группы ученых (1) те, кто за период с 2004 по 2006 гг.(период выбран с учетом времени запаздывания цитирования) опубликовали высокоцитируемые (по данным WebofScience, состояние на январь 2011 г) работы по тематике компьютерных наук и искусственного интеллекта и (2) те, чьи работы в этот же период не цитировались ни разу.

31. Рисунок 5. Распределение высокоцитируемых публикаций по странам, в которых работают авторы. После названия страны дана доля высокоцитируемых публикаций данной страны в общем объеме таковых

32. Многие работы, опубликованные учеными, работающими в российских НИИ, не учтены в данном исследовании. Российские ученые публикуют свои статьи по изучаемой тематике в “JournalofComputerandSystemsSciencesInternational” - английский перевод российского теоретического журнала.

33. Рисунок 6. Распределение нецитируемых публикаций по странам, в которых работают авторы. После названия страны дана доля нецитируемых публикаций данной страны в общем объеме таковых.

34. Рисунок 7. Распределение высокоцитируемых публикаций по месту проживания и работы авторов. После названия страны дана доля высокоцитируемых публикаций из жителей данной страны в общем объеме таковых.

35. Малоцитируемые (ни одного цитирования) статьи публикуются исследователями из России (13.3%), США (10.4%), Канады (7.1%), Италии (6.9%) и Китая (6.8%) . В России, Италии, Турции и Греции их выпускают отечественные авторы или авторы с неизвестным (не указанным) происхождением. В США и Канаде – «понаехавшие». Россия не издает высокоцитируемых работ, в то же время активно работает с зарубежными издателями и очень мало издает трудов зарубежных ученых. Индия, напротив, поставляет высокоцитируемых ученых в другие страны , а малоцитируемые работы издает у себя. Уже в 1999 году 56% материалов Института Атомной энергии им И.В. Курчатова изначально публиковались на английском языке

36. Рисунок 8. Распределение нецитируемых публикаций по месту проживания и работы авторов. После названия страны дана доля нецитируемых публикаций из жителей данной страны в общем объеме таковых.

37. Исследователи большинства стран – за исключением США –публикуют высокоцитируемые статьи в других странах, а малоцитируемые работы публикуются в основном у себя на родине. Американцы все свои хорошие статьи публикуют в США. При этом высокоцитируемые авторы из других стран (кроме США) стремятся уехать из собственной страны. Два азиатских гиганта научных публикаций – Китай и Индия ведут себя по разному: китайцы публикуют пропорционально хорошие и средние статьи у себя, а индусы –высокоцитируемые публикуют з а рубежом а плохонькие – дома. Исследователь Джонкерс (Jonkers) в 2008 году отмечал, что Китай имеет специальные программы по возвращению уехавших ученых.

38. Для любознательных отметим полученные данные о роли количества соавторов и о стаже работы авторов высокоцитируемых статей. Наиболее продуктивны авторские коллективы в 2- 3 человека. Средний стаж(время работы) авторов высокоцитируемых статей 15,8 лет (15.1 для переехавших, 16.2 лет для домоседов); для малоцитируемых 18.6 ; 18.4 для переехавших, и 18.7 для домоседов. • Таблица 3 Количество статей, опубликованных учеными некоторых азиатских стран по 16 специальностям генетики за период 2002 – 2011 гг, (данные системы PubMed из постерного доклада на венской конференции «Научные тренды в генетике. Наукометрические профили некоторых азиатских стран») группы индийских авторов.

39. Вернемся к российским делам. • На правительственном уровне формулируются очень конкретные и решительные меры в попытке исправить ситуацию

40. Указ Президента РФ от 7 мая 2012 года № 599 «О мерах по реализации государственной политики в области образования и науки» ставится задача «обеспечить достижение следующих показателей в области науки – увеличение к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «сеть науки» (Web of Science) до 2,44%». Столь же решительно попытались решить проблему Законопроектом № 305828-6 «О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации».

41. Великолепный обзор «Публикационная активность, возможности роста научного продукта и традиционный русский вопрос «Что делать,» опубликовал в октябрьском и ноябрьском 2013 года номерах журнала «Университетская книга» П.Г. Арефьев, главный специалист Национального Фонда подготовки кадров. Поставленная задача довести к 2015 году долю российских научных публикаций в мировом потоке до 2,44% - достаточно сложная и амбициозная задача (это попытка вернуться к уровню начала 90-х годов, см слайд № 15) и автор анализирует оптимистические и пессимистические сценарии достижения поставленных целей.

42. Существует неустранимый определенный временной лаг (запаздывание) между датой написания статьи и датой ее опубликования (от нескольких месяцев до года), а также запаздывание между датой публикации и началом цитирования. Как пример приводим рисунок 13, заимствованный из доклада « Do non-source items make a difference In the social sciences?» представленного ПэйШан Чу (Pei-Shan Chi) из Института научной информации и контроля качества в Берлине

43. Рисунок 13. Динамика цитирования научных статей по политическим наукам, обработано 1015 публикаций университета Манхейм и университета Мюнстер, ФРГ за 2003 – 2007 гг.; данные цитирования взяты из Web of Science

44. Для электронных документов пик цитирования наступает через год после подачи в архив, печатные работы цитируются активнее всего через 2 года после публикации. Цитирование электронных документов спадает более быстрыми темпами. Очень интересно для оценок перспектив публикаций в сетевых системах посмотреть соотношение динамики цитирования и динамики выгрузок. На рисунке 14 показана динамика цитирования и выгрузки исходных документов как функция от года публикации для научной дисциплины «Медицина». Это иллюстрации к докладу на конференции в Вене испанских ученых.

45. Сравнительная динамика за 2003 – 2011 гг. цитирования , данные системы Scopus, среднее из 43 900 измерений) и выгрузки, данные системы Science Direct, среднее из 79 400 наблюдений) одних и тех же наименований журналов по медицине. Учтена разница (может быть как положительной, так и отрицательной) между датой публикации статьи и датой размещений ее в сети.

46. Заметим, что в развитых странах акцент делается на количестве получаемых патентов, а не только на количестве опубликованных статей (так называемая модель Альбукерке (Albuquerque’sModel), по имени ее автора Эдуардо де лаМотта э Альбукерке (Eduardo da Motta e Albuquerque) из федерального университета г. Белу Оризонте, Бразилия, который в главе 34 «Справочника количественной науки и технологии» сформулировал эту модель. В несколько упрощенном переводе эта модель звучит так : «развивающиеся страны спешат заявить о том, что они обнаружили, а развитые страны спешат закрепить за собой свои права на обнаруженное, поэтому соотношение патентов к публикациям – это объективный уровень развития страны») .

47. Рисунок 4 Соотношение количества патентов на миллион жителей (вертикальная шкала) к числу статей на миллион жителей (горизонтальная шкала) в двойном логарифмическом масштабе. Черные квадраты – развивающиеся страны , кружки - промышленно развитые страны.

48. Выводы • Нужно учитывать, что существует определенный временной лаг (запаздывание) между датой написания статьи и датой ее опубликования (в печатном виде - от нескольких месяцев до года), а также запаздывание между датой публикации и началом цитирования. • Для электронных документов пик цитирования наступает через год после подачи в архив, печатные работы цитируются активнее всего через 2 года после публикации. Цитирование электронных документов спадает более быстрыми темпами.

49. Библиометрические индикаторы поддерживают результаты реферирование и могут скорректировать их, в том случае если индивидуальные оценки вступают в противоречие с агрегированными данными. • С другой стороны, и библиометрические данные также могут быть подправлены суждениями референтов, в том случае, если формальные алгоритмы почему либо не работают. • Это объединение библиометрических методов с реферированием, так называемое «информированное реферирование» может служить целям обеспечения прозрачности для широкой публики и в то же время сохранять все признаки научного подхода.

50. Общий вывод: измерения на базе цитирования оказываются действенными только при работе с большими массивами. • Исследование изменений в организации университетской науки при ее финансировании на базе библиометрии показало, что основные направления этих изменений состоят в следующем: • наращивание количества в ущерб качеству; • стремление получить сиюминутные, кратковременные преимущества, а не создавать прочный фундамент для долговременного высококачественного продвижения; • стремление выполнить условности, а не поправить суть дела.