Uso y abuso del F actor de I mpacto

1. Uso y abuso del Factor de Impacto Félix de Moya Anegón Grupo SCIMAGO Universidad de Granada ____________ COLCIENCIAS, Bogotá, Diciembre 2005

2. Factores que influyen en el FI • El campo científico y dentro de cada uno el nivel de generalización • La antigüedad del trabajo • La relevancia social del trabajo a través de sus autores y/o revista • El tipo de documento • La ventana de citación • La cobertura de la fuente (WOS-ISI)

3. Revistas arbitradas en el mundo Arbitradas (±29000)* SCOPUS (±14200) ISI-WOS(±8000) (*) Fuente UlrichsWeb

4. Representación del FI

5. Influencias y sesgos en el cálculo del FI • El periodo de observación afecta al resultado • La tasa media de citación evoluciona de manera distinta según la revista (fuente: 1980)

6. Impacto de los diferentes tipos de documentos

7. FI por tipos de documentos

8. Influencia de los campos científicos • Tasa media de citación por campos científicos(fuente: 1996, ventana de citación: 1996-1998) • Ingenierías 1.12 • Matemáticas 1.46 • Química analítica 3.00 • Física de estado sólido 3.06 • Neurociencias 4.54 • Las medidas basadas en citación son – sin nomalización – inapropiadas para el análisis comparado de campos científicos.

9. La única forma posible de compensar las diferencias temáticas es una correcta normalización y la apliacción exacta del mismo período fuente y ventana de citación a todos los documentos objeto de análisis.

10. Los indicadores de citación pueden calcularse usando una referencia estandar basada en las revistas de las materias en las que los trabajos objeto de estudio han sido publicados: • Obstáculo: La asignación de categoría no es única por revista • Relative Citation Rate (RCR): Cites per paper (CPP) / Journal Citation Score (JCS) • Normalised Mean Citation Rate(NMCR): (CPP) Cites per paper / (FCS) Field Citation Score • Factor de Impacto Tipificado: Distancia a la media del FI en la categoría / la desviación estandar de la distribución de impactos de la categoría temática

11. Sobre el papel del FI • El FI de Garfield/ISI se ha convertido en factor crítico de la investigación en bibliometría/ciencia de la información • El FI se usa frecuentemente en diferentes ámbitos y ha adquirido un sólida posición en el mercado de la información científica • Es fácil de calcular y fácil de interpretar, aunque es frecuente que se haga un uso inapropiado del indicador • En origen, sólo representa la media de citas por trabajo en una revista y para un período concreto • Se puede considerar que por encima de cualquier otra cosa mide la visibilidad internacional de los resultados de investigación publicados • Sin embargo, es posible su aplicación con las debidas cautelas para analizar dominios científicos

12. Problemas con el uso del FI • La popularidad del FI radica en su comprensibilidad, aparente reproductibilidad y estabilidad • Esta misma popularidad está en el origen de muchos de sus usos. El FI se usa con frecuencia para sustituir la ausencia de información de citación • Aunque se supone que mide el impacto de las revistas, está afectado por factores que nada se relacionan con la relevancia científica de las mismas • Aunque es una media, el tamaño de las revistas le afecta

13. Problemas con el uso del FI (cont.) • La falta de ponderación de las citas recibidas por una revista es una limitación reiterada por muchos especialistas • Existe un cierto sesgo en favor de las revistas con artículos mas extensos • Como la obsolescencia de las ciencias es variable la ventana de citación de dos años favorece a unas y perjudica a otras • No es adecuada la delimitación de documento citable • Incorrecta identificación de los documentos citados (no normalizados)

14. Visibilidad versus FI • Publicar en una revista con mucho FI asegura visibilidad pero no alta citación necesariamente • En muchos campos científicos es más importante llegar a la audiencia adecuada que tener mucha • El FI no puede medir todos los aspectos que deben ser tenidos en cuenta en los procesos de evaluación de la investigación tanto ex-ante como ex-post

15. El mito del reconocimiento tardío • Un argumento reiterado sobre las limitaciones de los indicadores basados en citación es que trabajos importantes nunca recibieron citas en principio sino muchos después de su aparición. Citas que se realizan una vez cerrada la ventana de citación usada para calcular el FI • Existe evidencia suficiente de que un trabajo que no ha sido citado cinco años después de ser publicado, veinte después tampoco lo es. Incluso en áreas con tasas de obsolescencia muy altas • Sólo 1,3 trabajos de cada 10.000 fueron olvidados al comienzo y reconocidos más tarde

16. Mal uso y abuso de los indicadores bibliométricos • La política científica induce cambios en las pautas de comunicación científica, especialmente los sistemas de incentivos • El uso inadecuado de los indicadores bibliométricos puede generar efectos perversos en el desarrollo de un sistema CyT • El uso de referencias pertenecientes a otros dominios científicos o simplemente inadecuadas provoca actitudes defensivas en los investigadores o deserciones • La coautoría, la autocitación, las listas categorizadas de revistas, la no ponderación de las citas…, en definitiva, la falta de control sobre el proceso de generación de indicadores

17. Proceso de reinterpretación del concepto de citación y de sus consecuencias interpretación citación Bibliometría/Ciencia de la Información Indicador del uso de la información No citado: Información no usada Muy citado: Buena aceptación Autocitado: Parte de la comunicación científica repercusión (posibles cambios en las actitudes de los citantes) reinterpretación Evaluación de la Investigación/ Política científica No citado:Baja calidad Muy citado: Alta calidad Autocitado: Manipulación del impacto Sistema de Incentivos/ Medidas de calidad Tomado de: W. Glänzel and K. Debackere

18. Evaluar siempre mejor • Disponer de indicadores, estudiar sus sesgos y minimizar sus efectos negativos debe ser una constante • Favorecer la competencia por la visibilidad y la reconocimiento a través del sometimiento a la revisión por pares es mejor que su contrario para el sistema de generación de conocimiento • Sin embargo, publicar en revistas con alto FI hace invisibles estos resultados de investigación a quienes no tienen acceso. La visibilidad se alcanza entre quienes pueden pagar la información

19. El ciclo del impacto investigador El acceso abierto a los resultados de investigación maximiza elacceso a la investigación maximiza (y acelera) elimpacto (por tanto también la productividad y el progreso investigador y su reconocimiento) Tomado de: Tim Brody y Stevan Harnad

20. New impact cycles:New research builds on existing research Impact cycle begins: Research is done Researchers write pre-refereeing “Pre-Print” Submitted to Journal 12-18 Months Pre-Print reviewed by Peer Experts – “Peer-Review” Pre-Print revised by article’s Authors Refereed “Post-Print” Accepted, Certified, Published by Journal Researchers can access the Post-Print if their university has a subscription to the Journal

21. Pre-Print is self-archived in University’s Eprint Archive Post-Print is self-archived in University’s Eprint Archive New impact cycles: Self-archived research impact is greater (and faster) because access is maximized (and accelerated) Impact cycle begins: Research is done Researchers write pre-refereeing “Pre-Print” Submitted to Journal 12-18 Months Pre-Print reviewed by Peer Experts – “Peer-Review” Pre-Print revised by article’s Authors Refereed “Post-Print” Accepted, Certified, Published by Journal Researchers can access the Post-Print if their university has a subscription to the Journal New impact cycles: New research builds on existing research

22. Current Journal Tally: 93% of journals have already given their official green light to self archiving FULL-GREEN = Postprint 69% PALE-GREEN = Preprint 24% GRAY = neither yet 7% Publishers to date: 126 Journals processed so far: 8630 http://romeo.eprints.org/stats.php