Comparación entre Rankings de universidades e instituciones de investigación de Iberoamérica

1. Comparación entre Rankings de universidades e instituciones de investigaciónde Iberoamérica Mario Fernández, Isidro F. Aguillo José Luís Ortega, Begoña Granadino CINDOC-CSIC. Madrid. España

2. Agenda • Rankings: Una nueva herramienta • Propuesta bibliométrica del grupo SCImago • Propuesta cibermétrica del InternetLab • Resultados globales • Análisis comparativo • Discusión, conclusiones y recomendaciones

3. 1. Rankings: Una nueva herramienta

4. Rankings: Necesidad • Indicadores bibliométricos son insuficientes para descripción de escenarios multidimensionales • Combinación de indicadores puede ser compleja por la heterogeneidad de los datos • Ordenes de magnitud diferentes entre artículos, citas, patentes, autores, instituciones • Importantes sesgos y asunciones erróneas en las escalas con unidades agregadas • Factor de impacto esperado vs citas reales • Autoría completa vs fraccionada

5. Rankings: Ventajas • Posiciones relativas frente a valores absolutos favorece la precisión frente a la exactitud • Combinación de datos de muy diferentes fuentes y naturaleza • Re-escalado de escenarios globales y locales • Transformación de distribuciones potenciales en lineales • Modelos teóricos y empíricos para probar número de variables y peso relativo de cada una de ellas • Comparación inter- e intra-institucional y evolución • “Facilidad” de interpretación

6. Rankings: Inconvenientes • Excesiva atención a las posiciones relativas • Indicadores elegidos según su disponibilidad • Dificultad de asignar pesos a los distintos indicadores • Posiciones difícilmente discernibles en la cola • Otros artefactos estadísticos

7. 2. Ranking bibliométricos

8. Antecedentes • Producción científica medida mediante indicadores bibliométricos son parte principal de muchos Rankings • Datos extraídos de las bases de datos del ISI • Academic Ranking of World Universities (ARWU) • Producido por la Shanghai Jiao Tong University • Times Higher Education SupplementWorld University Rankings (THES) • Elaborado por QS

11. Ranking SCIMAGO • SCImago es un grupo de investigación inter-universitario • Universidades de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares • El Grupo de Investigación SCImago, junto a Universia, publica dentro de su proyecto Atlas de la Ciencia el Ranking Iberoamericano de Instituciones Investigadoras RI3 • El único criterio es el número de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI (1990-2005)

13. Re-Ranking RI3 • Diez países iberoamericanos • Argentina, Brasil, Chile, Colombia, Cuba, España, México, Perú, Portugal y Venezuela • Universidades, centros de investigación, hospitales, empresas • Re-ranking con datos 2000-2005 • Sólo entradas con producción total mínima de 100 artículos

14. 3. Rankings cibermétricos

15. Antecedentes • Algoritmos de ordenación de resultados de búsquedas en motores • PageRank de Google • Clave del éxito de Google • Número de visitas a sedes Web • Alexa TrafficRank • Visitas interceptadas por el sistema. Sesgos de cobertura • Web Impact Factor • Resultados inconsistentes

16. Casos de éxito (I)

17. Casos de éxito (II)

18. Ranking Web • El Laboratorio de Cibermetría (InternetLab) es un grupo de investigación del CINDOC-CSIC • El Laboratorio publica desde 2004 y con una actualización semestral el Ranking Web de Universidades • El Ranking utiliza una combinación de indicadores cibermétricos obtenidos de los principales motores de búsqueda • Tamaño Web: Número de páginas en el dominio • Visibilidad Web: Enlaces recibidos externos • Ficheros Ricos: Número de documentos en formatos .pdf, .doc, .ps y .ppt • Artículos: Documentos recogidos por el Google Scholar

19. Ranking Web (II) • Unas 11.000 universidades y más de 5.000 centros de investigación de todo el mundo son analizados • +10% son instituciones latinoamericanas • Top 200: Brecha digital académica • México: UNAM (81ª del mundo) • Brasil: Sao Paulo (97ª) y Campiñas (190ª) • España: Universidad Complutense (162ª) • Centros de investigación: CSIC (33ª)

21. 4. Resultados globales

22. Resultados • Top 500 de cada uno de los rankings independientemente • Re-ranking RI3 con datos 2000-2005 • Re-ranking RW (Enero 2007) con 10 países • Solapamiento bajo • 148 (29,6%) de Top RI3 no presentes en RW • 217 (43,4%) de Top RW no presentes en RI3

23. Distribución Top 500

24. Perfil de los países

25. 5. Análisis comparativo

26. Visión desde el ranking RI3

27. Visión desde el Ranking Web

28. Comentarios • Existe una gran correspondencia entre las dos clasificaciones • Centros muy productivos en número de publicaciones tienen una baja presencia en la Web • Especialmente los hospitales • El ranking Web favorece a las Universidades Técnicas y a las “Open Universities” (Tecnológico de Monterrey)

29. Cuestiones estructurales • Ley de los grandes números: Núcleo significativo más amplio en el ranking cibermétrico • Unidades dispares: No hay dominios o subdominios Web institucionales para ciertas organizaciones • Cobertura diacrónica (bibliométrica) vs sincrónica (cibermétrica) • Posibles sesgos: Biomedicina (ISI WoS) vs Tecnología (Web)

30. Cuestiones metodológicas • Sesgos de la bases WoK • Cobertura de la región insuficiente • Cobertura disciplinar (sociales, humanidades, tecnologías) dispar • Errores (>3%) • Problemas de estandarización: Entradas duplicadas • Control de calidad en la colección de datos (semi-) automática • Prácticas Web incorrectas • Dobles (o triples) dominios • Instituciones sin dominio propio • Sesgos de los motores de búsqueda

31. 6. Discusión y conclusiones

32. Conclusiones/recomendaciones • Los Rankings ofrecen información valiosa para el seguimiento del desempeño de las instituciones académicas y de investigación de la región • No hay una alternativa viable hoy en día • Es necesaria una mayor calidad de los mismos, tanto técnica como científica, para evitar sesgos y resultados incorrectos • Los rankings bibliométricos deben depurarse notablemente • Más instituciones deben tener presencia Web independiente • Sin embargo, los resultados obtenidos son muy significativos y las dos propuestas pueden combinarse para obtener escenarios globales • La producción científica debe incrementarse en otras áreas diferentes a la biomedicina • Existe una preocupante brecha digital académica no ligada necesariamente a escasez de recursos económicos y/o tecnológicos

33. ¡Gracias!: ¿Preguntas? Ranking Web http://www.webometrics.info Ranking RI3 http://investigacion.universia.es/isi/isi.html ****