180 likes | 325 Views
Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo The Cybermetrics Lab CCHS-CSIC. Madrid. VI Jornadas MAVIR Tecnologías de Acceso a la Información: Estado actual y retos Universidad Rey Juan Carlos Móstoles (Madrid), 15-16 de noviembre de 2011.
E N D
Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo The Cybermetrics Lab CCHS-CSIC. Madrid VI Jornadas MAVIRTecnologías de Acceso a la Información: Estado actual y retosUniversidad Rey Juan CarlosMóstoles (Madrid), 15-16 de noviembre de 2011
La descripción y evaluación de la actividad científica y sus resultados, de sus ejecutores (individuos, instituciones, estructuras organizativas), gestores (planificadores, financiadores) y otros actores involucrados en su difusión y explotación (editores, empresarios, políticos, ciudadanos) se ha convertido en una prioridad de las políticas de I+D+I A pesar de las reticencias a asumir la cultura de la evaluación por parte de numerosos sectores aún hoy en día A pesar de las dificultades y los costes que supone describir correctamente los distintos escenarios a diferentes niveles de agregación A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a interpretaciones erróneas o incorrectas que presentan la mayoría de las técnicas empleadas
El Ranking de Shanghai (2003) • Escenarios no globales (antes de 2003) • Estudios sobre la Educación Superior, muy puntuales con tamaños de muestra pequeños o poco representativos • Poca atención a los métodos cuantitativos, exclusión de la bibliometría • Impacto inesperado del Ranking de Universidades de Shanghai • Debido a su publicación en la Web • Uso innovador de un indicador compuesto: Lectura simple, interpretación compleja • Foco en la excelencia (Premios Nobel, científicos muy citados) • Cobertura amplia: Top 500 “World-classuniversities”
Rankings mundiales de universidades • Tras el éxito de Shanghai, explota la oferta • Basados en opiniones: QS, Times HigherEducation • Basados en métricas: Leiden, Scimago, HEEACT, Webometrics • y arrecian las críticas • Rechazo de la “sencillez” • Sesgos, errores e intereses políticos y comerciales • pero los rankings triunfan en las “Agendas” • Elevada correlación de los diferentes rankings entre sí y con las posiciones esperadas de muchas universidades • Se imponen las estrategias y políticas basadas en resultados y criterios de los rankings
Indicadores compuestos • Del “crownindicator” bibliométrico • Una opción avanzada de la tasa citas/publicaciones • Varios modelos: peso por disciplina (Leiden), peso por revista (Karolinska) • Al indicador compuesto del ranking de Shanghai • Suma ponderada de variables • ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%) • i número de indicadores combinados • Utilizado por otros rankings con diferentes modelos • Críticas por la elección arbitraria de variables y pesos
Modelos de pesos IMPACTO RANKING ACTIVIDAD
Ranking Web • Se edita desde 2004 • www.webometrics.info • 20.000 instituciones de educación superior • Dos ediciones al año (enero y julio) • Basado en la presencia web y el análisis de enlaces
Los rankings, aunque no exentos de críticas, han resultado ser muy útiles a nivel institucional. Problemas de viabilidad en la normalización de nombres de autores y dificultades en el diseño de indicadores sintéticos han retrasado la aparición de rankings de científicos a nivel global, pero la Web 2.0 está abriendo una prometedora nueva vía en el logro de dicho objetivo A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que dificulta la generación de productos derivados de alto valor añadido Y gracias a los nuevos proveedores gratuitos de bases de datos de citas: Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones ya ofrecen mayor cobertura y opciones más avanzadas
Propuestas de futuro • Solo se puede evaluar la información pública • A nivel individual, las páginas web personales de profesores e investigadores ofrecen una excelente oportunidad • Se pueden analizar cuantitativamente tanto los contenidos (docentes, resultados y publicaciones científicas, actividades informales) como su impacto • Nuevos indicadores • Indicadores web a través de presencia y posición en motores de búsqueda, medida de impacto mediante análisis de enlaces y menciones, especialmente a través de herramientas Web 2.0 • Indicadores de uso mediante análisis de visitas (Google Analytics)
Resumiendo • No se puede ignorar los resultados ofrecidos por los Rankings • Aunque no todos ellos son igualmente válidos o útiles • Pero hay que diseñar estrategias lícitas que tengan en cuenta sus características • Los nuevos Rankings para individuos ya están aquí • Ofrecen posibilidades de personalización que deben ser conocidas y explotadas • Pero hay que incrementar significativamente la presencia pública de los investigadores, más allá de la mera trasposición del CV científico a la Web
¡Gracias! ¿Preguntas?