270 likes | 514 Views
‘X Congreso de Metodología de las Ciencias Sociales y de la Salud’. Universidad de Barcelona. Elaboración de un Test Adaptativo Informatizado. Un estudio de caso. Fco.P. Holgado-Tello, S. Chacón-Moscoso, M.I. Barbero-Garcia, J.A. Perez-Gil; J.A. Ruiz-Rivas; M. Sánchez-Martín y J.R. Campos-Vega.
E N D
‘X Congreso de Metodología de las Ciencias Sociales y de la Salud’. Universidad de Barcelona. Elaboración de un Test Adaptativo Informatizado. Un estudio de caso. Fco.P. Holgado-Tello, S. Chacón-Moscoso, M.I. Barbero-Garcia, J.A. Perez-Gil; J.A. Ruiz-Rivas; M. Sánchez-Martín y J.R. Campos-Vega
CONTEXTOCentro de Formación del PAS de la USE Elabora acciones formativas (AAFF) que ayudan a la formación y perfeccionamiento de los miembros del P.A.S. de la Universidad de Sevilla • Evaluación actual: • Satisfacción • Aprendizaje/adquisición conocimientos • Estudio piloto de Transferencia Objetivo general de este trabajo: describir estado de la evaluación del conocimiento mediante TAIs.
OBJETIVO de la construcción de un TAI en FORPAS • Delimitar criterios para acreditar el nivel de conocimiento que presentan los usuarios de un programa de formación. Influirá en: • Asignación inicial de los usuarios a los distintos grupos de la AAFF que se conformen. (comparabilidad intergrupos). • Acreditación inicial de conocimientos o niveles de aptitud (bajo, medio y avanzado). • Valoración final que se haga del nivel de adquisición.
OBJETIVO de la construcción de un TAI en FORPAS • Principales ventajas: • Elección de los reactivos más apropiados en función de los parámetros conocidos de los ítems. • Estimaciones precisas del nivel de aptitud de los examinados (incluso con menor número de ítems que en formato tradicional). • Escasa intrusividad (realización desde puesto de trabajo). • Alta validez ecológica (potencia la precisión en la medida).
OBJETIVOS DEL ESTUDIO • Estado actual de ‘Lindogatito’(plataforma para la gestión y administración de test adaptativos vía web). • Limitaciones y vías de desarrollo futuro
SITUACIÓN ACTUAL DE LA EVALUACIÓN DE ADQUISICIÓN DE CONOCIMIENTO Dependiendo de características de la muestra y tipo de datos se realiza la prueba pertinente Estadístico de contraste PRETEST IMPLEMENTACIÓN A.F. POSTEST Análisis calidad métrica de la prueba
LIMITACIONES de la evaluación actual de adquisición de conocimientos • Progresiva disminución de AAFF que cumplimentan el cuestionario pre-post (23 en 2000; 13 en 2001; 14 en 2002; 37 en 2003; 28 en 2004 y 17 en 2005) . • Razón del incremento en 2003: seminario para formadores. • Imposibilidad de retroalimentación evaluadores-formadores (falta de tiempo entre ‘pre-post’). • Realización manual de los análisis e informes.
Módulo TEST ADAPTATIVO INFORMATIZADO 3 RECALIBRACIÓN AUTOMÁTICA 1 Módulo ENTRADA Y REVISIÓN DE ÍTEMS 2 Módulo TEST CLÁSICO BANCO DE ÍTEMS USUARIO CALIBRACIÓN A PARTIR DE TESTCLÁSICOS Módulo CONSULTA RESULTADOS TEST AVANZADO ESQUEMA DELPROCESO
‘Lindogatito’(plataforma para la gestión y administración de test adaptativos vía web) • Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba. • Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.
Estado actual en el uso como sistema experto • Instalado y configurado el servidor Linux que soporta la aplicación web. • Diseño e implementación de la base de datos SQL que soporta el banco de ítems y los TAIs. • Introducción de 375 ítems sobre ofimática. • Implementación del módulo de calibración por expertos. • Implementación del módulo de introducción y edición de ítems (migrado a Linux). • Diseño del programa PHP que permite administrar los TAIs.
‘Lindogatito’(plataforma para la gestión y administración de test adaptativos vía web) • Estado actual en el uso como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba. • Avances en módulo para el análisis bajo la TCT de los ítems utilizados en las distintas acciones formativas.
Módulo para el análisis bajo la TCT. Características. • Permite realizar una valoración inmediata vía web de la calidad métrica de los test utilizados en las distintas AAFF. • Opcionalmente esta información se puede almacenar directamente. • Funciona como sistema experto para generar informes que sirvan de orientación al diseñador de la prueba. • Disponible libremente vía web para cualquier usuario (http://lindogatito.us.es)
Avances en módulo para el análisis bajo la TCT • Análisis de los ítems bajo TCT: No Items No Rs. expertos Análisis bajo TCT Agrupación ítems en función de parámetros de TCT (ítems con condiciones mínimas de calidad) Simulaciones desde TRI Calibración desde TRI
CONTINUACIÓN DEL TRABAJO • Realización de los análisis bajo la TCT en items disponibles • Depuración de los ítems existentes • Ajuste y Calibración ítems desde TRI • Simulaciones • Incremento del nº ítems: base para realización de TAIs • Depuración de ‘Lindogatito’