Bases de datos de Excale

1. Bases de datos de Excale Taller sobre el uso de las bases de datos del INEE. EXCALE y PISA Ciudad de México, 24, 25 y 26 de septiembre de 2012

2. Puntos a tratar • ¿A quienes evalúamos? • Los instrumentos de los Excale • El tipo de archivos • Tipos de variables incluidas • Datos perdidos • Ejercicio. Descarga de bases • Relación entre bases • Analizando los datos del Excale

3. ¿A quienes evaluamos? • Poblaciónobjetivo: • Alumnos de todo el país del grado escolar evaluado • Se excluyenalumnos: migrantes y que no puedan resolver laspruebasporalgunadiscapacidad. En preescolar no se evalúan los alumnos de EducaciónIndigena • Además, se recolectainformación de padres, docentes y directores Nivelde desagregación de resultados(dominios de estudio): • Nacional • Porestrato escolar o modalidad • Porestado (entidadfederativa) • Pormodalidad-estado (no se refieren a representatividad) Se seleccionaunamuestra de alumnos y a partir de sus resultados se hace la inferenciahacia la poblaciónobjetivo

4. ¿A quienes evaluamos? Estratosescolares o modalidades:

5. ¿A quienes evaluamos? • ¿Porqué el INEE solamentetrabaja con muestras de alumnos? • Para evaluar al SistemaEducativo no hacefaltaevaluar a cadauno de los alumnos • Las evaluacionesmuestrales son confiables y económicas • En los censosesdifícilcontrolar la fuga de información • En los censosesdifícilhomologarlascondiciones de aplicación de laspruebas Desventajas: • Se requiere de muestreos ‘complejos’ • Se requierentécnicas de análisisespecializadas

6. Instrumentos de los Excale • Pruebasde logro de alumnos • Cuestionariospara ... • alumnos, (todos el mismo) • padres (sólo en preescolar) • Docentes (no siempre) • Directores

7. Pruebas de logro de los alumnos • La mayoría… • Pruebas matriciales. Cada alumno solamente resuelve un subconjunto de la prueba. • Preguntas de opción múltiple. De 4 opciones • Excepciones: • Expresión escrita: no matricial, se definen criterios de calificación (rúbricas) • Preguntas de crédito parcial

8. E Pruebas de logro de los alumnos Ejemplo de diseñomatricial: Excale-03 2010, Español

9. Cuestionarios … variablesSe pretende entender un poco más… • Docentes • Perfil personal • Perfil profesional • Condiciones laborales Salón de clases • Prácticas de instrucción • Tiempo de instrucción • Motivación • Interacción alumno-docente • Clima • Disciplina • Tamaño del grupo • Alumno y su familia • Capital económico • Capital cultural • Clima familiar • Antecedentes escolares • Tareas • Motivación • Lengua indígena • Labores domésticas • Trabajo remunerado • Etc...

10. Cuestionarios … variables • Escuela • Organización • Clima • Relaciones entre docentes • Función directiva • Trabajo colegiado • Participación de los padres • Etc. ,etc.

11. ¿Qué información se tiene? • Alumnos(Bases de datos) • Respuestascalificadas de preguntas de logro • Puntajes de logro ‘escalados’ (200-800). ‘Valoresplausibles’ (reduce sesgos) • Respuestas al cuestionario de aspectos de ‘contexto’ • Sexo, edad, … • Docentes(Bases de datos) • Respuestas a cuestionario de ‘contexto’ • Directores(Bases de datos) • Respuestas a cuestionario de ‘contexto’ • CuestionariosPDF • Resultados de logro (XLS) NUEVO. Excale-06 2009 y Excale-03 2010 • Porcentajes de respuesta de cuestionarios(XLS) NUEVO. Excale-06 2009 y Excale-03 2010 • Toda la informaciónproviene de muestras • Las bases de datos son anónimas, no permitenidentificar a individuos o escuelasqueparticiparon LEY FEDERAL DE TRANSPARENCIA Y ACCESO A LA INFORMACIÓN PÚBLICA GUBERNAMENTAL

12. El tipo de archivos de bases • Formato: • .Txt (excepto ciclo escolar 2004-2005 SPSS) • Se incluye sintaxis para construir las bases de datos en dos formatos: • .SAV (SPSS) • .SAS7BDAT (SAS) • A la sintaxis solamente se le tiene que hacer un pequeño ajuste para indicar la ‘ruta’ en donde se encuentran los archivos y en donde se quiere grabar la base ya construida. • La sintaxis incluye: • La ubicación de las variables en el archivo txt • El formato de las variables: cadena, numérico, etc • La definición de los valores ‘perdidos’ • Las etiquetas de las variables y los valores que toman las variables en el cuestionario Los resultados entán en Excel y los cuestionarios en PDF • Todas y cada una de las variables incluidas están etiquetadas

13. Tipos de variables incluidas • De identificación • Respuestas a preguntas de logro • Respuestas a preguntas del cuestionario • De puntajes escalados • Del diseño muestral • De ponderación • Utilitarias

14. Tipos de variables incluidas • De identificación • Alumno. Del 1 hasta ... (aleatorio) • Docente. Del 1 hasta ... (aleatorio) • Escuela. Del 1 hasta ... (aleatorio) • id_ent. Código de la entidad federativa (1-32) • nom_ent. Nombre de la entidad (Ags-Zac) • id_mod. Código de la modalidad • Mod. Modalidad (Primaria o Preescolar) • UP. Escuelas urbanas públicas (Pob mayor o igual a 2500 Hab) • RP. Escuelas rurales públicas • EI. Educación Indígena • CC. Cursos comunitarios • UPV. Privadas

15. Tipos de variables incluidas • De identificación • Mod. Modalidad (Secunaria) • GRAL. Secundaria General • TEC. Secundaria Técnica • TV. Telesecundaria • PRIV. Privada • Turno_es. Turno de la escuela (1 Mat, 2 Vesp, 3 Disc, 5 mixto)

16. Tipos de variables incluidas • Respuestas a preguntas de logro • Ya calificadas en 0 y 1 (Dicotómicas) ó 0, 1 y 2 (Crédito parcial) • En las pruebas matriciales, el nombre de la variable indica la ubicación dentro del diseño • Ejemplo: PMA01 indica... • P, es de primaria. (S sec y E prees) • M, de matemáticas. (E esp, C FCE, N de CN) • A01, es el reactivo 1 del bloque A

17. Tipos de variables incluidas • Respuestas a preguntas del cuestionario • El nombre de la variable indica el... • encuestado (A alumno, P profesor, D director y T padre o tutor) • nivel (preescolar E, promaria P, secundaria S) Ejemplo: AP001 indica que es una pregunta para el alumno del cuestionario de primaria. • Además se incluye: sexo, edad en ac, edad normativa

18. Tipos de variables incluidas • De puntajesescalados Valoresplausibles.- son cinco variables queconforman la escala de logro. Estaescalapordefinicióntiene media 500 y desviaciónestándar 100, dentro de un rangoaprox. de 200 a 800 (primeraevaluación) PV1Esp, ... PV5Esp; PV1Mat,..., PV5Mat;.... Para algunoscasos de Expresiónescrita se hanutilizadolos ‘valoresplausibles’. Nivelesde logro. Los niveles de logro son cuatro: pordebajo del básico, básico, medio y avanzado. A cada ‘valor plausible’ se le asocia con una variable ‘nivel de logro’ quetoma los valores 1 , 2, 3 ó 4 dependiendo del valor del valor plausible en particular. EspNVL1,..., EspNVL5; MatNVL1,... MatNVL5

19. Tipos de variables incluidas • Del diseñomuestral • ENTEST. Estratomuestreal. Forma en que se subdividió la muestraparaaumentarsueficiencia. En general para los Excale se considera la entidad con la modalidadeducativa. • ENTESTDOM. Indicasi la subdivisión del estratomuestralfuediseñadaparadarresultados hasta esadivisión. Los casos en donde no, se marcancomo 99999.

20. Tipos de variables incluidas • De ponderación • w_alu.- Ponderador de los alumnos, y se calculaporcadaasignatura y unopara la bases de contexto. Siempreque se quiereanalizar el logro se toma el ponderador de la asignatura, aúncontrastando con variables de contexto. Se construyeconsiderandolas dos etapas de muestreo, por lo que no esnecesarioconsiderar el ponderador de escuelas. • w_esc.- Ponderador de lasescuelas y los directores. • w_doc.- Ponderador de docentes. • w_fstr1 – w_fstr80.- son los ponderadores de replicación BRR, los cuales son 80. Se utilizanparaestimar el error estándarutilizando el método Balanced Repeated Replication. A partir del Excale-03 2010 ya se empezó a utilizar 100 (para el cuestionario de alumnos)

21. Datos perdidos • 5 .- no alcanzó a responder ese reactivo (muy raro) • 6 .- hubo un error en la impresión y se considera como no administrado o es ilegible (escritura) • 7 .- ese reactivo no se administró • 8, 98 .- respuesta múltiple • 9, 99 .- respuesta omitida

22. Portal web del INEE

23. Ejercicio. Descarga de bases (5 min) • Descargarlasarchivos de datos del Excale-03. Ciclo escolar 2009-2010 • Cuestionario de alumnos, docentes, directores (PDF) • Excale-03 Alumnos. Español, Mat, CN y FCE • Excale-03 Alumnos, Cuestionario • Excale-03 Docentes y Directores, Cuestionario • Excale-03 Cuestionarios PDF • Excale-03 Resultados XLS

24. Ejercicio. Descarga de bases

25. Ejercicio. Descarga de basesBase de alumnosLogro CN, Excale-03 2010

26. Ejercicio. Descarga de basesBase de AlumnosExcale-03 2010

27. Ejercicio. Descarga de basesBase de AlumnosExcale-03 2010

28. Ejercicio. Descarga de basesCuestionario PDF de AlumnosExcale-03 2010

29. Ejercicio. Descarga de basesBase de Docentes, Excale-03 2010

30. Ejercicio. Descarga de basesCuestionario PDF Docentes, Excale-03 2010

31. Ejercicio. Descarga de basesResultadoslogro

32. Ejercicio. Descarga de basesResultadoslogro

33. Ejercicio. Descarga de basesPorcentajederespuesta de cuestionarios

34. La comparabilidad de resultadosExcale-09, 2005-2012 2005 2008 2012 A B C Items comunes Items comunes Pob. común Pob. común A B Cambio curricular

35. Relación entre bases • Las bases contienen las 'ligas' para poder unirlas entre sí. Cuestionario de Docentes Español Cuestionario del alumno o padre docente alumno Mate FCE Cuestionario de Directores escuela CN

36. Analizando los datos del Excale • Sobre el analisis e interpretación en general • ¿Qué se puede o debe decir? • ¿Qué NO se puede o NO se debe decir?

37. Analizando los datos del Excale • Esencialmente el Excale es un estudio que recoge información sobre lo que los estudiantes saben del currículo, además... • recolecta información sobre las características de las escuelas, sobre sus directores y sobre sus alumnos, sus opiniones y, en general, el contexto en que se desarrolla la acción educativa. • Los datos recolectados por los Excale tienen un invaluable poder descriptivo • Se pueden hacer afirmaciones sobre la asociación del logro con diversas variables entre sí o entre ellas, no de causalidad

38. Analizando los datos del Excale • Los EXCALE no son experimentos • No se controla la asignación de los alumnos, docentes o directores a 'grupos' de tratamiento • Los eventos ya han pasado y solamente se registra lo que ha pasado • No podemos establecer causalidad o efectos directos (a lo más se llega a la 'causalidad estadística')

39. Analizando los datos del Excale • Podríamos preguntar... • Existe relación (estadística) entre el logro de los alumnos y la motivación que el profesor les da? • No debemos preguntar... • ¿La motivación que los profesores hacen con sus alumnos efecta (incrementa) el logro de los alumnos?

40. Analizando los datos del Excale • Podemos responder... • Aquellos alumnos que reportan que sus profesores los motivan a aprender tienden a obtener mejores resultados de logro que aquellos que reportan que sus maestros no los motivan • No debemos responder... • Mayor logro es un efecto de la motivación que los profesores les dan a sus alumnos • Los alumnos aprenden más si sus profesores los motivan

41. Analizando los datos del Excale ¿Qué puede decirse de estos datos al nivel descriptivo? Se pueden dar resultados a nivel nacional y modalidad educativa o estrato educativo, en algunos casos también es posible realizar estimaciones (revisar el informe) a nivel entidad federativa y por modalidad al interior de las entidades federativas.

42. Analizando los datos del Excale • ¡Cuidado con la interpretación de resultados considerando las variables del Cuestionario! • Ejemplo: ¿Cuentas con el programa 'Oportunidades'? Si : Promedio de 400, No: Promedio de 550 • Error de interpretación: 'El programa Oportunidades afecta negativamente al logro de los alumnos'

43. Analizando los datos del Excale • ¡Siempre se deben de considerar los errores estándar! • ¡Cuidado! Entre mayor la desagregación mayor será el error estándar

44. Gracias ¿Preguntas?