LA EVALUACI Ó N DE LOS APRENDIZAJES EN LA UNIVERSIDAD:

1. LA EVALUACIÓN DE LOS APRENDIZAJES EN LA UNIVERSIDAD: UNA MIRADA DESDE LAS REPRESENTACIONES SOCIALES DE LOS DOCENTES Prof. Dra. Sandra Del Vecchio UNIVERSIDAD NACIONAL DE CUYO Mendoza, Argentina

2. Proyecto de investigación: “La evaluación de los aprendizajes en la Facultad de Ciencias Económicas. Un estudio descriptivo sobre la posibilidad de evaluar competencias”, Secretaría de Ciencia, Técnica y Posgrado de la Universidad Nacional de Cuyo, Mendoza, Argentina Dir: Lic. Mg. Claudia Guzner (dir); Prof. Dra. Sandra Del Vecchio (co-dir); Lic. Néstor Avalle; Prof. Cecilia Polenta.

3. ¿POR QUÉ?Evaluación didáctica En el sistema educativo en general y en el nivel universitario, actividad instituida aunque no explicitada suficientemente por sus actores. Experiencia personal Práctica por lo menos conflictiva. Comprender su delicada composición, así como su naturaleza controversial, implica detenerse no sólo en sus aspectos instrumentales, sino también analizar estructuras institucionales y subjetivas altamente complejas. (Foucault, 1977; Popkewicz, 1988; Caporossi, 2004; Contreras, 2004; Celman, Camillioni, Litwin, Palou de Maté, 2005; Morejón, 2005; Álvarez Mendez, 2001; Mainer Baquié, 2002)

4. ¿POR QUÉ?Teoría de las RRSS

5. ¿POR QUÉ?Universidad 1-No aparece un tratamiento sobre la evaluación que considere a las RS como sistema de explicación, al menos considerado desde la óptica del docente. ¿POR QUÉ? Estudio intrínseco de caso 2-Históricamente, actividad reglamentaria, que cumple con la función de certificar, más que con una función de comprensión y cualificación del aprendizaje. No hay trabajo alguno que relacione ambas variables (en soporte informático: Bases EBSCO y Scielo, y sitios Web destinados a publicar Tesis doctorales tanto en español como en otras lenguas: www.tdx.cesca.es; www.cybertesis.net).

6. ¿QUÉ? Tema-problema Las representaciones sociales sobre la evaluación didáctica en la universidad ¿Qué papel juegan las representaciones sociales de los docentes sobre la evaluación, en las prácticas evaluativas de la unidad académica en estudio? ¿PARA QUÉ?Propósito Determinar la relación entre la evaluación didáctica y las representaciones sociales de los docentes, en la unidad académica en estudio.

7. ¿CÓMO?Metodología Estudio de caso con abordaje multimétodo (Estudio intrínseco de caso, Stake, 1998) Investigación: aplicada, descriptiva, cuali-cuantitativa, microsocial. Diseño: ecológico, sincrónico. Triangulación: Recolección y análisis en el doble plano de las estrategias cuali cuantitativas Dimensiones: Información-Campo-Actitud Hipótesis general: En una Facultad de la UNCuyo, las RS sobre la evaluación que poseen los docentes condicionarían la naturaleza de las prácticas evaluativas, pero estos no serían concientes de ello dado el carácter implícito y naturalizado de las primeras.

8. 2° 1° ¿CÓMO?Metodología Lógica deductiva Lógica inductiva Primer estudio de campo: Estrategias cuantitativas (Información) • Objetivo: Estimar el impacto de las RS de los docentes sobre la toma de decisiones en cuanto a elección de: objetos de evaluación; formas de evaluación, nivel de calificación, propósitos de la evaluación. • Subhipótesis: En la Unidad académica en estudio, las RS sobre la evaluación que poseen los docentes estarían asociadas al paradigma técnico. • Población: 113 • Muestra: 30 • Instrumentos: Cuestionario 1 y Cuestionario 2 • Plan de análisis: Descriptivo e inferencial Segundo estudio de campo: Estrategias cualitativas (Campo-Actitud) • Supuesto: En la Unidad académica en estudio, las RS sobre la evaluación que poseen los docentes, condicionarían la naturaleza de las prácticas evaluativas, pero estos no serían concientes de ello dado el carácter implícito y naturalizado de las primeras. • Objetivo: Indagar las concepciones implícitas que operan como RS sobre la evaluación, en los docentes titulares y asociados de una Unidad Académica de la UNCuyo • Instrumentos Entrevista en profundidad; observación documental • Plan de análisis: Análisis discursivo del corpus de entrevistas y sus metáforas

9. Evaluación didáctica en clave de TRS * Los paradigmas están profundamente embebidos en la socialización de los docentes: nos dicen qué es lo importante, legítimo y razonable; son normativos, prescriben “qué hacer sin necesidad de largas consideraciones existenciales o epistemológicas”.

10. Teoría de las representaciones sociales

11. RS: Una confluencia poco común Pluralidad • -Concepto de mente • Descartes • -Corrimiento del eje • del individuo a la • sociedad -Falta de acuerdos -Constructo de difícil abordaje Familiaridad

12. RS SOCIOLOGÍA ETNOMETODOLOGÍA ANTROPOLOGÍA PSICOLOGÍA 1-DESARROLLO CLÁSICO 2-DESARROLLO MODERNO 3-DESARROLLO ACTUAL PS DEL SENTIDO COMÚN Haider Brunner PSICOANÁLISIS Y PS. GENÉTICA Freud Piaget Evolución histórica y conceptual de las RS 1-De las representaciones colectivas al análisis de las estructuras mentales: Durkheim, Mauss, Halbwachs, Lévi-Strauss, Lévy Bruhl 2-Desarrollo moderno: Giro hacia las dimensiones simbólicas de la acción social. Goody, Chartier, Bourdieu, Berger y Luckman 3-Desarrollo actual: Procesos representacionales en la comprensión de procesos y dinámicas de cambio social. Gruzinski, Elias

13. RS en la visión de Moscovici y Jodelet Europa, América Central, lateral Ideología, creencia, percepción, estereotipo, actitud, opinión, imagen, teoría implícita Dispersión de la información Focalización Presión a la infe- rencia Objetivación, anclaje Información, campo, actitud

14. Definiciones sobre RS Jodelet (1984): “(…) designa una forma de conocimiento específica, el saber del sentido común, cuyos contenidos manifiestan la operación de procesos generativos y funcionales socialmente marcados. En sentido más amplio designa una forma de pensamiento social.Las representaciones sociales son modalidades de pensamiento práctico, orientadas hacia la comunicación, la comprensión y el dominio del entorno social, material e ideal. En cuanto tales, presentan caracteres específicos en los planos de organización de contenidos, así como de las operaciones mentales y de la lógica”. Moscovici (1961): "Un sistema de valores, de nociones y de prácticas relativas a objetos, aspectos o dimensiones del medio social que permite, no solamente la estabilización del marco de vida de individuos y grupos, sino que constituye también un instrumento de orientación de la percepción de situaciones y de la elaboración de respuestas”.

15. Tres líneas teóricas... • -COMPLEJIDAD: Moscovici, Jodelet • -ESTRUCTURA. TEORÍA N. CENTRAL: Abric • -PROCESO. CONDICIONES DE PRODUCCIÓN DE LAS RRSS: Doise • EUROPA(Moscovici, 1961, 1979, 1986, 1988, 1998; Jodelet, 1986; Herlzlich, 1973; Farr, 1986; Doise, 1986; Abric, 1994; Elejabarrieta, 2001; Marková, 2003) • AMÉRICA(Pereyra de Sá, 1993, y Spink, 1994, en Brasil; Banchs, 2000, en Venezuela; Sapiains Arrué, 2001, en Chile; Mora, 2002, y Rodríguez, 2003, en México; Kaplan, 1997, y Castorina, 2003, en Argentina)

16. AMBIGÜEDAD TEÓRICA DETERMINISMO COGNITIVO CIRCULARIDAD DEFINICIÓN DE LO SOCIAL Críticas a la TRS

17. Evaluación didáctica

18. ELEMENTOS DE LA EVALUACIÓN ASPECTOS HISTÓRICOS PARADIGMAS Y MODELOS PROCESO Y RESULTADO DE UNA CULTURA LA INSTITUCIÓN COMO ESCENARIO RS SOBRE LA EVALUACIÓN Evaluación didáctica Actores, instrumentos, reglamentación, criterios Origen remoto: China Origen próximo: Revolución Industrial Técnico, hermenéutico, crítico Racionalista, naturalista Curriculum Cultura institucional Forma y contenido La metáfora del escenario Lo instituyente y lo instituido

19. Definiciones sobre evaluación 1. Las definiciones que se centran en el logro de objetivos, en la evaluación del rendimiento de los alumnos y en la preocupación por los resultados. -Tyler ( 1950) -Lafourcade ( 1972) -Gronlund ( 1973) 2. Las definiciones relativas a la evaluación como emisión de juicios de valor o determinación de méritos. -Scriven (1967) -Popham (1980) -Alvira (1991) 3. Las definiciones que consideran la evaluación como un proceso de recogida de información parta la toma de decisiones. -Stufflebeam (1987) -Cronbach (1963) 4. Definiciones que intentar aglutinar aspectos anteriores. -Cabrera (1987) -Casanova (1995)

20. Posturas críticas sobre evaluación • Álvarez Méndez (2001) • “Tantas funciones y un único instrumento real y con poder mágico,  decisorio y  • definitivo valor añadido, para abarcarlas a todas. ..” • Durkheim (1938) • “Estamos tan acostumbrados a ellos (los exámenes) que creemos que esta • organización cae de su peso, que la idea debió presentarse naturalmente en la mente de los hombres…” • Mainer Baqué (2002) • “El espesor del silencio tejido en torno al examen es directamente proporcional al grado de naturalización con que éste se presenta ante la sociedad… • Foucault (1978) • “(…)panoptismo que, en mi opinión, es uno de los rasgos característicos de nuestra sociedad: una forma que se ejerce sobre los individuos a la manera de vigilancia individual y continua, como control de castigo y recompensa y como corrección, es decir, como método de formación y transformación de los individuos en función de ciertas normas.”

21. Resultados

22. Estrategias cuantitativas Lógica deductiva 1-Protocolo del Cuestionario 1 1.1-Análisis de fiabilidad 1.2-Análisis de la potencialidad discriminativa de los ítemes 1.3-Análisis de la homogeneidad de los ítemes 2-Población y muestra: criterios y prueba de bondad de ajuste 3-Análisis descriptivo 3.1-Análisis del cuestionario 1 (Paradigmas de evaluación) 3.2-Análisis del cuestionario 2 (Formas de Evaluación) 4-Análisis inferencial

23. Protocolo del cuestionario 1: Paradigmas de evaluación 1-¿Con qué grupo de verbos asociaría Ud. la actividad evaluadora en la Universidad? 2-¿Con qué grupo de adjetivos asociaría Ud. la actividad evaluadora en la Universidad? 3-¿Con qué sustantivos asociaría Ud. la actividad evaluadora en la Universidad? 4-¿Con qué definición/ descripción, asociaría Ud. la actividad evaluadora en la Universidad?

24. ANÁLISIS DE FIABILIDAD El cuestionario analizado (cuestionario 1), ¿mide el paradigma en que se encuadran los docentes de la unidad académica en estudio? Descripción de los resultados: Media=6,25; D.S.=2,53; Casos:30 Alfa de Cronbach: 0,7723; Alfa estandarizado: 0,7978. Correlación inter-ítem promedio: 0,4965 Valores que superan el mínimo considerado aceptable en las ciencias sociales, lo cual indicaría que el instrumento tiene consistencia interna. • ANÁLISIS DE LA POTENCIALIDAD DISCRIMINATIVA DE LOS ÍTEMES Alcanzan valores en la Prueba t de Studentestadísticamente significativos (p<0,01): existe una diferencia muy significativa en los puntajes medios, no debida al azar, entre el 27% superior y el 27% inferior en los indicadores que evalúa el cuestionario.

25. ANÁLISIS DE LA HOMOGENEIDAD DE LOS ÍTEMES • Coeficiente de correlación biserial puntual entre el puntaje total en el instrumento y cada reactivo (Backhoff, Larrazolo y Rosas, 2000) Indica relaciones estadísticas significativas con la puntuación total en los cuatro ítemes.

26. 2-Población y muestra: criterios y prueba de bondad de ajuste Población en estudio: profesores titulares y asociados de una Facultad de la UNCuyo, con un tamaño total de 113. A partir de los intervalos que propone Bonferroni se calculó el tamaño de muestra con la precisión deseada = de 30, con una confiabilidad del 95%, a juicio del investigador. Prueba de la bondad de ajuste K-S/ Verificación de los supuestos de normalidad Resultados: a La distribución de contraste es la Normal. b Se ha calculado a partir de los datos. c-La muestra arrojó normalidad en el instrumento: Cuestionario 1.

27. Cuestionario 1: análisis descriptivo

28. Tendencia a insertarse en el paradigma técnico

29. Protocolo del cuestionario 2: Formas de Evaluación FUENTE: Adaptado de González (2001)

30. Cuestionario 2: análisis descriptivo

31. Cuestionario 2: análisis descriptivo

32. Análisis inferencial . -Hipótesis nula: (En el cuestionario 1, no hay diferencia significativa entre la proporción de respuestas a favor del paradigma técnico y las respuestas a favor del paradigma hermeneútico) -Hipótesis de investigación: (La proporción de respuestas a favor del paradigma técnico es mayor al de las respuestas a favor del paradigma hermeneútico) La región de rechazo, a un nivel es Se rechaza la si el valor de la estadística de la prueba es tal que por lo que, de acuerdo con la regla de decisión, se rechaza la hipótesis nula a un nivel de significación del 0,025.

33. Estrategias cualitativas 1-Identificación de categorías analíticas 1.1-Objetividad 1.2-Elección de instrumentos/ modalidad de evaluación 1.3-Concepción sobre la evaluación 1.4- Problemas sustantivos en la evaluación 1.5- Normativa institucional sobre evaluación 1.6-Número de alumnos 1.7- Teoría vs. Práctica 2-La construcción psicológica y social de las RS sobre evaluación en la unidad académica en estudio 3-La formación de las RS en la unidad académica en estudio 4-Construcción de núcleos figurativos en la unidad académica en estudio 4.1-La evaluación como proceso; un control objetivo de transmisión 4.2-La evaluación como resultado; un producto mensurable Lógica inductiva Recordemos que, a la manera de la Teoría fundamentada (Glaser y Strauss, 1967), “(…) la recolección de los datos, el análisis y la teoría emergente están íntimamente relacionados entre sí” (Strauss y Corbin, 1998:12). Entonces, puesto que la teoría emerge de la información relevada, es proclive a ofrecer insight, promover la comprensión y proveer una guía significativa para la acción (ibidem).

34. Protocolo de entrevista • 1-¿Cómo evalúa Ud.? o ¿Cómo se evalúa en su cátedra? • 2-¿Qué es la evaluación de los aprendizajes para Ud.? • 3-¿Qué problemas encuentra en la evaluación, tal como se efectúa ahora en la Facultad? • 4-¿Cómo cree que debería ser la evaluación? • 5-¿Qué haría si fuera, por ejemplo, Director de carrera en relación con la evaluación? • 6-Preguntas de seguimiento: ¿Cree que los demás piensan igual que Ud.? ¿Quiénes? ¿Quiénes no? (Procedimiento muestral de “bola de nieve”)

35. Estrategia de análisis 1° -conceptos emergentes -categorías:Objetividad; Elección de instrumentos/ modalidad de evaluación; Concepción sobre la evaluación; Problemas sustantivos en la evaluación; Normativa institucional sobre evaluación; Número de alumnos y Teoría vs. Práctica. -análisis de las manifestaciones lingüísticas, metáforasy RRSS sobre la evaluación. -sujetoy objeto de las RRSS -núcleos figurativos 2° 3° 4° (Strauss y Corbin, 1998) 5°

36. Análisis metáforas capacidad para condensar en una imagen el núcleo figurativo de las RS CAMPO ANÁLISIS DE METÁFORAS CONCEPCIÓN METÁFORA Ramírez Cruz (2006): Ofrece un particular punto de vista sobre la dialéctica cognición-lenguaje ya que es una realidad cotidiana que, manifestándose a través del lenguaje, se relaciona directamente con la experiencia. Tesis Lakoff y Johnson: La mayor parte del sistema conceptual humano es de naturaleza metafórica. Esto incluye algo más que un cierto descubrimiento en la esfera de la lingüística. Lenguaje EXPERIENCIALISMO Cuenca y Hilferty, 1999 Experiencia Pensamiento Rodríguez Zalazar (2007): Modo de hallar jerarquías en los contenidos de una RS o un sistema de representación o, quizás, de distinguir elementos centrales y periféricos (teoría del Núcleo Central con una perspectiva cualitativa). Cómo estas estructuras imaginativas influyen o alteran un sistema conceptual y qué deducciones justifican, además de estudiar las condiciones socioculturales concretas que facilitan y/o dificultan su reproducción.

37. ¿Con qué resultados? Metáforas • La EVALUACIÓN es CONTROL DE LA TRANSMISIÓN “…Después de eso, se transmite un caso para que lo resuelvan …y se usan controles de lectura verbos como detectar, asimilar, transmitir, captar, comprobar, largar, medir, ha podido, se le han quedado, han captado, para describir y/o explicar la propia concepción sobre evaluación. • La EVALUACIÓN es una CONTIENDA … Tuve que cambiar el sistema. No quiero revoluciones… • La EVALUACIÓN es un PRODUCTO (FÍSICO Y MENSURABLE) “…Verificar los conocimientos. Como largar un producto. • La EVALUACIÓN es CONTROL DE CONDUCTAS INDESEADAS …Podrían estimular el guitarreo... … Tomo oral porque en el escrito, el alumno viene a pelear la nota y, a veces, tiene razón. • Los ALUMNOS son su RENDIMIENTO ACADÉMICO … en general son muy inteligentes, aunque hay casos crónicos… … pero este año he verificado lo que decía una colega: tienen inmadurez afectiva… • EVALUAR es LIDIAR CON CAUSAS EXÓGENAS escasa aptitud para el diálogo y la expresión oral… los chicos no interpretan las consignas. Vienen muy mal preparados de las materias previas a la mía. .. Mala base • EVALUAR es un HECHO ESOTÉRICO Prenden velas para que se presenten muchos y sea escrito. • EVALUAR es SOSLAYAR LA REGLA “El problema es que el paraguas protector no tiene ideas claras… Yo no evalúo. Charlo. • El NÚMERO DE ALUMNOS es un ENEMIGO “Ud. no va a preparar un caso para veinte alumnos”…la sobreabundancia de alumnos desalienta el trabajo… • TEORÍA y PRÁCTICA son PARTES DE UN TODO FÍSICO “Si los alumnos son pocos […] hacemos uso de la teoría” El caso práctico se lo metés cuando ya saben la teoría… LAKOFF y JOHNSON (1980)

38. ¿Con qué resultados?Estilo • Especie de formalismo, estereotipos lingüísticos, reiteración, redundancia, uso de esquemas comunes: “objetividad” • Argumentación, la conclusión prima sobre el resto del razonamiento: “casos crónicos” • Causalidad por co–ocurrencia, presión a la inferencia: “exigencia-porcentaje de desaprobados” • Razonamiento por analogía, economía de medios: “Verificar los conocimientos, como largar un producto” • Reconversión de los discursos científicos, uso y significados corrientes: “preguntas objetivas-respuestas cerradas”(Páez, 1987)

39. Núcleos figurativos 1º núcleo figurativo:evaluación como proceso; un control objetivo de transmisión. Proceso instituyente y validante: por medio del control (excluyente de este núcleo figurativo), los actores se legitiman mutuamente en sus funciones, para responder a la acreditación y certificación de saberes que la sociedad demanda. 2º núcleo figurativo:evaluación como resultado; un producto mensurable. Sin abandonar el tono marcadamente disfórico (Greimas y Courtés, 1990) de malestar, desagrado o incomodidad -signo de la predisposición a actuar (actitud)-, los docentes ponen el acento en la evaluación como resultado del proceso, es decir, como espacio instituido y validado.

40. Representaciones sociales sobre la evaluación didáctica Posicionamiento-Decisiones evaluativas INFORMACIÓN CAMPO ACTITUD

41. Conclusiones Evaluación, práctica conflictiva: Dos enfoques. Dos estrategias de abordaje en el marco de un estudio de caso. Aplicación del concepto de RS a evaluación, permite integrar el análisis de lo validante y lo validado y de lo instituyente e instituido. Construcción de las RS sobre la evaluación didáctica como actividad cognitiva, significante, discursiva y social; su formación, de acuerdo con sus componentes de objetivación y anclaje y la construcción de dos núcleos figurativos. Momento cuantitativo (operacionalización de variables desde esas dimensiones): los docentes se encuentran posicionados, a nivel de información, en el paradigma técnico sobre evaluación y seleccionan los instrumentos que ese enfoque consagra: pruebas, canal escrito, grado de cierre semi-estructurado.

42. Conclusiones • Desarrollo cualitativo: significación de la evaluación; campo y actitud, en dos núcleos figurativos: la evaluación como proceso, un control objetivo, y la evaluación como resultado, un producto mensurable. • Rasgo del estilo: razonamiento por analogía y con economía de medios, Ej.“Verificar los conocimientos. Como largar un producto”; generalizar de una categoría de lenguaje antiguo a uno nuevo. • RS impone un significado corriente a términos y conceptos científicos, Ej. Objetividad (paradigma técnico) es naturalizada en un uso referido a las circunstancias concretas de aplicación de un examen: tiempo de corrección, número de alumnos, entre otras. • Posibilidad de cierta autonomía de las RS (Domínguez Rubio): puede desarrollarse, no a partir de elementos heterónomos como un cambio estructural o un determinado grupo social que fije su transformación, sino por posibilidades discursivas que abran una imagen o metáfora.

43. Conclusiones • RS como procesos metafóricos y discursivos: actualización/creación de sentido(s) en dinámicas discursivas; sacarla de ese espacio oculto que es la mente para considerarla dentro de procesos prácticos de generación de sentido. • Conceptualización dialógica (Bajtin): RS -como la palabra- no está en varios sujetos sino entre ellos; desligarla del hieratismo estructural del grupo social como generador de RS y del individuo como poseedor de variaciones de las diversas RS. • Importantes dificultades metodológicas para la determinación de RS sobre cualquier objeto, principalmente por la necesidad de englobar sus dimensiones en un solo corpus: Ni la actitud, ni la información ni el campo de representación, por separado, aclaran por sí solos el concepto de RS.

44. Conclusiones DERIVACIONES DE LA PERSPECTIVA REPRESENTACIONAL PARA EVALUACIÓN DIDÁCTICA 1. Cómo se construyen las RS sobre los problemas evaluativos en distintos colectivos y contextos sociales, puede contribuir a mejorar los procesos educativos. Ir más allá de investigar los errores en las ideas “científicas” del docente, de “capacitar” en evaluación didáctica desde el supuesto de su falta de actualización. Integrar y potenciar las perspectivas sociológica y psico-social en la explicación. 2. Análisis comparado de las RS sobre la evaluación entre los distintos colectivos de la trama educativa: Estudios de las RS sobre la evaluación centran la mirada en la de los alumnos, ignorando la de los docentes.

45. Conclusiones 3. Introducir el debate (intercambio, contraste y negociación de significados) sobre evaluación didáctica en el Nivel Superior, desde la “creencia” de que no es un asunto exclusivamente científico y de que las soluciones deberán surgir también de nuevas pautas comportamentales, sociales, culturales, éticas, etc.; crear situaciones educativas en las que el sujeto-observador o contenedor de información, pase a ser sujeto-intérprete y sujeto-actor social. 4. Revisar las representaciones sobre los problemas evaluativos (información, conocimientos, interpretaciones, teorías implícitas, creencias, disposiciones para la acción, etc.) para poder clarificar y orientar las prácticas; tomar conciencia de que los destinatarios del trabajo docente tienen ya sus propias ideas de cómo es el mundo y de cómo actuar en él.

46. Muchas gracias por su atención