III Congreso Internacional de Español : La didáctica del español como L1 y L2

1. III CongresoInternacional de Español: La didáctica del españolcomo L1 y L2 14 y 15 de noviembre 2013 USAL

2. Conferencia: Evaluación y Certificación Impacto de la evaluación : el examen CELU Experiencia y perspectivas de desarrollo Alejandra Elichabe Laboratorio de IdiomasFacultad de FFyL UBA ConsorcioInteruniversitario ELSE

3. Evaluación: Definición y alcance del concepto: Bachman (2004) “proceso de recolección de información acerca de algo que nos interesa, de acuerdo con procedimientos que son sistemáticos y tienen fundamentos sólidos” Mc Namara (2008) “intento de llegar a una conclusión acerca del conocimiento que tiene una persona sobre una lengua o de lo que puede hacer con ella.”

4. Certificación • Evaluación externa que trata de establecer el nivel de dominio lingüístico de un candidato por medio de una prueba. • Interés por los resultados con independencia del proceso de enseñanza-aprendizaje

5. Impacto de la evaluación • Fulcher (2010) “Los exámenes de lengua son un fenómeno social complejo” Contextos: la educación, el empleo, la movilidad internacional, la planificación educativa , la política económica.

6. Impacto de la evaluación Controversias/ efectos perjudiciales: ¿filtro para la inmigración? ¿cupo para empleos o becas? ¿igualdad de oportunidades o acento de diferencias? ¿integración a una comunidad o aislamiento?

7. Debate /conflicto entre teoría y práctica de la evaluación • El impacto de laevaluación (intencional o no intencional) está incluído enla validez? • A favor: losexámenescuyo propósito incluyelaintención de producircambiosenel contexto de enseñanzaaprendizajedeben ser evaluadosenrelaciónalcumplimiento de esos objetivos. • En contra: lasconsecuenciassocialespresuponenconsideraciones políticas que estánfueradelcontrol de los administradores y elaboradores.

8. Responsabilidad en el desarrollo de instrumentos de evaluación • Administradores y Evaluadores: • principios éticos • códigos de práctica profesional para diseñar exámenes: especificaciones, piloteo el examen, validación la prueba, operacionalización del instrumento de evaluación • Consequentialvalidity(Messick, 1989,1996)impacto de la evaluación en contextos educativos • (Fulcher and Davidson, 2007) effect-driven testing. “La ética en el desarrollo de instrumentos de evaluación incluye las consideraciones acerca del efecto que el test intenta alcanzar y , en consecuencia, el desarrollo de un examen que permita alcanzar el efecto deseado.” • Shohamy:(2001) desarrolla el concepto de la evaluación crítica de lenguas extranjeras (CLT) Los administradoresdebenhacerseresponsables de que los exámenesseanusados en forma adecuada.

9. Efectoretroactivo de la evaluación en la clase • 1.Cumplimiento de los programas • 2. Motivación de los estudiantes y profesores. • 3. Nuevas metodologías de enseñanza /aprendizaje. • 1. Ajuste de programas en función del examen “enseñar para aprobar” • 2. Angustia y ansiedad de profesores y estudiantes. • 3. Escasas posibilidades de enseñanza/ aprendizaje de saberes significativos. IMPACTO POSITIVO IMPACTO NEGATIVO

10. Impacto de la evaluación en laspolíticaseducativas • Tests de alta relevancia : “high-stakes“ producen cambios en el contexto educativo y social . Nuevos objetivos y metodologías de enseñanza aprendizaje. Nuevos materiales y programas Tests de alta relevancia : “high-stakes“ • Mayor control del sistema educativo • “Accountability” saciones o recompensas para escuelas y profesores IMPACTO POSITIVO IMPACTO NEGATIVO

11. El Celu como motor • Propósitos del proyecto en 2001 1 Certificación de dominio de español 2 Expansión académica del área de ELSE. 3 Integración y cooperación académica regional

12. El Celu como motor • Examen de desempeño: un buenexamentienemayoresposibilidades de producirefectoretroactivopositivo: • Redireccionandolasprácticas de enseñanza/aprendizaje. • Redefiniendoobjetivos, contenidos o habilidades y competencias • Mecanismo potente para laimplementación de políticas públicas y educativas. • Sin embargo...

13. Visiónrealista y no determinista Messick (1989)Alderson (2004) Necesidad de “wash back design” para mejorar los aspectos que pueden producir efectos perjudiciales.

14. Investigación: validez y confiabilidad • Krsul (2005) Para una validación concurrente del examen CELU • Compara los resultados de 38 candidatos que rindieron el examen CELU 2004 con su desempeño en cursos de niveles del Laboratorio de la UBA y en exámenes de dominio de CEB/ CEI/ CEA. El estudio evidencia una fuerte correlación en el resultado. • Cabrera (2005) investiga la coherencia interna del examen CELU 2004. El objetivo fue verificar el grado de correlación de las calificaciones que reciben cada una de las partes del CELU entre sí y con las demás, incluida la calificación final. Se midió la asociación entre el nivel de cada actividad, su puntaje y el nivel final. • Conclusiones: existe una coherencia muy importante de la Sección Escrita del CELU y una razonable dependencia del nivel final respecto de cada una de las actividades. Los resultados evidencian una importante correlación entre los puntajes. También se correlacionaron los niveles finales del oral, del escrito con la calificación final resultando una fuerte asociación entre los dos niveles parciales (0.63) una alta correspondencia entre el nivel Oral y el nivel final (0.73) y una correlación casi perfecta entre el nivel escrito y el nivel final (0.94)

15. Investigación: validez y confiabilidad • Krsul (2007) La validez de imagen del examen CELU. Investigación sobre la validez aparente del CELU 206, 207, a partir de las encuestas a candidatos. Los resultados revelan que, en general, los candidatos expresan un grado de satisfacción significativo al responder a las preguntas relativas a la dificultad del examen, el tiempo asignado para la realización de las tareas y la especificidad de las consignas. • Lanzoni,María Laura y López Camelo, Claudia;Exámenes de desempeño en L2: incidencia de las divergencias en la corrección. Adjudican las divergencia intra evaluadores a dificultades en la interpretación de la grilla, ya que, a veces se justifica la asignación de niveles diferentes utilizando los mismos argumentos, tomados de los descriptores. • Furlan, 2013 Estudio sobre confiabilidad inter e intra correctores. Análisis del porcentaje de coincidencias que tuvo cada evaluador al asignar nivel por segunda vez, así como en el estudio de las posibles causas de las discrepancias. El estudio revela una alta confiabilidad inter evaluador y concluye que la mayoría de las discrepancias están dadas entre niveles que son próximos, lo que puede atribuirse a una redacción poco precisa de los descriptores y a interpretación de los mismos por parte de los evaluadores. La investigación muestra también una oscilación en la fiabilidad interna de los evaluadores que puede adjudicarse a la interpretación de los descriptotes.

16. Investigación: validez y confiabilidad • Furlan, 2013 Análisis de la validez aparente del examen CELU a partir del análisis de 504 encuestas respondidas por los candidatos de los exámenes CELU 111, CELU 211 Y CELU 112 • El estudio realizado revela que la consideración de los candidatos sobre los tres exámenes con respecto a dificultad, tiempo, claridad de las consignas y relación de las actividades con la vida real es, en general, muy positiva, con porcentajes que superan el 60 por ciento. Se observa especialmente un elevado porcentaje en el ítem relativo a la claridad de las consignas, superior al 80 por ciento, lo que indica un trabajo riguroso del comité de redacción del examen.

17. Visiónrealista y no determinista • Otrasfuerzassociales y políticasparapotencializarefectospositivos: • Políticaslingüísticasquerespondan a la demanda de hablantes. • Basadas en la reciprocidad y cooperación regional. • Estrategias de implementación a través de lasuniversidadesnacionalesquepuedantransformarlasdemandas en respuestas • Formación de profesores

18. Objetivos del Consorcio 2004 • incorporar nuevas Universidades y otras instituciones adherentes al proyecto de difusión, enseñanza, investigación, evaluación y certificación del español; • crear el área de la especialidad con investigadores y docentes universitarios, y asegurar su capacitación y actualización continua; • promover el desarrollo de la lingüística en su relación con la enseñanza y evaluación de la lengua; • estimular la investigación y el desarrollo de la enseñanza y evaluación del español como lengua segunda y extranjera; • diseñar y crear cursos de español como lengua segunda y extranjera y facilitar la publicación de materiales para ELSE.

19. Evolución • DeConsorcio Interuniversitario para la Evaluación de Conocimiento y Uso del Español como Lengua Extranjera a Consorcio ELSE frente a ELE, • enfatiza el acento puesto en la segunda lengua. • Considera, además de un destinatario “extranjero” (no definido y homogéneo en sus necesidades de aprendizaje),un destinatario alóglota y cercano (hablantes indígenas, migrantes, turistas, refugiados, brasileños) para quien se diseña una enseñanza de segunda lengua (Widdowson 1973) • a)En la que los aspectos pragmáticos se encuentran anclados en presentaciones y explicaciones culturales, nacionales y regionales, que evitan el estereotipo. • b) Contempla las diferentes distancias lingüísticas del hablante descripto en el punto anterior. • c) Se basa en el uso lingüístico más que en la descripción y práctica de reglas. (PICT: ESTÁNDARES PARA LA ENSEÑANZA DE ELSE 2007) • ,

20. Acerca del Consorcio Interuniversitario La denominación actual del Consorcio es: CONSORCIO INTERUNIVERSITARIO PARA LA ENSEÑANZA, EVALUACIÓN Y CERTIFICACIÓN DEL ESPAÑOL COMO LENGUA SEGUNDA y EXTRANJERA (ELSE) y tiene entre sus propósitos: promover la investigación, enseñanza, aprendizaje, evaluación, certificación, post-formación de docentes y especialistas, el diseño y publicación de materiales y otras actividades relacionadas con el Español como Lengua Segunda y Extranjera.

21. Integrantes del Consorcio Interuniversitario Universidad de BUENOS AIRES Universidad Nacional de CATAMARCA Universidad Nacional del CENTRO Universidad Nacional del COMAHUE Universidad Nacional de CÓRDOBA Universidad Nacional de CUYO Universidad Nacional de ENTRE RÍOS Universidad Nacional de GENERAL SAN MARTÍN Universidad Nacional de GENERAL SARMIENTO Universidad Nacional de JUJUY Universidad Nacional de LA MATANZA Universidad Nacional de LA PAMPA Universidad Nacional de la PATAGONIA AUSTRAL Universidad Nacional de la PATAGONIA SAN JUAN BOSCO Universidad Nacional de LA PLATA Universidad Nacional de LA RIOJA Universidad Nacional de LANÚS Universidad Nacional del LITORAL Universidad Nacional de LOMAS DE ZAMORA Universidad Nacional de MAR DEL PLATA Universidad Nacional de MISIONES Universidad Nacional de MORENO Universidad Nacional del NORDESTE Universidad Nacional del NOROESTE de BS. AS. Universidad Nacional de QUILMES Universidad Nacional de RÍO CUARTO Universidad Nacional de RÍO NEGRO Universidad Nacional de SALTA Universidad Nacional de SAN JUAN Universidad Nacional de SAN LUIS Universidad Nacional del SUR Universidad Nacional de TRES DE FEBRERO Universidad Nacional de TUCUMÁN Universidad Nacional de VILLA MARÍA

22. Cumplimiento de objetivos Regionalización Seis Prosecretarías, con Universidades agrupadas según criterios regionales y/o grado de desarrollo en ELSE o antigüedad en el Consorcio. • Capacitación/formación continua para profesores de ELSE. • Capacitación/formación continua para redactores y evaluadores CELU. • Cursos de español para extranjeros. • Investigación. • Incorporación de nuevas sedes para la toma del CELU. • Desarrollo de sitio web con recursos para el aula de ELSE. • Diseño de un certificado de español inicial.

23. 5. Investigación: estadísticas CELU

24. Investigación: jornadas CELPE - CELU 2006 1era Jornada CELPE Bras – CELU en UNICamp Objetivo: Discutir los sistemas de evaluación Celpe-Bras y CELU y experiencias de enseñanza de portugués y español como lenguas segundas y extranjeras (PELSE) con el propósito de establecer prioridades conjuntas, en especial los avances sobre temas debatidos en esas oportunidades Uso de los exámenes como parámetros de referencia para delimitar objetivos de enseñanza; Relación de los exámenes con acciones de políticas lingüísticas más amplias, inclusive las que se desarrollan en contextos multilingües Relación de los exámenes con la enseñanza y la investigación del portugués y del español como lenguas maternas. Efectos retroactivos de los exámenes

25. Investigación: jornadas CELPE - CELU • Proyecto 2013-2014 • 10 y 11 de octubre de 2013 reunión entre representantes del Consorcio Iteruniversitario ELSE, el INEP (Instituto Nacional de Estudos e Pesquisas Educacionais) del Ministerio de Educación del Brasil, responsables de los exàmenes CELU y Celpe-Bras en el Instituto de Estudios del Lenguaje de la Universidad Estadual de Campinas (UNICAMP)).Objetivos: • fortalecer el vínculo académico • promover investigaciones y reflexiones en torno a temas de interés común • presentar las características de ambos exámenes y sus sistemas de corrección • Intercambiar experiencias sobre la gestión de sedes, la capacitación y acreditación de evaluadores • Comparar los exámenes y analizar sus niveles • Generar un marco de referencia común de niveles de dominio para ser utilizado en América del Sur, estableciendo descripciones y definiciones precisas sobre los niveles de competencia requeridos que sirvan de base para la región en un contexto de creciente movilidad e internacionalización.

26. La construcción de un marco regional español-portugués. Partir de diagnósticos y de objetivos claros. Cuestiones básicas: •  1. ¿A quién estaría dirigido un marco regional? Al trabajo en el aula, a la industria editorial, a las universidades, al sistema educativo general de cada país, al sistema educativo del Mercosur? • ¿Cuáles serían los objetivos políticos y las bases ideológicas de un marco regional? • ¿Cuál sería su utilidad como modelo de aplicación práctica? ¿Sería un modelo para guiar el trabajo hacia un cierto resultado (i.e. un modelo de acción o de construcción), un modelo de estimación (un documento que permita estimar qué es lo que va a pasar en la enseñanza de lenguas y en las propiedades del español y del portugués ante determinadas situaciones posibles) o no sería un modelo en absoluto sino un "reglamento de uso o de enseñanza del español y del portugués" ? • ¿Quiénes serían los productores y los ejecutores del marco? ¿A quién representa? ¿Qué ideología transmite? • ¿Quiénes lo pondrían en funcionamiento? ¿Cómo podríamos medir su éxito o su fracaso? (Menegotto 2013)

27. ¡Muchas gracias! aelichabe@filo.uba.ar