Tests et évaluation de l’apprenant en langue – perspectives en liaison avec la FOAD

1. Tests et évaluation de l’apprenant en langue – perspectives en liaison avec la FOAD Jean-Claude Bertin Patrick Gravé UMR 6228 IDEES –CIRTAI (Université du Havre)

2. Place de l’évaluation dans l’ingénierie de formation CONTEXTE DE TRAVAIL CONTENU DE FORMATION SYSTÈME D’ACTIVITES REFERENTIEL DE COMPETENCES REFERENTIEL DE FORMATION REFERENTIEL DE POSITIONNEMENT ENTRE COMPETENCES EXISTANTES COMPETENCES VISEES

3. PHASES ET ETAPES D’ELABORATION DE TESTS Point de départ BESOIN D’UN NOUVEAU TEST PLANIFICATION CONCEPTION Spécifications initiales ELABORATION Expérimentation Analyse Evaluation/ réajustement Evaluation/Révision OPERATIONNALISATION Tests, épreuve, examen CONTROLE Evaluation/ réajustement Un modèle du processus d’élaboration d’un test

4. CRITERES DE VALIDITE D’UN TEST • PERTINENCE : Qu’il mesure effectivement ce qu’il est sensé mesurer • FIDELITE : si on répète l’épreuve dans les mêmes conditions mêmes résultats • EFFICIENCE : Impact positif sur l’apprenant ou le groupe en formation • FAISABILITE : compatibilité entre les exigences de l’évaluation et les ressources disponibles. RECHERCHE D’UN EQUILIBRE ENTRE CES FACTEURS

5. VARIABLES (1) ET CONTRAINTES • Variables contextuelles = ce qu’il faut précisément évaluer : • Les situations de communication réelles dans lesquelles les étudiants auront besoin de la langue • Le niveau de performances attendu dans ces situations • Les évènements propres à ces situations réelles qui doivent se retrouver dans le contexte de l’évaluation • Les informations à donner aux utilisateurs du test avant et après

6. VARIABLES (2) ET CONTRAINTES 2. Variables matérielles = Restrictions que font peser sur l’évaluation : • Le nombre de salles et le personnel disponible • Le nombre de candidats • La durée du test • La disponibilité d’examinateurs qualifiés • Le type d’épreuves qu’il semble utile de proposer • Le moyen choisi pour communiquer les résultats aux candidats • Les procédures de contrôle de qualité adoptées

7. VARIABLES ET CONTRAINTES (3) 3. Contraintes • L’acceptabilité de l’examen pour tous • Adéquation de l’examen au système en vigueur • Le niveau de difficulté requis • Les attentes extérieures / à un examen de ce type • La disponibilité des ressources humaines et/ou technologiques

8. L’évaluation: une question centrale… Comment mesurer chez les étudiants de licence les écarts entre compétences existantes et compétences attendues en langue française dans le contexte de l’enseignement supérieur marocain?  Aspects de contenu, de technique et de procédures d’évaluation en langues

9. Évaluation en langue - points de départ de la réflexion • Remarque préliminaire • buts affichés du module Langues et Communication : • « développer les compétences langagières et communicatives des étudiants en les dotant d’outils nécessaires pour la réception et la production de discours oraux et écrits » (site MENR France, fiche Maroc » • « Répondre à l’hétérogénéité du niveau en français des étudiants accédant à l’université » / « Constitution de groupes homogènes » / « constitution d’outils d’évaluation fiables et non subjectifs en cours de cursus » (mail J.L. Morel du 9/11/07) • « Mettre en place des tests de positionnement en langue dans les différents niveaux du cursus universitaire » (recommandation séminaire de Kénitra octobre 2007)

10. Évaluation en langue : quelques commentaires • Que tester/évaluer en langue ? • compétences linguistiques • compétences communicatives • compétences langagières • Note 1 : des savoirs aux savoir-faire / savoir-être • Note 2 : évaluation globale des compétences

11. Synthèse des questions à poser pour rédiger un test • Quels sont le type et le niveau des besoins de performance langagière à évaluer (= mise en œuvre des compétences) ? • Quels sont les types de tâches qui permettent d’y parvenir ? • Quelles sont les ressources matérielles disponibles (locaux, personnel, technologie…) • Quels problèmes politiques, sociaux et/ou économiques risquent d’influer la production de test ? • Qui devrait définir les spécifications du test, élaborer les échantillons… ? (expertise, influence, autorité…) • Comment seront décrits les détails relatifs au contenu, à la technique et à la procédure de passation ? • Quelle information sur les tests fournir aux usagers, sous quelle forme ? • Descripteurs du CECRL

12. Tests : contenus, techniques et procédures • Rappel hypothèse de départ • Définition des spécifications d’un test • Caractéristiques des contenus • Caractéristiques techniques • Caractéristiques de la procédure

13. Compétences en français dans le contexte marocain - quelques hypothèses • Rappel des objectifs : « développer les compétences langagières et communicatives des étudiants en les dotant d’outils nécessaires pour la réception et la production de discours oraux et écrits » • Quelles compétences ? • Quelques présupposés … • Types de compétence • Niveau de compétence • Quel type de langue cibler ?

14. Transposition des principes vers des dispositifs médiatisés / à distance • Hypothèse de base : évaluation = une des composantes du processus de formation • Nos références • Trois niveaux de médiation • Médiation pédagogique (humaine) • Médiation technologique • Médiation par la distance • Un modèle d’ergonomie didactique • Prise en compte de l’erreur (cas de la médiation technologique) • Théorie de la perception • Théorie de l’apprentissage social • Contrôle par l’apprenant / par la machine

15. Ouverture de la discussion : transposition vers le contexte local • Transférabilité des hypothèses vers le contexte marocain (analyse du public) • Idéologie du CECRL • Trois questions fondamentales : • Type de langue ? • Type de compétences (langaières / (inter)culturelles) • Statut particulier du français au Maroc (Ens. Sup.)

16. Quelques références… • Johnson K. (1979) « Communicative approaches and communicative processes » in Brumfit and Johnson (1979) The Communicative Approach to Language Teaching, OUP. • Canale & Swain (1980) « theoretical bases of communicative approaches to second-language teaching and testing », Applied Linguistics, 1/1, pp. 1-47. • Robinson, G. (1991) « Effective feedback strategies in CALL : learning theory and empirical research » in Dunkel P. (ed.) Computer-Assisted Language Learning and Testing, New York, Newbury House.

17. Médiation pédagogique

18. Médiation technologique

19. Médiation par la distance

20. Modèle d’ergonomie didactique