Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke

1. L’évaluation des compétences en stage,conception et expérimentation d’échelles à énoncés descriptifs en éducation à l’enfance Julie Lyne Leroux Cégep de St-Hyacinthe Étudiante au doctorat Université de Sherbrooke Colloque de l'ACFAS Mai 2004

2. Colloque de l'ACFAS Mai 2004

3. Le profil de sortie de l’éducatrice professionnelle • Contexte de travail coopératif • Développement global de l’enfant • de 0-12 ans autonomie respect confiance Non-discrimination coopération • En concertation avec les parents, l’équipe de travail et les communautés; • En contribuant à l’organisation pédagogique et administrative du service de garde Colloque de l'ACFAS Mai 2004

4. L’intervention:observer l’enfant pour intervenir Travail en équipe et créativité Techniques d’éducation à l’enfance (322.AO)liste des compétences 4 axes • Le programme éducatif: la planification, l’animation et l’évaluation • Les routines: santé, sécurité, alimentation Colloque de l'ACFAS Mai 2004

5. Stage d’implication (1-5-1) 90 heures 1e année (2e trimestre) Les stages • Stage d’animation (1-11-1) 180 heures • 2e année (4e trimestre) • Stage d’intervention (1-15-1) 240 heures • 3e année (5e trimestre) Colloque de l'ACFAS Mai 2004

6. Passage d’un paradigme traditionnel centré sur l’enseignement vers un paradigme centré sur l’apprentissage.Huba et Freed (2000) Paradigme d’évaluation Colloque de l'ACFAS Mai 2004

7. Quels sont les changements sur les pratiques évaluatives ? Colloque de l'ACFAS Mai 2004

8. Perspective traditionnelle L’élève répond à des questions à réponse brève ou à choix multiples Les questions ou les problèmes ont un caractère artificiel , abstrait ou scolaire Les conditions s’observation sont absolument identiques et uniformes pour tous les individus.Il y a peu de communication entre l’enseignant et l’élève. En matière de rendement, on considère une seule dimension à la fois, et plus particulièrement la dimension cognitive. Perspective nouvelle Les tâches ou les problèmes exigent que l’élève construise une réponse élaborée Les problèmes sont réalistes c’est-à-dire liés è ceux de la vie courante L’élève évalué peut formuler des commentaires et l’enseignant peut poser des sous-questions. L’observation est contextualisée, c’est-à dire qu’elle repose sur des situations permettant d’observer l’individu sous plusieurs aspects. Comparaison des pratiques d’évaluation. Scallon (2004) Colloque de l'ACFAS Mai 2004

9. Perspective traditionnelle L’interprétation se fonde habituellement sur la comparaison entre les élèves. Ce qui doit être réussi par l’élève n’est pas décrit de façon précise. La mesure est privilégiée dans la perspective traditionnelle (tests, examens objectifs) L’observation porte sur le produit L’évaluation et l’apprentissage ont lieu à des moments distincts. L’élève n’évalue pas ses productions Perspective nouvelle L’individu est de plus en plus souvent évalué au regard de standards de performance, c’est-à-dire d’ exigences qui ne sont pas liés au rang qu’il occupe dans un groupe. La mesure demeure mais doit débouché sur un jugement explicite. On s’intéresse à ce que l’élève sait faire et comment il le fait. L’évaluation est intégrée à l’apprentissage L’évaluation de tous les jours se démarque de l’évaluation certificative. L’élève peut,à divers degrés, participer à l’évaluation de ses apprentissages. Comparaison des pratiques d’évaluation. Scallon (2004) Colloque de l'ACFAS Mai 2004

10. Comment adapter nos pratiques évaluatives dans une approche par compétences ? Colloque de l'ACFAS Mai 2004

11. qui s’appuie sur le jugement expert qui propose des tâches complexes et des problèmes réalistes de la vie courante qui conçoit des échelles descriptives pour observer en contexte réel. qui fait participer l’élèveà l’évaluation des apprentissages.(autoévaluation, autocorrection) qui propose un algorithme décisionnel précisant le niveau de performance et les seuils de réussite pour chaque critère. Mise en place d’une pratique évaluative Colloque de l'ACFAS Mai 2004

12. Première étape: Les objets d’évaluation et le choix des tâches complexes Processus de conception Deuxième étape: La conception des échelles descriptives Troisième étape: L’algorithme de décision Quatrième étape: L’expérimentation et la validation Colloque de l'ACFAS Mai 2004

13. Première étape:Les objets d’évaluation et le choix des tâches complexes • Le profil de sortie • L’identification des compétences • Le regroupement des compétences • L’identification de ou des tâches complexes • La sélection des objets d’évaluation et conception d’un schéma intégrateur Colloque de l'ACFAS Mai 2004

14. Schéma intégrateur Colloque de l'ACFAS Mai 2004

15. Le critère Seuils de performance IncompétenceCompétence Une échelle des descriptions qualitatives des éléments de la compétence (les objets d’évaluation) à l’aide des critères de performance. Les seuils de performance sont précisés d’un niveau supérieur vers un niveau inférieur (ex. : compétence supérieure vers la compétence insuffisante). Notes explicatives[1] Compétence insuffisante Compétence minimale Compétence moyenne Compétence supérieure Deuxième étape :La conception des échelles descriptivesTableau 5.1 La grille à échelle descriptive à quatre niveaux (Leroux, 1999) [1]Les notes explicatives sont des précisions quant aux termes utilisés, aux références (modèles, structure, processus, grille de vérification) inférées afin d’alléger le texte et de situer les utilisateurs de l’échelle. Colloque de l'ACFAS Mai 2004

16. Deuxième étape :La conception des échelles descriptives Questions à se poser : 1- Quels critères sont à considérer ou quels éléments essentiels doivent être présents dans les travaux, les productions ou les tâches exécutées par des étudiants, garants d’une production de grande qualité ? 2- Combien de niveaux de compétence ou de réussite choisissons-nous de présenter aux étudiants ? 3- Est-ce qu’il y a un contexte ou un délai de réalisation spécifique à l’exécution de la tâche ? 4- Pour chaque critère ou élément qualitatif, quelle description claire énonce-t-on des performances propres à chaque niveau de compétence ? Colloque de l'ACFAS Mai 2004

17. Deuxième étape :La conception des échelles descriptives Questions à se poser- suite 5- Quels concepts ou termes-clés devrons-nous préciser? 6- Dansle contexte d’une évaluation sommative ou certificative, quel type ou modèle de notation allons-nous utiliser pour produire un résultat ? 7- Lorsque j’utilise une échelle à énoncés descriptifs, quels aspects fonctionnent bien et lesquels doivent être améliorés ? Colloque de l'ACFAS Mai 2004

18. Échelle à énoncés descriptifs4 niveaux Colloque de l'ACFAS Mai 2004

19. Notes explicatives Colloque de l'ACFAS Mai 2004

20. Échelle à énoncés descriptifs2 niveaux- dichotomique Colloque de l'ACFAS Mai 2004

21. Notes explicatives Colloque de l'ACFAS Mai 2004

22. Grille d’autoobservation des activités de routine et des soins d’hygièneRoutine 2: changement de couche Colloque de l'ACFAS Mai 2004

23. Grille d’autoobservation des activités de routine et des soins d’hygièneRoutine 2: changement de couche Colloque de l'ACFAS Mai 2004

24. Grille d’autoanalyse de mes interventions sur-le-champ Colloque de l'ACFAS Mai 2004

25. Troisième étape :l’algorithme de décision • Qu’est-ce qu’un algorithme de décision ? L’algorithme de décision est un processus. Selon Legendre (1993), il s ’agit d’une « procédure structurée en un nombre fini d’opérations » ayant pour but de définir le niveau d’atteinte des compétences exigé de l’étudiant. • Pourquoi un algorithme de décision ? Parce que la mesure de la maîtrise d’une compétence s’accorde mal avec les pratiques actuelles de comptabilisation des notes qui ont cours au collégial. L’ensemble des opérations constituant ce processus, plutôt que l’addition de résultats, nous permet de construire l’algorithme décisionnel qui précise les seuils de réussite à atteindre pour chacun des critères que comporte l’instrument d’évaluation. Colloque de l'ACFAS Mai 2004

26. Trois étapes dans la construction d’un algorithme de décision Colloque de l'ACFAS Mai 2004

27. Procédures d’établissement de standards pour l’évaluation des performances: le jugement du profil dominantLeroux, J.L.(2001) adapté de Jaeger, Hambleton et Plake (1997) Colloque de l'ACFAS Mai 2004

28. Profil de réussite minimal-Moyen- 70%Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

29. Feuille de notationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

30. Profil du niveau de réussite minimal-moyen notation 70%Cahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

31. Sommaire des résultats sommatifs au stage d’implicationCahier des résultats sommatifs de la stagiaire. Leroux, J.L.(2001) Colloque de l'ACFAS Mai 2004

32. Quatrième partie :l’expérimentation et la validation Validité interne : Validité de construit Validité de contenu Fidélité: Consistance interne Colloque de l'ACFAS Mai 2004

33. Validité de contenu** La validité interne Validité de construit* * réfère aux qualités de la structure de l’instrument **réfère au respect des critères à mesurer Colloque de l'ACFAS Mai 2004

34. La validité interne • Connaissance théorique de l’évaluation en situation authentique • Méthodologie s’appuyant sur des écrits • Processus structuré et schématisé • Rétroaction fréquente et critique sur le processus de conception de l’instrument • Consignes précises et écrites • Vérification de la compréhension à chacune des étapes • Encadrement par tutorat Validité de construit* Colloque de l'ACFAS Mai 2004

35. La validité interne • Conception des compétences par des groupes d’experts • Analyse rigoureuse des objets d’évaluation • Identification de la tâche • Conception et présentation d’un schéma intégrateur en lien avec la tâche • Partage d’expertise entre les experts (coenseignement) • Critères en lien avec les compétences ciblées • Rétroaction fréquente et critique de tous les enseignants impliqués quant au choix des critères retenus Validité de contenu Colloque de l'ACFAS Mai 2004

36. La fidélité • Réfère à la tendance de différents items à évoquer la même réponse, d’un répondant à l’autre, lors de la même administration de l’instrument (Martella, Nelson, Marchand-Martella,1999). • C’est la constance de l’interprétation(de deux personnes) face aux items de la mesure (Louis,1999). Consistance Interne Colloque de l'ACFAS Mai 2004

37. Consistance Interne • Rencontres de clarification des énoncés entre les enseignantes avant, pendant et après l’utilisation des nouveaux instruments. • Présentation aux étudiants, en début de session, de la signification des énoncés descriptifs. • Rétroaction fréquente et critique de tous les enseignants impliqués dans l’utilisation des nouveaux instruments d’évaluation des compétences. Consistance Interne Colloque de l'ACFAS Mai 2004

38. Constats préliminaires Trois niveaux d’analyse qualitative : 1- Conception des outils 2- Expérimentation des outils 3- Pertinence des caractéristiques des énoncés descriptifs Colloque de l'ACFAS Mai 2004

39. Constats préliminaires concernant la Conception des outils : Difficultés : - La direction d’une telle démarche par des pairs d’un même département peut être difficile dans certains cas. - L’importance du changement de paradigme nécessite une formation préparatoire plus longue en évaluation. - Le caractère novateur d ’une telle pratique évaluative provoque incertitude et scepticisme quant à l’utilisation des grilles. Forces : • Nécessité du travail en équipe avec ses pairs • Nécessité du retour au devis ministériel - Travail en petites équipes d’experts Colloque de l'ACFAS Mai 2004

40. Forces : - Total alignement de l’enseignant sur ses objectifs. - Le milieu de travail se reconnaît davantage dans les critères évalués. - Prise de conscience par les étudiants et les enseignants de la nature complexe d’une compétence. - Une fois rédigés, les savoirs être sont plus faciles à observer. Difficultés : - Grande insécurité des étudiants face à ce nouveau mode d’évaluation. - Désintéressement des étudiants face aux contenus de cours plus généraux. - Irréalisme de certaines grilles. - Étudiants soumis sans préavis ni préparation à un paradigme d’évaluation non connu. Constats préliminaires : Expérimentation des outils Colloque de l'ACFAS Mai 2004

41. Forces : - Très en lien avec la situation authentique, les critères annoncés, les caractéristiques des tâches complexes et les niveaux de performance. - Permettent de mieux mesurer une compétence dans sa globalité - Plus en lien avec ce qui a été enseigné dans le nouveau programme. Difficultés : - Certains énoncés sont incomplets. - Attentes imprécises. - Vocabulaire mal défini. - Seuil de réussite ou standards parfois trop élevés. - Algorithme décisionnel à retravailler Constats préliminaires : Pertinence des caractéristiques des énoncés Colloque de l'ACFAS Mai 2004

42. Conclusion - Cette expérience favorise la concertation et oblige les intervenants d’une équipe départementale à échanger au niveau des contenus mais aussi au niveau des pratiques d’évaluation. - Mettre l’accent sur la validationduprocessus de conception plutôt que sur l’instrument. - Ce nouveau paradigme d’évaluation nécessite des changements de pratiques importants. Il est urgent de documenter ces pratiques dans le milieu collégial. Colloque de l'ACFAS Mai 2004

43. «En terminant, nous croyons que cette pratique évaluative est un pas de plus afin de soutenir le développement des compétences de l’éducatrice professionnelle «en formation» qui sera engagée quotidiennement dans le développement et le maintien d’un service de garde de qualité.» Leroux,J.L. (2004) Colloque de l'ACFAS Mai 2004