Bernard Demers Jean-Yves Lescop Jean-Paul Dallaire

1. Q uoi de neuf en évaluation de programme ? Vers une meilleure gestion de la qualité en enseignement supérieur : un outil multimédia interactif • Bernard Demers • Jean-Yves Lescop • Jean-Paul Dallaire 25 octobre 2002 ENAP- Québec

2. Introduction Contexte économiqueVive concurrence entre les institutions d’enseignement La stratégie des universités et des collèges repose de plus en plus sur la qualité de la formation offerte. Une gestion globale et institutionnelle de la qualité devient nécessaire.

3. Qu’entend-t-on par qualité? • Être en tête de peloton • Répondre à des critères ou normes reconnus (ex. ISO) Comment évaluer cette qualité? Celle de l’enseignement supérieur en particulier?

4. Les palmarès ou bulletins … Des écoles  • L’Actualité (Institut économique de Montréal et Institut Fraser) • Ministère de l’Éducation du Québec

5. Des collèges et des universités : Kaplan/Newsweek Maclean’s

6. Facteurs de succès? Indicateurs d’efficacité de l’enseignement? Mesures de performance Mais…

7. 1èreQuestion : la qualité, dites-vous? La qualité fait souvent référence à plusieurs éléments : • Standards à atteindre et procédures à suivre souvent définies par des experts et suivis d’une inspection (Murgatroyd et Morgan, 1992) • Appréciation du produit ou du service par ceux qui le reçoivent (Murgatroyd et Morgan, 1992) • Appréciation de la façon avec laquelle un service a été rendu (Barnabé, 1995) • Satisfaction exprimée (Kélada, 2000) en terme de : • Convenance du produit ou du service à l’usage, durabilité • Fiabilité, maintenabilité, régularité

8. La qualité en enseignement supérieur Des organismes et des politiques…. Commission de l’évaluation de l’enseignement collégial du Québec (CÉEC) Conférence des recteurs et des principaux des universités du Québec (CRÉPUQ) Ministère de l’éducation du Québec

9. La certification ISO Rigueur Constance Processus Extrant Dites ce que vous faites. Qualité globale Faites ce que vous dites. Montrez que vous l’avez fait.

10. 2èmeQuestion Comment les institutions d’enseignement se comportent-elles face à la qualité? • Les accréditations En France, 250 organismes de formation certifiés ISO ÉQUIS (European Quality Improvement System): HEC-Montréal, ESG-UQAM CRIM, SNC-Lavalin Formation, Informatech SOFEDUC-IACET Commission canadienne d’accréditation

11. Et puis les autres … L’OCDE et son projet IMHE (Institutional Management in Higher Education) Tendance australienne (Higner Education Council et le quality improvement plan) Tendance française (CNE : Comité National d’Évaluation ) Tendance danoise et son centre pour l’assurance qualité Tendance en Nouvelle-Zélande (ITO : Industry Training Organisations) Tendance européenne (EFQM : European Foundation for Quality Management)

12. Mais quels indicateurs de qualité choisir? Mai 2000 : rapport sur la qualité de l’éducation scolaire en Europe Experts de 26 pays Convenir d’une série d’indicateurs ou de repères en matière de qualité de l’éducation scolaire Pour faciliter l’évaluation des systèmes au niveau national

13. 16 Indicateurs de qualité A - Les indicateurs de niveauatteint 1- Mathématiques 2- Lecture 3- Sciences 4- TIC 5- Langues étrangères 6- Apprendre à apprendre 7- Éducation civique

14. 16 indicateurs de qualité (suite) B- Les indicateurs de réussite et de transition 8- Le taux d’échec scolaire 9- L’achèvement de l’enseignement secondaire supérieur 10- Le taux de scolarisation dans l’enseignement supérieur C- Les indicateurs d’évaluation et de pilotage de l’éducation 11- L’évaluation et le pilotage de l’éducation scolaire 12- La participation des parents

15. 16 indicateurs de qualité (suite) D- les indicateurs relatifs aux ressources et aux structures 13- L’éducation et la formation des enseignants 14- Le taux de fréquentation d’un établissement pré-primaire 15- Le nombre d’élèves par ordinateur 16- Les dépenses d’éducation par étudiant

16. L’évaluation au Québec Conférence des recteurs et des principaux des universités du Québec (CRÉPUQ Commission de l’évaluation de l’enseignement collégial du Québec (CÉEC)

17. Politique institutionnelle d’évaluation périodique des programmes Mise en place d’indicateurs Évolution du corps professoral Évolution des clientèles Pertinence et cohérence: • des programmes • des méthodes pédagogiques • des ressources humaines, matérielles et financières • de la gestion des programmes

18. 3èmeQuestion Un outil multimédia interactif d’autoformation destiné aux institutions? Un outil informatique servant à identifier les indices et les facteurs pertinents qui permettent de vérifier et d’améliorer la qualité de l’enseignement supérieur

19. D’abord, 1ère Étape du projet Qualité Cueillette de données par un questionnaire confectionné en fonction de 28 critères Envoyé à quelque 350 institutions d’enseignement supérieur à travers le Canada

20. 2èmeÉtape du projet Qualité Dresser un portrait et une représentation fiable, fidèle et comparative des institutions en matière d’évaluation de l’enseignement et de l’application de leur politique

21. Les indicateurs et critères que nous avons utilisés 7 indicateurs, 28 critères La cohérence du programme La pertinence du programme Les méthodes pédagogiques appliquées au sein du programme Les ressources humaines rattachées au programme La gestion du programme Les ressources matérielles et financières mises à la disposition du programme Les extrants du programme

22. Questionnaire Qualitative Critère jugé à la suite d’une appréciation par un comité Quantitative  Critère suggéré : éléments mesurés ou observations factuelles

23. Questionnaire

24. Recherche en cours…

25. Enfin, 3ème Étape du projet Qualité Développer un outil multimédia : un site web et un cédérom interactif  S’informer sur le projet

26. Se documenter sur les extrants de la recherche 

27. Se documenter sur les extrants de la recherche 

28. Se documenter sur les extrants de la recherche 

29. Établir son profil (ou diagnostic) et façonner sa politique

30. Des références nombreuses …

31. Des rapports de recherche pertinents …

32. Des guides utiles …

33. Des exemples …

34. Encore des exemples …

35. Des références d’ici et d’ailleurs

36. …. dont les normes ISO

37. L’évaluation devenue indispensable Prise en compte de tous les facteurs susceptibles de contribuer à sa qualité

38. Il nous reste à : Interpréter les données recueillies, établir des comparaisons Rédiger le guide Le rendre bilingue Mettre le tout sur le site Web et le cédérom

39. Initier aux notions de qualité et de normes Comparer les résultats avec des comparables Nos objectifs Évaluer sa performance en matière d’évaluation Améliorer les résultats

40. Merci à vous et à tous nos partenaires!

41. Adresse du site  www.teluq.uquebec.ca/~qualite

42. Références  BARNABÉ, C. (1995). Introduction à la qualité totale. Cap Rouge, Canada : Les Presses Inter Universitaires. GOLDSMITH ET STAINER (1998) dans Mentonnex, J., sous la direction de. Enseignement assisté par une démarche Qualité : Un défi pour l’enseignement supérieur ? Sion, Suisse : Institut universitaire Kurt Bösch. KÉLADA, J. (2000). Qualité totale : Amélioration continue et réingénierie. Pierrefonds, Canada : Les Éditions Quafec. MURGATROYD ET MORGAN (1992) dans Barnabé, C. (1995). Introduction à la qualité totale. Cap Rouge, Canada : Les Presses Inter Universitaires.

43. Q uoi de neuf en évaluation de programme ? Vers une meilleure gestion de la qualité en enseignement supérieur : un outil multimédia interactif • Bernard Demers • Jean-Yves Lescop • Jean-Paul Dallaire 25 octobre 2002 ENAP- Québec