L’équipe d’évaluation

1. Consortium de recherche et d'information sur la réussite étudiante dans l'enseignement supérieur L’évaluation de programmes de prévention de l’échec scolaire au secondaire: leçons et défisMichel Janosz - CRIRES Université de Montréal14 Février 2003

2. Des chercheurs experts (M. Janosz, P. Abrahmi, J. Bélanger, R. Bertrand, F. Bowen, S. Cartier, M.-A. Deniger, R. Deslandes, M. Perron) provenant de différents champs de spécialisation Des coordonnatrices (M. Lacroix, C. Quiéroga, G.Roy, G. Légaré, C. Gendron, A. Larose) Des étudiantes apprenant leur métier (assistantes de recherche) L’équipe d’évaluation

3. Prévention de l’échec scolaire en milieux défavorisés : de récentes expériences d’évaluation de programmes • Programme d’Action Concertée sur l’abandon scolaire 1998-2001 (FCAR) • Évaluation de la Stratégie d’Intervention Agir Autrement (SIAA) 2002-2007 (MEQ)

4. Objectifs communs • Évaluer la qualité d’implantation des interventions • Évaluer les effets : atteinte des objectifs et ampleur des effets • Identifier les processus (facteurs médiateurs et modérateurs) responsables des effets observés

5. Des méthodologies similaires • Étude d’implantation : • Méthodologies quantitatives (questionnaires) et qualitatives (entrevue de groupe, analyse documentaire, observations directes ?) • Étude des effets : • Méthodologies quantitatives (devis quasi-expérimental, longitudinal, analyses à mesure répétée) et qualitatives (analyse de contenu et histoires de cas)

6. Opérationnalisation de la réussite scolaire • Perspective multidimensionnelle : • Instruction /Qualification : • rendement, persévérance, décrochage, stratégies d’apprentissage… • Socialisation : • motivation, attitudes face à la scolarisation, indiscipline, adaptation psychosociale (conduites déviantes, problèmes intériorisés) • Variables médiatrices/modératrices : • Qualité de la relation avec les enseignants, qualité des pratiques pédagogiques, influence des pairs déviants, engagement et soutien parental, climat scolaire..

7. Caractéristiques individuelles Sexe Âge Expérience scolaire passée Contexte sociodémographique et culturel Urbanicité / ruralité Conditions sociales et économiques Structure familiale Diversité ethnique et culturelle Figure synthèse des dimensions considérées pour l’évaluation de la Stratégie d’Intervention Agir Autrement Communauté Famille Environnements socioéducatifs Passage d’un cycle à l’autre Performance École Diplômation Persévérance Réussite scolaire Intégration socioprofessionnelle ? ? ? Habiletés sociales Performance Intégration scolaire et sociale de l’élève ? Stratégies d’apprentissage Adaptation psychosociale Motivation Relations sociales (pairs, personnel enseignant, autres adultes) Dimensions déterminantes mais qui échappent à l’influence des écoles secondaires Dimensions prédictives de la réussite scolaire susceptibles d’être modifiées par les interventions ou d’expliquer les résultats observés Résultats attendus 18/09/02 DOCUMENT DE TRAVAIL Unité de coordination /Équipe de recherche évaluative SIAA Michel Janosz

11. Action concertée - rappel des résultats • Résultats immédiats (court terme 6 mois) • Un impact saisissable dès l’entrée au programme (meilleur rendement, meilleure motivation, apaisement si entrée en situation de crise) • Une capacité d’héberger et de protéger les élèves particulièrement observable chez les jeunes soutenus par leurs parents

12. Action concertée - Quelques leçons méthodologiques • Intégrité des programmes (implantation), objectifs clairs et contrôle des chercheurs. • Grosseur de l’échantillon, puissance statistique, mesure de l’ampleur des effets (effect size) • Importance des mesures répétées et longitudinales (puissance stat., et pérennité des effets • Coût-bénéfice de la triangulation des mesures (le problème de mesures observationnelles; autorévélées)

13. SIAA Présentation • La Stratégie d’intervention Agir Autrement vise à financer, sur 5 ans et jusqu’à concurrence de 125 $, 191 écoles secondaires de milieux défavorisés • Le groupe d’évaluation de la SIAA est chargé de conduire deux grands volets d’enquête, un portant sur la qualité d’implantation de la Stratégie, l’autre sur les effets de l’intervention • Le groupe d’évaluation est également chargé de contribuer à différents moments de l’implantation de la Stratégie (état de situation, diffusion des pratiques efficaces, etc.)

14. SIAA Échantillon • 70 écoles ciblées et 20 écoles de comparaison • Plus de 50 000 élèves et plus de 5000 membres du personnel • 2 temps de mesures de 2 heures à chaque fois pendant 4 ans + Opération relance auprès des décrocheurs . • Composition d’une cohorte de 1400 élèves faisant l’objet d’une attention toute particulière : mesures supplémentaires, entretiens qualitatifs auprès des élèves et de leurs parents (une centaine au total), observations en classe, etc.

16. SIAA Défis de l’évaluation de l’implantation • La SIAA est plus prescriptive que directive • Emphase mise sur l’action locale et sur le contrôle local • Absence de contrôle de l’intervention et ses impacts sur l’évaluation de l’implantation • Opposition entre une «logique de diffusion» et une «logique de traduction»

17. SIAA Défis de l’évaluation des effets • Absence de contrôle sur les programmes et les objectifs d’intervention (effets) • Devis de recherche : quasi-expérimental faible (groupe de comparaison non équivalent ou absence de contrôle de l’effet historique) • L’obtention des consentements des parents des mineurs et la mobilisation des écoles • Problème de standardisation des mesures du rendement scolaire • Absence de neutralité des chercheurs (engagement à offrir des rétroactions annuelles sur un ensemble d’indicateurs)

18. SIAA Défis de l’évaluation des effets • Gestion de la collecte de données à travers la province • Retour rapide de résultats aux écoles

19. SIAA Conclusion • La bonne nouvelle, c’est qu’on a eu le contrat d’évaluation (capacité de fonder les pratiques efficaces; de mesurer de près l’effet des programmes sur les différents types de jeunes, échantillon unique, etc.) • La mauvaise nouvelle, c’est qu’on a eu le contrat (démesure des attentes, des possibles, de la gestion, de la synthèse, etc.)