La recherche, ça ne change pas le monde, sauf que…

1. La recherche, ça ne change pas le monde, sauf que… Événement : Atelier du CAPRÈS Présentateur : Jocelyn Charron, gestionnaire, projets pilotes La Fondation canadienne des bourses d’études du millénaire Le 10 novembre 2009

2. La loi d’airain de l’évaluation de programme “The expected value of any net impact assessment of any large-scale social program is zero.” Peter Rossi[1] “Peter Rossi’s iron law of evaluation is more or less right, but the implications are wrong. (…) In other words, the average social program doesn’t work and this will be revealed in a rigorous evaluation. But there is more variation around the mean than Peter anticipated, and that variation may have increased in the twenty years since Peter wrote about the iron law. The program that has a substantial positive impact may be rare but it exists. The probability of finding it will be remote unless we search widely, frequently, and intelligently. In short, experiment, experiment, experiment.” Acceptance remarks from Grover J. Whitehurst, 2007 Rossi Award Winner. [1] ROSSI, Peter (1987). “The Iron Law of Evaluation and Other Metallic Rules”; In Research in Social Problems & Public Policy, ed. Joan H. Miller and Michael Lewis, vol 4, pp. 3-20. (Greenwich, Conn.: JAI Press).

3. Fondation canadienne des bourses d’études du millénaire : Mandat et activités Organisme créé par le gouvernement du Canada en 1998. Dispose d’un fonds de 2,5 milliards $ pour améliorer l’accès à l’éducation postsecondaire sur une période de dix ans. Montant annuel des bourses versées aux étudiant-e-s québécois : 80 millions $ sous la forme de bourses fondées sur le besoin financier, plus 650 bourses d’excellence octroyées annuellement, pour un total de 2,5 millions $. Nombre d’étudiant-e-s qui bénéficient de ces bourses à chaque année: 31 000. L’autre mandat de la Fondation : la recherche.

4. Mieux connaître pour mieux agir • Le Programme des projets pilotes du millénaire vise à évaluer de nouvelles approches permettant d’élargir l’accès à l’enseignement postsecondaire pour des groupes d’élèves qui n’y ont pas traditionnellement droit. • Ces travaux de recherche visent d’abord à donner aux décideurs, ainsi qu’aux enseignants, aux conseillers en orientation et aux intervenants des informations plus précises et plus concrètes pour raffiner les approches existantes et/ou en développer de nouvelles.

5. Entre Ron Edmonds et James Coleman… • Aux États-Unis, l’opinion est fortement divisé entre ceux et celles qui croient que l’école ne fait que reconduire les inégalités préexistantes parce qu’elles sont incapables de contrecarrer les effets produits par l’héritage familial et social des élèves défavorisés et les gens qui estiment que l’école peut réduire les inégalités et que les élèves issus de milieux défavorisés peuvent apprendre aussi bien que les autres élèves si les établissements en font une priorité et s’organisent en conséquence. . • Les premiers s’inscrivent dans une tradition bien établie qui doit beaucoup aux travaux du sociologue James Coleman, auteur du célèbre rapport portant le son nom ("Equality of Educational Opportunity“). • À l’inverse, les travaux de Ron Edmonds, pédagogue ayant travaillé à Harvard et au sein de nombreux districts scolaires, inspirent toujours les réformateurs. • Le programme des projets pilotes se rapproche davantage du second sans nier le poids du capital social dans le destin scolaire des élèves.

6. Quelques postulats de base • La prémisse fondamentale : il est possible de mettre en œuvre des programmes qui encouragent les élèves à faire de meilleurs choix et/ou qui leur donnent des outils leur permettant de mieux maîtriser les fondements de leur métier : le métier d’élève. • Il est également possible de mieux soutenir et encadrer ces étudiants lorsqu’ils entament des études postsecondaires. • Le défi : choisir les meilleures approches parmi toutes celles qui sont proposées, ce qui exige que l’on soumette nos intuitions à l’épreuve des faits sur le terrain. • Une approche empirique : à peu près tous les programmes que nous évaluons ont été d’abord conçus et mis en œuvre par des gens qui travaillent sur le terrain.

7. Les principaux obstacles (1) • Manque de clarté quant à la carrière : • Comme raison de leur décrochage, un grand nombre d’étudiants de collèges et d’universités avouent ne pas avoir une idée claire quant à leur carrière et ne pas savoir quelles études leur conviennent. • Un grand nombre d’étudiants provenant de groupes sous-représentés indiquent ne pas vouloir poursuivre des études supérieures à cause d’un manque d’information sur les carrières et sur les coûts et avantages relatifs des ÉPS. • Manque de moyens financiers : • La promesse de ressources financières séduirait-elle les élèves de 9e année provenant de familles défavorisées, qui se verraient alors poursuivre des études postsecondaires et planifier ensuite leur transition vers les études supérieures?

8. Les principaux obstacles (2) • Le manque de préparation • Bon nombre d’élèves aspirent à poursuivre des études postsecondaires, mais ils (elles) ne sont vraiment prêts et/ou ne se sentent pas prêts. Ces élèves ne maîtrisent pas encore les compétences essentielles à leur métier : le métier d’élève. • Ces différents obstacles peuvent exercer une influence distincte ou avoir une influence conjointe. La Fondation voulait évaluer à la fois des approches plus pointues et des approches plus globales. • Au fil des ans, les obstacles propres aux communautés autochtones se sont ajoutés à cette liste.

9. Une vision ambitieuse

10. Les grandes lignes directrices • Les objectifs du Programme devaient être clairs et précis afin qu’ils servent à guider le choix des interventions. • Les services et les types de soutien aux élèves et aux étudiants devaient différer de ceux qui existaient déjà au sein des différents systèmes scolaires provinciaux. • Les groupes ciblés par ces interventions devaient être clairement identifiés afin d’éviter que ces interventions soient offertes à des groupes ayant les ressources et les capacités de se tirer d’affaire sans elles. • Les modèles d’intervention devaient être fondées sur des fondements théoriques solides appuyés par un survol des approches ayant déjà été évaluées empiriquement. En réalité, il a été plus facile d’identifier des interventions déjà mises de l’avant par des acteurs du milieu l’éducation que par des chercheurs universitaires.

11. Des choix plus réalistes • Le choix des interventions fut guidé par les facteurs suivants : 1. Ce qui était disponible; 2. Ce qui était bien documenté; 3. Ce qui intéressait nos partenaires et; 4. L’expérience des membres de l’équipe et de nos collaborateurs. • Dans certains cas, ce n’est pas la Fondation qui a effectué les premières démarches (Fondations pour le succès, LE,NONET, Making Education Work) • Beaucoup d’appelés, mais peu d’élus (l’exemple de la Saskatchewan et celui de l’Alberta). • Deux exemples concrets : AVID et Un Avenir à Découvrir.

12. Vue d’ensemble des Projets pilotes du millénaire Activités axées sur le développement de carrières (EVH-UAD/MEW) Incitatifs et soutien financier (FS) Soutien de la communauté (MEW) Meilleure formation académique (AVID/MEW) Accès élargi aux ÉPS Meilleure formation académique/mentorat (STAR/ LE,NONET/ Fondations pour le succès) Incitatifs financiers (STAR, Fondations pour le succès) Soutien de la communauté hors campus (LE,NONET) Soutien financier (LE,NONET) Obtention du diplôme

13. Mettre à l’épreuve nos intuitions • Tous ces projets reposent sur un certain nombre d’intuitions tirées de l’expérience professionnelle et/ou personnelle des concepteurs. Nous aurions pu en choisir d’autres. Ce ne sont pas les bonnes idées qui manquent. Le problème consiste à les départager. • Sommes-nous prêts à mettre nos intuitions à l’épreuve des faits? Est-ce même possible? Probablement pas dans tous les cas, mais la plupart du temps, c’est possible et c’est même souhaitable.

14. Évaluer ou ne pas évaluer • Pourtant, l’évaluation de programme ne fait pas partie de notre culture. • On invoque facilement les coûts élevés d’une évaluation bien faite pour esquiver la question. • Ou on fait appel à l’urgence de la situation pour affirmer qu’il faut s’en passer. • En réalité, il est souvent bien coûteux de mettre sur pied un nouveau programme sans l’évaluer adéquatement, surtout quand il faut faire marche arrière par la suite… • La situation idéale : mettre en chantier un programme au sein d’un projet conçu pour l’évaluer. • L’évaluation devrait faire partie des délibérations dès le départ.

15. Choisir la bonne approche (1) • Il y a de multiples approches de recherche. Comment choisir la bonne ? C’est une question complexe (réponse typique d’un chercheur…). • Ça dépend de la question. • Lorsqu’il s’agit d’évaluer un programme, la question pratique que l’on doit se poser n’est pas : est-ce que ce programme obtient de bons résultats ? • En réalité, sauf rare exception, il y a toujours une dimension comparative dans l’évaluation d’un programme, implicitement ou explicitement, et dans ce cas, la question devient : ce programme est-il meilleur que les autres (ou que la situation présente)? Pour y répondre, il faut avoir recours à un scénario contrefactuel, c’est-à-dire à une estimation de ce qui se serait produit en l'absence de l'intervention évaluée.

16. Choisir la bonne approche (2) • Ensuite, il faut que les partenaires s’entendent sur les objectifs du programme, qu’il s’agisse du taux de diplomation ou d’une augmentation de la participation à l’enseignement postsecondaire, ce qui suppose des longues discussions préalables. • Évidemment, plus les objectifs sont tangibles, plus il est facile de les mesurer, mais même si les objectifs sont moins tangibles, il convient de les décrire le plus précisément possible et forger un consensus parmi les partenaires du projet. • Enfin, aucune approche méthodologique n’est suffisante en elle-même. Il est préférable de combiner plusieurs méthodes.

17. La répartition aléatoire des effectifs :petit cours accéléré (1) • Pour construire le scénario contrefactuel dont il a été question, nous avons choisi d’avoir recours à la répartition aléatoire des effectifs pour établir notre point de comparaison. • Procédure : Il faut d’abord créer une liste de participants qui constituent la clientèle visée par le programme. Ensuite, les participants sont répartis de façon aléatoire ( au hasard, comme dans un tirage au sort) dans l’un des deux groupes suivants : un groupe programme et un groupe témoin. • Le nombre de participants répartis dans les deux groupes dépend de considérations statistiques telles que l’importance de l’impact que l’on veut détecter ainsi que les probabilités d’observer de tels impacts par hasard, en l’absence de toute cause observable.

18. La répartition aléatoire des effectifs :petit cours accéléré (2) • Pour certaines personnes, le recours à la répartition aléatoire est un geste typiquement arrogant de la part des chercheurs, réaction qui prend souvent la forme suivante : quoi, vous jouez aux dés avec le sort de nos enfants ? • En fait, il faut voir cela comme un aveu d’humilité. Si vous avez un assez grand nombre de participants et que vous devez former un groupe témoin, il vaut mieux vous fier au hasard plutôt qu’au jugement des chercheurs ou des intervenants. • Les êtres humains sont extrêmement complexes (encore ce mot). On peut observer et mesurer un certain nombre de choses à leur sujet, mais nous savons qu’il est impossible de tout observer et/ou tout mesurer. Curieusement, en nous fiant au hasard, nous avons de meilleures chances de former deux groupes statistiquement identiques.

19. Programme A : 80% des étudiants ont atteint les objectifs du programme 80 % Programme B : 60% des étudiants ont atteint les objectifs du programme 60 % La répartition aléatoire des effectifs : petit cours accéléré (3) Impact vs. résultats : lequel de ces deux programmes est le plus efficace ?

20. La répartition aléatoire des effectifs :petit cours accéléré (4) Groupe programme A 80% Groupe témoin A 80% Impact A 0% Groupe programme B 60% Groupe témoin B 40% Impact B 20%

21. Le problème de la boîte noire • Le recours à la répartition aléatoire des effectifs est peut-être très efficace pour évaluer l’impact d’une intervention, mais elle ne nous dit pas pourquoi une intervention est efficace ou comment elle agit. Sur ce plan, l’intervention demeure une boîte noire. • Pour comprendre ces mécanismes, il faut avoir recours à d’autres approches : enquête de suivi avec questionnaire détaillé, entrevues en profondeur, petits groupes de discussion, etc. • Tous les projets pilotes de la Fondation utilisent une panoplie d’instruments de recherche qui visent à mieux comprendre ces mécanismes.

22. Et si rien de tout cela ne fonctionne ? • Connaître les approches qui ne fonctionnent pas est tout aussi utile que de connaître celles qui fonctionnent bien. Il vaut mieux savoir où ne pas mettre son argent. • La recherche rigoureuse et bien faite est un antidote puissant contre les effets de mode et les réformes successives. • L’approche débridée, c’est celle qui consiste à lancer de nouveaux programmes à grande échelle dans lesquels tous les élèves sont des cobayes et où il n’y a aucun scénario contrefactuel. • L’objectif du Programme des projets pilotes du millénaire est de contribuer à la constitution d’un coffre à outils où les professionnels de l’éducation (enseignants, gestionnaires, conseillers en orientation, etc.) iront puiser ce dont ils ont besoin pour bien faire leur travail en fonction de leur situation.

23. L’exception LE,NONET • La démarche expérimentale ne convient pas dans tous les cas. • La nature d’une intervention rend parfois impossible une évaluation fondée sur la répartition aléatoire des effectifs. • Le cas LE,NONET : un projet visant à changer à la fois la culture d’un établissement ainsi que les formes de soutien offerts aux étudiants autochtones. Même les étudiants qui ne désirent pas participer au programme pourraient être affectés par les changements culturels pouvant émerger au sein de l’établissement. Si tout se déroule comme prévu, bien entendu. • La recherche d’un point de comparaison demeure toutefois vitale.

24. Chercheurs et intervenants : deux mondes • Les intervenants: • Ils se définissent dans l’action; • Ils sont en général certains que l’intervention est efficace; • Ils se méfient des modèles trop rigides; • Ils craignent que les chercheurs soient incapables de saisir l’impact entier de leurs actions; • Les chercheurs: • Ils veulent préserver l’intégrité du modèle; • Ils craignent les initiatives intempestives des intervenants, ou les imprévus en général; • Ils font confiance à leurs outils de recherche; • Ces deux perspectives sont essentielles au succès des projets pilotes.

25. Pour obtenir d’autres renseignements : Jocelyn Charron Gestionnaire, projets pilotes (514) 284-7296jcharron@bm-ms.org Fondation canadienne des bourses d’études du millénaire 1000 rue Sherbrooke ouest, bureau 800Montréal, QC H3A 3R2 Téléphone : 1 (877) 786-3999 www.millenniumscholarships.ca