Kris Magnusson Lynne Bezanson Reginald Savard

1. Évaluation de l’impact de l’information sur le marché du travail : progrès et défisModèle et exemple d’une méthodologie de recherche Kris Magnusson Lynne Bezanson Reginald Savard

2. Un défi posé par les décideurs canadiens : « Vous n’avez pas justifié l’impact et l’utilité des services de développement de carrière. » • Une équipe de recherche formée en 2004 pour faire le suivi des recommandations découlant du programme « Établir le contact » : • Groupe de recherche canadien sur l’impact des services de développement de carrière Évaluation de l'impact de l'IMT

3. Qu’est-ce que le Groupe de recherche canadien? • Un groupe pan-canadien de chercheurs (8 chercheurs; 6 universités; coordonné par la FCDC) • Établi suite à des recommandations découlant du Symposium pan-canadien sur le développement de carrière, la formation continue et le développement de la main-d’œuvre . • Élabore des projets visant à faire avancer la pratique fondée sur les preuves en matière de développement de la carrière • Parti d’un réseau international sur la pratique fondée sur les preuves Évaluation de l'impact de l'IMT

4. Premier projet : état du sondage sur les pratiques • Quel est l’impact des services de développement de carrière? • De quels éléments de preuve disposons-nous à pareil égard? Évaluation de l'impact de l'IMT

5. Un problème de terminologie • Les bailleurs de fonds, dont les gouvernements, agissent souvent comme si le placement était le seul critère de mesure du développementde carrière • La plupart des praticiens croient au développement carrière et offrent un tel service • Exemple : Mesurons l’impact des bibliothèques sur le système scolaire Évaluation de l'impact de l'IMT

6. Défi • Le but général des services de développement de carrière est d’opérer un changement chez le client • Il existe une multitude de facteurs susceptibles d’entraîner un tel changement • Très peu d’entre eux sont directement mesurés Évaluation de l'impact de l'IMT

7. Quels sont les résultats non rapportés ni mesurés? • Autonomisation du client • Acquisition d’habiletés (p. ex., savoir-être), • Meilleure estime de soi • Changements d’attitude (p. ex., par rapport à l’avenir ou à la nature du travail) • Gains de connaissances • Autonomie financière • Création de réseaux de soutien • Possibilités accrues Et, de façon marginale : • Avantages pour la collectivité • Satisfaction du client; demandes d’information plus nombreuses • Démarchage politique (organismes) Évaluation de l'impact de l'IMT

8. Qu’avons-nous appris? • Organismes, praticiens, décideurs et employeurs conviennent des points suivants : • l’évaluation de l’impact est importante • les méthodes d’évaluation actuelles sont inappropriées • les résultats importants ne sont ni mesurés ni rapportés • il existe un besoin de méthodes d’évaluation poussées • L’importance de l’évaluation est liée au type d’organisme qui offre les services Évaluation de l'impact de l'IMT

9. Question clé pour l’IMT … • Quel rôle joue l’IMT dans l’atteinte de résultats « mesurés » et comment influence-t-elle les résultats « non rapportés » et « non mesurés »? Évaluation de l'impact de l'IMT

10. Réponse no 1 du Groupe de recherche canadien :Créer un cadre de travail pour l’évaluation

11. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat Contexte Évaluation de l'impact de l'IMT

12. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat Indicateurs de changements chez le client 1. Résultats d’apprentissage 2. Résultats du point de vue des qualités personnelles 3. Résultats du point de vue de l’impact Évaluation de l'impact de l'IMT

13. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat • Indicateurs de changements chez le client • 1. Résultats d’apprentissage • Connaissances et compétences liées à l’intervention • 2. Résultats du point de vue des qualités personnelles • Changements d’attitude • Variables intrapersonnelles (estime de soi, motivation) • 3. Résultats du point de l’impact • Impact des points 1 et 2 sur la vie du client, p. ex., position dans la profession, inscription à une formation, etc. • Impact social et relationnel • Impact économique Évaluation de l'impact de l'IMT

14. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat • Ressources disponibles • 1. Employés • nombre d’employés, niveau et type de formation • 2. Financement • Budget • 3. Lignes directrices concernant le service • Mandat de l’organisme Évaluation de l'impact de l'IMT

15. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat • Activités liées aux produits ou résultats attendus • 1. Programmes offerts par l’organisme • Nombre d’employés • Niveau de formation • Type de formation • 2. Interventions utilisées par les prestataires de services • Compétences utilisées par les prestataires de services • Pratique à domicile effectuée par les clients • 3. Participation de tiers 4. Qualité des indicateurs de service • Satisfaction des parties concernées Évaluation de l'impact de l'IMT

16. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat Intervention = Processus + Résultat Évaluation de l'impact de l'IMT

17. Approche générale de la pratique fondée sur les preuves ApportProcessusRésultat Impact = Qualité de l’apport + Efficacité de la mise en œuvre Évaluation de l'impact de l'IMT

18. Réponse no 2 du Groupe de recherche canadien : Exemple de projet visant la mise en œuvre du cadre de travail : méthodologie de recherche sur l’impact de l’IMT

19. Contexte de la participation du Groupe de recherche canadien au projet de l’IMT • Évaluation des produits et services en matière d’IMT de RHDSC (RHDSC, janvier 2005) • Impact de l’IMT sur l’analyse documentaire du processus de prise de décision dans le choix de carrière (Université de Sherbrooke, septembre 2005) • Recommandations précises découlant de l’analyse documentaire • Rencontre de deux membres du Groupe de travail sur l’IMT du FMMT et du Groupe de recherche canadien (Calgary, février 2006) Évaluation de l'impact de l'IMT

20. Question de recherche générale du Groupe de recherche canadien : Quels clients utilisent et/ou bénéficient de quelle IMT, et en quelles circonstances? • Qui effectue des recherches et pourquoi? • Comment l’IMT est-elle transformée en de l’information pertinente sur le plan personnel? • Comment l’information personnalisée est-elle utilisée? • Quels sont les impacts (sur l’apprentissage, l’attitude, le comportement) de l’application de l’information personnalisée? Évaluation de l'impact de l'IMT

21. Axe de recherche : • Connue : • IMT non assistée (sauf pour l’IMT informatisée) semble n’avoir que peu d’impact sur la prise de décision dans le choix de carrière • IMT accompagnée d’une intervention d’un conseiller (y compris l’IMT informatisée) semble avoir un impact significatif sur la prise de décision dans le choix de carrière • Inconnue : • Quelle est la combinaison gagnante d’IMT et d’intervention de conseillers (sur les plans de la qualité et de la quantité) qui a un impact positif significatif sur la prise de décision dans le choix de carrière et qui offre le meilleur rendement? Évaluation de l'impact de l'IMT

22. Trois concepts fondamentaux de recherche : • Cerner les dimensions de l’employabilité • Quel type de cadre de travail peut être utilisé pour cerner les besoins des clients et en faire le tri? Quelles ressources en matière d’IMT sont disponibles pour répondre à chacun des besoins (apport)? • Mettre en œuvre un cadre de travail en matière d’évaluation • Quels résultats spécifiques peuvent être utilisés pour mesurer le « succès »? • Processus d’intervention : continuum d’aide • Quel impact a le niveau d’aide offert aux clients? Évaluation de l'impact de l'IMT

23. Concept no 1 : Dimensions de l’employabilité et besoins des clients Besoins des clients en matière d’IMT peuvent être cernés au moyen du cadre du travail, notamment grâce à : • Exploration des carrières et prise de décision • Perfectionnement des compétences • Amélioration de la recherche d’emploi/de travail • Maintien de l’emploi Évaluation de l'impact de l'IMT

24. Aligner l’IMT avec les besoins : • Prise de décision et exploration en matière de carrière : • www.emploiavenir.ca: Jeu-questionnaire « Te connais-tu vraiment? » • www.cibletudes.ca: Conseiller en orientation professionnelle en ligne • www.Jobset.ca: 10 étapes vers une meilleure prise de décisions • www.ALIS.gov.ab.ca: OCCInfo : Information sur plus de 530 professions • www.careerccc.org: Information sur les professions nécessitant des études postsecondaires autres que des études universitaires • Perfectionnement des compétences : • www15.hrdc-drhc.gc.ca : Compétences essentielles : études de cas de plus de 150 professions • www.cibletudes.ca: Recherche de programmes; recherche d’écoles • Rercherche d’emploi/de travail : • www.Jobset.ca : Site sur l’emploi – Banque d’emplois et conseils en matière d’emploi • www.Monster.ca: Guides pour les entrevues, préparation d’un cv • Maintien en poste : • www.Monster.ca : Centre des carrières : gestion de vos articles de carrière • www.CCDF.ca: Modules de Circuit Coach : conseils sur le maintien en poste; ajouter de la valeur à votre employeur; compétences en matière d’employabilité; comment rester employé. Évaluation de l'impact de l'IMT

25. Concept no 2 : Application de ces dimensions au modèle d’évaluation • Pour chaque dimension, quels résultats devraient/pourraient être mesurés? Évaluation de l'impact de l'IMT

26. Lier les résultats à chacune des dimensions : Prise de décisions dans le choix de carrière : • Établir des priorités et des préférences, et utiliser l’expérience pour éclairer les décisions courantes (K) • Identifier les compétences transférables (K) • Reconnaître et évaluer avec précision les occasions d’emploi (B) • Comprendre les forces personnelles et les compétences, et établir des liens avec les choix de carrière (K+A) Recherche d’emploi : • Démontrer ses connaissances et ses compétences dans de nombreuses stratégies de recherche d’emploi (K+B) • Démontrer ses compétences en ce qui concerne l’identification des possibilités et des occasions d’emploi (K+B) • Gérer le stress de la recherche d’emploi/de travail (A) Évaluation de l'impact de l'IMT

27. Lier les résultats (suite) : Perfectionnement des compétences : • Comprendre les exigences et comment accéder à de la formation professionnelle particulière et y être admissible (K) • Explorer et entreprendre des activités d’apprentissage pour soutenir l’apprentissage et améliorer l’employabilité (K+B) • Explorer et identifier les compétences et les connaissances transférables d’un emploi à un autre (K+B) Maintien en poste : • Démontrer des façons de surmonter efficacement le stress (A+B) • Comprendre comment les changements (technologie, demande) influent sur les exigences en matière de réussite en emploi (K+A) • Démontrer ses compétences non techniques dans les périodes de transition (quarts de travail, chômage imprévu) (B) Évaluation de l'impact de l'IMT

28. Concept no 3 : Processus d’intervention • Deux catégories de service : • IMT non assistée et peu assistée; • IMT assistée; • Les clients « libre-service » ne sont pas inclus dans la méthodologie • L’IMT n’est pas considérée comme une variable isolée; plutôt, l’élément expérimental est le « traitement » de l’IMT Évaluation de l'impact de l'IMT

29. Variables : • Variables psychosociales et sociodémographiques(p. ex., niveaux d’éducation, attachement au travail, raisons motivant la recherche d’aide, niveau de prise de décision, optimisme, compétences avec information) • Besoins en matière d’employabilité (p. ex., des dimensions) • Variables en matière de critères (p. ex., mesure des résultats) Évaluation de l'impact de l'IMT

30. Concept expérimental général • Pré-test et post-test répétés (impact de l’utilisation de l’IMT au fil du temps ) • Différences au sein d’un groupe et entre groupes (assisté par rapport à non assisté) • Mise à l’épreuve des liens entre les variables en matière de démographie/besoins, et les variables en matière de critères • Grand N (400 à 600) Évaluation de l'impact de l'IMT

31. Collecte de données et intervention : les deux groupes • Questionnaire :cerner les variables psychosociales et sociodémographiques afin de fournir des indicateurs de complexité cognitive (p. ex., niveaux d’éducation, attachement au travail, raisons motivant la recherche d’aide, niveau de prise de décision, optimisme, compétences avec information) • Évaluation des besoins en matière d’employabilité pour déterminer les besoins en matière d’IMT • Affectation aléatoire à des groupes assistés et non assistés • Livret à rapporter chez soi contenant une liste de ressources et de sites Web sur l’IMT établie selon les besoins cernés • Orientationpour utiliser les services d’information libre-service • Entrevue semi structuréeau téléphone 72 heures après l’orientation (première collecte de données sur les mesures des résultats) Évaluation de l'impact de l'IMT

32. Collecte de données et intervention : groupe non assisté • Entrevues semi structurées de suivi (un et trois mois après la première entrevue téléphonique) pour recueillir de l’information sur les changements chez les clients (processus et résultats) (p. ex., comment les clients utilisent les ressources/sites Web en matière d’IMT; impact de l’IMT; les autres mesures que prennent les clients en plus d’utiliser l’IMT à des fins précises; changements en matière d’apprentissage, d’attitude et de comportement; progrès en fonction de dimensions spécifiques de l’employabilité; progrès en vue de la réalisation d’objectifs de carrière/d’études/d’emploi) Évaluation de l'impact de l'IMT

33. Collecte de données et intervention : groupe assisté • Dans le mois qui suit l’entrevue initiale, effectuer deux interventions de suivi avec un conseiller • Continuer à travailler en vue de l’atteinte des objectifs, • Utiliser de manière optimale l’IMT en fonction des dimensions de l’employabilité, • Faire de la résolution de problèmes/fournir un encadrement concernant des questions liées à l’utilisation optimale des ressources en matière d’IMT • Entrevues semi structurées de suivi (un et 3 mois après la première entrevue téléphonique) pour recueillir de l’information sur les changements chez les clients (processus et résultats) Évaluation de l'impact de l'IMT

34. Sommaire du concept de recherche Évaluation de l'impact de l'IMT

35. Des inférences peuvent être faites au sujet de ce qui suit : • Impact des variables des clients y compris le niveau de compétences cognitives, et utilisation et pertinente de l’IMT; • Information sur les raisons qui motivent la recherche de l’IMT; • Information sur comment les adultes utilisent l’IMT; • Information précise sur les façons dont les utilisateurs d’IMT assistée et non assistée emploient l’IMT; • Impact de deux niveaux d’IMT assistée et non assistée sur les différentes dimensions de l’employabilité; • Impact de l’IMT sur les résultats en matière d’apprentissage, d’attitude et de comportement, notamment des indicateurs économiques et sociaux précis à court terme (un et trois mois) (p. ex., temps consacré à la recherche d’un emploi; inscription aux programmes de formation et achèvement de celles-ci; emploi; temps consacré aux avantages sociaux). Évaluation de l'impact de l'IMT

36. Merci! Kris Magnusson kris.magnusson@uleth.ca