1 / 47

EVALUATION EN FMC

EVALUATION DE L’EQUIPE PEDAGOGIQUE Olivier Claris Services de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon Sud Université Claude Bernard, Lyon. EVALUATION EN FMC. Interface entre l’évaluation en formation initiale et l’évaluation en médecine

chione
Download Presentation

EVALUATION EN FMC

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EVALUATION DE L’EQUIPE PEDAGOGIQUE Olivier ClarisServices de Néonatalogie et Réanimation Néonatale Hôpital E. Herriot, Hôpital Lyon SudUniversité Claude Bernard, Lyon

  2. EVALUATION EN FMC Interface entre l’évaluation en formation initiale et l’évaluation en médecine ANDEM : processus d ’application de méthodes scientifiques, visant à rassembler des données fiables et valides pour savoir comment et à quel degré des activités particulières produisent des effets ou des résultats particuliers L’activité en formation est une activité de transformation des individus. L’évaluation est le moyen par lequel on cherche à apprécier cette transformation ( évaluation scolaire)

  3. EVALUATION - METHODES Méthode expérimentale : observe des faits constatés par l’expérience ou le comportement d’un individu Plans d’observation expérimentaux plan post-formation : constate un résultat plan « avant-après » groupes contrôles

  4. EVALUATION Normative : Repérer des performances par rapport à des normes établies (contrôle de connaissances). Objectif de certification Formative : Tout au long du processus de formationAide le formateur à modifier le programme en fonction des résultats Evaluation :Critère indispensable d’agrément d’une manifestation de FMC

  5. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (1)VERGNENEGRE - Rev Mal Resp 1998;15:773-779 Enquête de satisfaction a posteriori « les états généraux de l’asthme » débat avec participation du public

  6. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (2) Questionnaire intérêt des thèmes traités (0-10) aspect novateur de la session (0-10) choix des intervenants (0-10) adéquation temps - quantité des informations (0-10) intérêts des discussions et de la conclusion (0-10) réponse aux attentes (0-10) organisation autres sessions (oui - non - ne sait pas)

  7. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (3) Evaluation de 4 ateliers de 10 à 30 participants, par enquête avant-après, le sujet étant son propre témoin, à partir d’un questionnaire de connaissances élaboré par le concepteur de l’atelier Evaluation d’une session plénière par QCM/QROC fournis par les orateurs groupe intervention - groupe contrôle appariement : âge - mode d’exercice

  8. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (4) Autres sessions : oui 78% non 9% Caractéristiques des 64 répondants : Age 42.8  7.3 Sexe 53 H / 11F Exercice public 42% privé 28% mixte 30 % Intérêts des thèmes : 6.9  2 Aspect novateur : 6.9  2.1 Choix intervenants : 6.7  1.7 Adéquation : 5.8  1.9 Discussion /ccl : 6.3  2.2 Réponse aux attentes : 6.2  2.3

  9. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (5) Groupe Groupe p interventioncontrôle (n = 59)(n=59) N réponses 3.23 ± 1.292.69 ± 1.290.01 exactes pour les 3 sessions Session 1 3.21 ± 1.722.78 ± 1.730.05 Session 2 3.33 ± 1.192.50 ± 1.290.04 Session 3 3.15 ± 0.883.23 ± 1.33NS

  10. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (6) Début atelierFin atelier p 4 ateliers (n=51) 4.27 ± 2.14 5.32 ± 2.09 0.0001 Atelier 1 (n=4) 3.31 ± 0.48 4.37 ± 0.48 NS Atelier 2 (n=11) 3.16 ± 1.27 4.35 ± 0.82 0.03 Atelier 3 (n=15) 7.04 ± 0.99 8.22 ± 0.45 0.0012 Atelier 4 (n=16) 2.84 ± 0.88 3.68 ± 0.68 0.0009

  11. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (7) Biais de sélection quant à la participation à une session de formation Faible nombre de sujets ANDEM : 4 niveaux d’évaluation- Niveau I : niveau de l’application subjective ; expression des participants - Niveau II : test des connaissances, subjectif ou objectif - Niveau III : changement des pratiques, subjectif ou objectif (audit clinique, revue par les pairs, analyse de cas simulés) - Niveau IV : résultat sur la santé, subjectif ou objectif (audit des données épidémiologiques)

  12. SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (8) Evaluer les besoins Résultas négatifs de sessions traditionnelles et brèves sur une journée Peu de répercussions sur la pratique professionnelle de l’acquisition de connaissances théoriques

  13. EVALUATION PEDAGOGIQUE IMMEDIATE D’UNE ACTION DE FMC Peut-on définir une zone acceptable de qualité pédagogique pour un organisme accréditeur? Christian, N Engl J Med 1998;338:1163 session 245, 94 questionnaires 1 conférencier absent : conférence jugée excellente par 1/5 des participants

  14. EVALUATION A DISTANCE D’UNE ACTION DE FMC Steib, Ann Fr Anesth Réanim 2003;22:356-60 organisateurs de 7 séminaires au moins 3 mois après mode exercice : CHU, CHG, PSPH, clinique,…. Activité principale : anesthésie, réa, urgences 6 critères notés de 1 à 10 utilisation post formation du document pédagogique diffusion des informations à des collègues entretien avec responsable hiérarchique modification de procédures de soins application des modifications atteinte de l’objectif de formation

  15. EVALUATION A DISTANCE D’UNE ACTION DE FMC 5 réponses, 91/239 (38%) 25CHU, 31 CHG, 27 PSPH anesthésie 83, réa 6, urgences 2 cours mère-enfant 2, SI, 2 respiratoire 1 notes PSPH plus faibles moindre utilisation document pédagogique pour cours mère-enfant

  16. EVALUATION A DISTANCE D’UNE ACTION DE FMC Utilisation post formation du document : 7 Diffusion des informations à des collègues : 6.8 Entretien avec hiérarchie : 3.6 Décision de modification de procédure : 7.3 Application des modifications décidées : 7.7 Atteint de l’objectif de formation : 8

  17. NEWCASTLEILLING, Medical teacher, 2002;24:67-70 Continuing Professional Development (CPD) for general practice is « a process of lifelong learning for all individuals and teams which enables professionals to expand and fulfil their potential and which also meets the needs of patients and delivers the health and health care priorities of the NHS (1998) » Programme de formation sur 2 ans durée du travail ½ journée / semaine management, audit, épidémiologie, projet de recherche livres de travail : informations, exercices, littérature 9 réunions d ’une demi journée

  18. NEWCASTLE (2) Etude de 1996 à 1998, 2 1ères promotions (16) Objectifs : - motifs d ’inscription - changement dans l’année - bénéfices pour patients et NHS Evaluation de la 1ère promotion 1 an après la fin de la formation Evaluation de la 2ème promotion au début et à la fin de la formation Questionnaires et interviews (13 par téléphone)

  19. NEWCASTLE (3) Satisfaction générale Motifs : - apprendre plus - paraît intéressant Changement de pratiques : - 14/16 - meilleur usage de la bibliographie

  20. NEWCASTLE (4) • Module de management : • le plus utile (questionnaire et interview) • «J’ai appris l’importance de construire une équipe et du leadership, et comment l’appliquer en pratique» • Module de recherche : apprend à être plus critique et à considérer la recherche comme un challenge et non comme une menace

  21. NEWCASTLE (5) • Bénéfices pour le patient : - réduction des grossesses chez les adolescentes - éradication H. pylori chez 158 patients • Bénéfice pour le NHS : - oui 14/16 - « je n’ai pas besoin de changer » - « cette formation m’a plu mais ne m’a pas fait changer ; je suis proche de la retraite »

  22. NEWCASTLE (6) • Les professionnels apprennent quand leur apprentissage est basé sur leur travail quotidien • On peut développer de la théorie à partir de problèmes pratiques et d’expériences personnelles • Les besoins personnels, des patients et du système peuvent tous être satisfaits par une détermination soigneuse de ces besoins et une organisation adaptée à la formation

  23. ROYAUME-UNI – PEDIATRIESAIDI, Medical Education 2003;37:328-334 • RCPCH 2000 : CME -> CPD • 3 nouveautés : - plan de développement personnel, prenant en compte les besoins personnels et de l’employeur pour l’année à venir - recueil personnel des activités du CPD 1h = 1 crédit 1250 crédits sur 5 ans CPD interne et externe - Trace écrite de l’activité du CPD

  24. ROYAUME-UNI – PEDIATRIE (2) • 9 groupes : âge, lieu d’exercice • Réunions à Londres (déplacement payé) • Les questions : - Est-il difficile de suivre un CDP ? - Le PDP a-t-il un rôle facilitateur? - Le CPD a-t-il entraîné des modifications de vos pratiques cliniques, rôles professionnels, responsabilités académiques ? - Que pensez vous de ce nouveau CPD ? Clarté des recommandations, utilisation aisée des formulaires…

  25. ROYAUME-UNI – PEDIATRIE (3) • Responsable • Rapporteur : rapport en 4 semaines • 2 lecteurs indépendants • 49 participants / 117 contacts • 4 à 7 par groupe

  26. ROYAUME-UNI – PEDIATRIE (4) • Est il difficile de suivre un CDP ? • - oui pour tous les groupes • - annulation du RV ; «qui va faire mon travail ?» • - financièrement inégal (3-5 j ; 250-1000 £/an) • - qualité variable des réunions, notamment internes • - nécessité de retourner au cabinet après la formation

  27. ROYAUME-UNI – PEDIATRIE (5) • Dans quelle mesure le PDP vous a-t-il aidé ? • -A identifier des besoins de formation • -Antagonisme entre les souhaits personnels et les demandes de l’institution

  28. ROYAUME-UNI – PEDIATRIE (6) • CPD et changements : • influence positive sur la pratique clinique, après participation à plusieurs réunions • intérêt de la comparaison d’expériences professionnelles • les aspects académiques sont aussi utiles aux médecins des centres non-enseignants, car leurs médecins doivent écrire des protocoles

  29. ROYAUME-UNI – PEDIATRIE (7) • Documentation : • recommandations claires, mais présentation des documents non appréciée • quelles activités recueillies ? Comment attribuer les crédits ? Catégoriser les activités ? • la « paperasserie » prend du temps… • format électronique souhaité, mais accès inégal à un ordinateur

  30. ROYAUME-UNI – PEDIATRIE (8) CPD basé sur des objectifs individuels d’apprentissage professionnel : Avantages : - pour la pratique clinique du médecin - pour le patient - pour la société Inconvénients - qualité inégales des réunions internes - défaut de financement - manque de temps - charge de travail importante

  31. AFRIQUE DU SUDDE VILLIERS, Medical Education 2003, 37: 815-821 • CPD : • « Promeut des soins de bonne qualité et actualisés, et offre à tous les cliniciens des possibilités d ’apprentissage pour maintenir et améliorer leurs compétences pratiques »

  32. AFRIQUE DU SUD (2) • Modèle classique : • - Conférences • - Peu d’interaction conférenciers - assistance • - Non adapté aux besoins • - Trop basé sur l ’acquisition de points • - Peu d ’impact sur la pratique quotidienne

  33. AFRIQUE DU SUD (3) • Modèle compétence : • - Petits groupes de 12 personnes avec experts • - 2 heures/mois 3 mois • - 3 programmes en 9 mois par personne

  34. AFRIQUE DU SUD (4) • Technique nominale de groupe : - introduction : objectifs et déroulement de la technique - 1 à 2 questions, puis réponses individuelles (autant que possible) - génération d ’item : réponses données à tour de rôle à l ’expert - classification d ’item : item similaires ou redondants regroupés - phase de priorisation : chaque participant classe par ordre décroissant ses 5 item les plus importants - vote final

  35. AFRIQUE DU SUD (5) • 2 réunions pour développer 2 questionnaires : participants experts • Comment améliorer l’apprentissage en petits groupes ? • Quelles sont les forces de la technique petits groupes ? • Taux de réponses : global : 38% petits groupes : 47% experts : 66%

  36. AFRIQUE DU SUD (6) • Age : 25-89 (40) • Sexe : 54% femmes • Diplôme : 1935 - 1999 (1989) • Aucun impact du caractère obligatoire sur la participation : 53% • Conférences mensuelles : 85% • Petits groupes : 78%

  37. AFRIQUE DU SUD (7) • Non participation aux petits groupes : - contraintes de temps (34%) • Non participation aux conférences : - préférence pour le petit groupe (19%) - travail (19%) - temps (19%)

  38. AFRIQUE DU SUD (8) Intérêts du programme CPD 51 réponses Amélioration des connaissances 90% Amélioration des soins 78% Amélioration des performances 63% Renforcement jugement prof 55% Contact avec collègues 41% Changement d’attitude 25% Coupure dans le travail 10%

  39. AFRIQUE DU SUD (9) Changements : - réunion d’introduction mieux structurée - besoins d’apprentissage des participants - contenu - agenda : dates - durée - lieu - formation des experts - 5 réunions par sujet en 5 mois

  40. ONTARIO Austin, Am J Pharm Education 2006;70(5),art 117 Evaluation professionnelle de 1500 pharmaciens (15%): - 87% OK - 13% nécessitent une aide : rédaction d’un plan d’éducation écrit précisant les objectifs spécifiques d’apprentissage et les indicateurs de suivi

  41. ONTARIO (2) Problèmes rencontrés : difficultés à obtenir des informations du patient difficultés à identifier les pb liés au ttt mauvaise utilisation de « référentiels » manque d’informations scientifiques faible aptitude à communiquer méconnaissance des obligations professionnelles concernant la surveillance et le suivi des patients

  42. ONTARIO (3) Années d’activité : 34 (10 – 52) Sexe : 66% hommes Officine : 87% Lieu du diplôme : 45% Canada / USA Succès à la recertification : 69%

  43. ONTARIO (4) 2002 : OCP Professional Skill Enhancement Workshop 2 ½ journées Références cliniques (mentor) Interactions avec le patient Identifier au plus 3 axes stratégiques Evaluation immédiate, puis à 12 – 18 mois impact sur les pratiques professionnelles

  44. ONTARIO (5) Le PSEW m’ a aidé à mieux comprendre l’évaluation des pratiques : 80%, score 3,47/4 Je n’ai pas perdu mon temps : 91%, score : 3,56/4

  45. ONTARIO (6) Depuis le PSEW , je me suis amélioré pour (n=35) : Recueillir les infos : 84% Utiliser les infos sur les ttt : 92% Ecoute active : 40% interview cohérente du patient : 60%

  46. ONTARIO (7) Comment évaluez-vousla participation au PSEW pour utiliser les infos ttt : 8.8 interpréter les questions : 7.7 rechercher les références : 8.6 recueillir les infos du patient : 7.2 communiquer avec le patient : 8.6 confiance en mes capacités de P : 7.4

  47. CONCLUSION • L’évaluation est obligatoire, mais à améliorer • Il faut définir les objectifs de chaque FMC, et les vérifier • Il faut généraliser le concept d’évaluation • Il faut toujours innover en FMC

More Related