Intérêt du simulateur comme outil d’évaluation des DES d’anesthésie-réanimation. Expérience au CHU de Lille

1. Intérêt du simulateur comme outil d’évaluation des DES d’anesthésie-réanimation.Expérience au CHU de Lille Gilles Lebuffe, Stéphane Plateau Clinique d’Anesthésie-Réanimation de l’hôpital Huriez CHRU de Lille France

2. Aucune évaluation pour l’attribution du diplôme En anesthésie-réanimation: Délivrance du DES après soutenance d’un mémoire Selon les Facultés: Examen oral complémentaire Évaluation orale: Commodité d’organisation Evaluation de la prise en charge du patient à partir des connaissances scientifiques du candidat Apprécie la qualité du raisonnement ou le bon jugement Aucun retour sur la réactivité et le comportement en situation critique Evaluation des DES

3. Outil potentiel de formation et d’évaluation des internes Mise en situation du candidat sans interférer avec la sécurité du patient Création de scénarii Simples, réalistes et reproductibles Observation du raisonnement clinique en situation critique Reproduire matériellement les composantes d’une intervention chir sous AG Mannequin électronique (VS, pouls, PA) Matériel d’anesthésie (respirateur, système de perfusion) Monitorage Simulateur réaliste La simulation

4. Environnement de simulation

5. Elaboration d’une banque de scénarii Tester le candidat sur un éventail de cas Scénarii courts et valides Mise en place de scores d’évaluation Propositions des items par des experts Analyse de l’homogénéité des grilles d’évaluation ou consistance interne ou test  de Crombach Etude de la performance et de la fiabilité des items Valeur optimale entre 0,6 et 0,9 Scénario

6. Consistance interne de quelques situations Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

7. Consistance interne de quelques situations Br J Anaesth 2004, 92; 388 Anesthesiology 2002, 97; 1434

8. Scénario intubation oesophagienne et choc anaphylactique

9. Choc anaphylactique

10. Score d’évaluation (1)

11. Scénario bronchospasme et souffrance myocardique

12. Bronchospasme

13. Score d’évaluation (2)

14. Evaluation de la préparation du bloc opératoire

15. Validité du simulateur pour apprécier la performance des internes A/R en situation critique

16. Scores globaux Scénario intubation oesophagienne et réaction anaphylactique Scénario bronchospasme et souffrance myocardique *

17. Testing internal consistency and construct validity during evaluation of performance in a patient simulatorDevitt et al. Anesth Analg 1998; 86:1140 Pour chaque item, score significativement plus élevé pour les anesthésistes expérimentés (P<0.001; Test de Cochran-Mantel-Haenszel)

18. Evaluation of anesthesia residents using mannequin-based simulatorSchwid et al. Anesthesiology 2002; 97:1434 • Simulateur Méti • 97 internes de 10 facultés américaines • Scénarii • Deux scénarii successifs par interne • Score d’évaluation sur 108 points *& *& * * p<0.05; débutant vs année 1,2,3 & p<0.05; année 1 vs année 2,3

19. Analyse des erreurs commises au cours de l’évaluation

20. Omissions lors des procédures de vérification du matériel et des consignes de sécurité P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

21. Prise en charge du choc anaphylactique P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

22. Principales erreurs pour la prise en charge du bronchospasme P = comparaison omissions juniors (1ère et 2ème année) vs seniors (3ème et 4ème année)

23. Evaluation du simulateur par les internes

25. Appréciationdu simulateur par les internes d’A/R Valeurs médianes [25 – 75ème centile]

26. Appréciation du simulateur par les internes d’A/R: Commentaires libres • « Le stress de l’évaluation est non négligeable. Malgré le réalisme, quelques difficultés à se mettre dans l’ambiance d’un bloc avec un vrai patient » • « Difficulté d’être naturel avec un mannequin » • « Difficulté de commenter et d’agir en même temps » • « Mannequin très réaliste, excellente mise en situation, mémorisation intense des erreurs commises lors de la simulation » • « On est plus vigilant car on sait qu’il va se passer quelque chose » • « Très stressant, impressionnant » • « Intéressant, utile pour la formation, à quand la prochaine »

27. Intérêt d’une évaluation par simulation comparée aux examens écrits et oraux • Faible corrélation entre les scores de simulation et les examens écrits et oraux • r = 0,38 vs examen écrit et 0,43 vs examen oral (Anesthesiology 2002; 97: 1434) • r = 0,19 vs examen écrit et 0,04 vs examen oral (Med Educ 2000; 34: 42) • Exploration de différents aspects de la connaissance • Evaluation de la performance clinique avec le simulateur • Existe-t-il une appréciation du raisonnement clinique avec la simulation? • Evaluation du raisonnement par la verbalisation des décisions et des actes réalisés • Problème de la mobilisation des ressources cognitive en situation critique • Avantage de l’observation du candidat dans un environnement similaire à celui de la réalité • Nécessité d’exposer l’interne à plusieurs situations afin de réduire la spécificité de contenu

28. Conclusions • La simulation apparaît comme un outil discriminant et valide pour apprécier les performances des internes d’A/R en situation critique • La validité de la simulation dépend principalement du niveau de réalisme des paramètres simulés et de l’homogénéité des grilles d’évaluation • Nécessité de valider nos résultats sur des effectifs plus larges impliquant plusieurs facultés • Problème de la cohérence des méthodes d’enseignement et de l’évaluation par simulation