1 / 35

EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR L’INTERNET:

EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR L’INTERNET: une étude quasi-randomisée auprès des médecins généralistes. Lucie BAERT-QUIBEL 27 mai 2004. 1) Les recommandations professionnelles

kenadia
Download Presentation

EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR L’INTERNET:

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EVALUATION DE L’OUTIL DE RECHERCHE Doc’CISMeF POUR LA DIFFUSION DES RECOMMANDATIONS PROFESSIONNELLES SUR L’INTERNET: une étude quasi-randomisée auprès des médecins généralistes Lucie BAERT-QUIBEL 27 mai 2004

  2. 1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF

  3. LES ENJEUX Données de la recherche Expérience clinique Décision Préférences du patient RECOMMANDATIONS PROFESSIONNELLES (RP) : Définition (Institute of Medecine, 1990) « Les RP sont des propositions développées selon une méthode explicite pour aider le professionnel de santé et le patient à rechercher les soins les plus appropriés dans des circonstances cliniques données » Pratiquer une médecine fondée sur les preuves EBM Améliorer coût/efficacité des services de santé Faciliter l’accès aux résultats pertinents de la recherche médicale (flux continu des publications) Améliorer l’état de santé des patients

  4. RP : LES METHODES Recommandation pour la Pratique Clinique (RPC) Conférence Formalisée d’Experts (CFE) Conférence de Consensus (CC) Si controverse sur un sujet pouvant se décliner en quelques questions Si peu ou pas de données scientifiques sur un thème. Si thème complexe nécessitant un travail prolongé.

  5. RP : IMPACT • Critères de jugement : • Audience : couverture médiatique, nombre de citations • Connaissance : connaissance déclarée des RP, intentions de prescription • Modification des pratiques : déclarations de pratiques, analyse du dossier patient, mesure de la variation des prescriptions ou de la consommation médicamenteuse • Modification de l’état de santé • Répercussion dans l’organisation des soins ou les programmes de recherche • Résultats : • Etudes souvent contradictoires : difficultés méthodologiques (hétérogénéité des populations étudiées, des interventions ciblées, des critères de jugement) • Grimshaw et Al (1993) : 55/59 études ont montré des « améliorations » du processus de soins, 9/11 études ont rapporté des « améliorations » sur les résultats de soins. Mais grande variation des effets l’impact des RP reste limité

  6. RP : BARRIERES A LA MISE EN APPLICATION • Liées aux RP : manque de lisibilité, pas applicables en pratique, pas adaptées aux besoins réels… • Liées aux praticiens : perte de liberté clinique, inertie des comportements, amalgame entre les RP et les RMO avec une connotation négative • Liées à l’environnement : refus du patient, problèmes d’organisation. STRATEGIES POUR AMELIORER L’IMPACT

  7. De mise en oeuvre • audits • mesures administratives • rappels ou reminders sur support papier • systèmes informatisés d’aide à la décision médicale (SIADM) STRATEGIES D’élaboration (contenu et présentation) • De diffusion • Le support papier • Le support « FMC »: • distribution de documents imprimés ou matériels audiovisuels • réunion débat interactif, conférence • élaboration de consensus locaux • intervention de leaders d’opinion • visites d’éducation au cabinet du médecin • Le support électronique • CD-Rom • l’Internet = sujet de ce travail • Les interventions les plus efficaces : • les visites d’éducation • les rappels (seuls les SIADM permettraient d’envisager la mise en œuvre simultanée de nombreuses RP) • les réunions débats interactifs • les audits - retours d’information • l’association de plusieurs interventions +++ Pas de méthode définie pour garantir la mise en application des RP

  8. L’INTERNET : UN OUTIL ADAPTE POUR LA DIFFUSION D’INFORMATIONS EN SANTE ? • Utilité : source d’information majeure, grandes potentialités • Rapidité : oui si connexion de qualité et compétence pour manipuler ces outils. • Validité : information de tout type et de qualité hétérogène. Les ressources pertinentes sont difficiles à localiser.

  9. OU TROUVER DES RP SUR L’INTERNET? Quelques exemples • Les agences gouvernementales : • ANAES : Agence Nationale d ’Accréditation et d ’Evaluation en Santé • SIGN : Scottish Intercollegiate Guideline Network • ... • Les sociétés savantes : • SOR : Standards, Options et Recommandations • NGC : National Guideline Clearinghouse • CISMeF : Catalogue et Index des Sites Médicaux Francophones, site Web du CHU de Rouen • ...

  10. 1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF

  11. CISMeF COMMENT ? • OBJECTIF : faciliter l’accès à des documents médicaux de qualité en français et gratuits Recensement : (n  13500 ressources) 3 axes prioritaires : la médecine factuelle, l’enseignement, l’information des patients Filtrage et sélection : seulement les ressources de qualité • Description, indexation et classification des ressources : • Deux outils standards : • - des métadonnées • - le thésaurus MeSH • Deux nouveaux concepts : • -les métatermes • - les types de ressources

  12. DESCRIPTION, INDEXATION ET CLASSIFICATION DES RESSOURCES LES METADONNEES - Dublin Core + 7 autres champs spécifiques à CISMeF (décrire et indexer les ressources) - HIDDLE (transparence, la confiance et la qualité de l’information) - métadonnées spécifiques à l’enseignement: (ex : « cycle », « l’année d ’étude ») LE THESAURUS MeSH - Version française de l ’INSERM - Langage le plus connu par les professionnels de santé (Medline) - 22600 mots-clés (ex : « abdomen », « tumeur ») et 84 qualificatifs (ex : « diagnostic », « complication ») LES METATERMES - Permettent un classement thématique - Correspondent à des spécialités biologiques ou médicales LES TYPES DE RESSOURCES Décrivent la nature de la ressource (ex : « recommandation », « patient », « corrigé d ’annales »)

  13. EXPLOITATION DE LA TERMINOLOGIE CISMeF CISMeF est structuré en 4 niveaux hiérarchiques : métatermes, mots-clés, qualificatifs et type de ressources L’OUTIL DE RECHERCHE Doc ’CISMeF 4 modes de recherche : recherche simple (langage naturel) recherche avancée recherche booléenne (documentalistes) recherche pas à pas

  14. CISMeF et Doc’CISMeF • Satisfaction des utilisateurs? • Comment appréhendent-ils cet outil? • Doc’CISMeF est-il efficace pour diffuser des RP? • Garantit la validité des ressources • Permet une présentation claire et organisée de l ’information médicale • Offre des possibilités de recherche précise • Est l’un des sites les plus fréquentés par les médecins

  15. 1) Les recommandations professionnelles 2) CISMeF et son outil de recherche Doc’CISMeF 3) Evaluation de Doc’CISMeF

  16. OBJECTIFS DE L ’ETUDE 1) Déterminer si Doc’CISMeF est efficace pour diffuser des RP auprès des médecins généralistes. 2) Evaluer si une session de formation à l’utilisation de Doc’CISMeF améliore les performances de recherche des praticiens 3) Mesurer le différentiel entre l’accès aux RP et l’accès à une information précise dans ce document

  17. MATERIELS ET METHODES (1) • Partiellement financée par l ’ANAES dans le cadre du programme de recherche 2001-2002 • En mars et avril 2003 : une séance de formation et d’évaluation de Doc’CISMeF. • En avril 2004 : une enquête téléphonique sur l’utilisation de Doc’CISMeF sur l’année écoulée.

  18. MATERIELS ET METHODES (2) Etude mars/avril 2003 • 55 médecins généralistes volontaires (recrutés à partir de la liste du CHNGE puis de l’annuaire) • 2 groupes : (étude quasi-randomisée) • évaluation après formation (n = 28) • évaluation avant formation (n = 27) • la session de formation (~ 1h) : terminologie CISMeF, recherche simple, recherche avancée, type de ressource « recommandation » • la session d ’évaluation (~ 1h) : 5 questions sous forme de cas cliniques (max 12min/question)

  19. MATERIELS ET METHODES (3) Questions proposées aux médecins • 1 – Diabète de type 2 • Quel schéma thérapeutique proposer à une femme de 45 ans, dont l'Indice de Masse Corporelle (IMC) est à 31, sans stérilet et sans autre anomalie biologique ou clinique ? • 2 – Asthme • A - Retrouver les 4 niveaux de gravité de l'asthme • B - Pour un adulte jeune, dont vous avez évalué qu'il était porteur d'un asthme persistant modéré, quelles sont les recommandations thérapeutiques ? • 3 – Cancer du sein • A – Quel dépistage du cancer du sein proposer à une femme de 51 ans qui arrive dans votre clientèle sans antécédents familiaux ni personnels ? • 4 – Lombalgie • A – Quelle est la place du scanner chez un patient porteur de lombalgie clinique depuis 3 semaines sans atteinte sciatique clinique ?

  20. MATERIELS ET METHODES (4) • Profil des participants : âge, habitudes d’utilisation de l’Internet et de CISMeF • critères d’évaluation de Doc’CISMeF • critères analysés pour chaque objectif distinct • succès pour trouver un document pertinent (critère majeur) • succès pour identifier un paragraphe pertinent (critère majeur) • temps nécessaire à la recherche (critère majeur) • nombre de clics • mode de recherche • satisfaction • difficulté • critères qualitatifs (évaluation globale) : design, clarté de la présentation, qualité de l’aide à la navigation, facilité de la navigation • « l’utilisation régulière de ce site pourrait faciliter votre pratique clinique? »

  21. RESULTATS (1) • Profil des participants : • 50 ans en moyenne • 87% CHNGE • 93% avaient déjà utilisé Internet (78% personnel, 82% professionnel) • 36% avaient déjà utilisé CISMeF

  22. RESULTATS (2) Figure 1 : répartition du nombre de médecins généralistes par nombre de documents pertinents trouvés p = 0,078 . Test exact de Cochran-Armitage Pas de différence significative entre les deux groupes

  23. RESULTATS (3) Figure 2 : Répartition du nombre de médecins généralistes par nombre de paragraphes pertinents identifiés p = 0,714 . Test exact de Cochran-Armitage Pas de différence significative entre les deux groupes

  24. RESULTATS (4) Pas de différence significative entre les deux groupes quelque soit l’objectif ou le critère considéré

  25. RESULTATS (5) Figure 3 : succès de la recherche par objectif et par groupe

  26. RESULTATS (6) Estimation de Kaplan-Meier de la survie cumulée par question et par groupe SF : groupe sans formation AF : groupe avec formation n : nombre total de médecins qi: nombre total de paragraphes pertinents identifiés La survie cumulée en un temps t est la probabilité que le temps nécessaire pour identifier un paragraphe soit supérieure ou égale à t * test du Logrank (différence significative pour une erreur de premièreespèce de 5% si p  0,01)

  27. RESULTATS (7) • 93 à 56% (selon les objectifs et les groupes) des médecins ont été satisfaits ou très satisfaits de leur recherche. • 82 à 41% (selon les objectifs et les groupes) des médecins ont estimé leur recherche facile ou très facile • mode de recherche : • groupe formé : 4,9 RA et 0,6 RS en moyenne • groupe non formé : 1,5 RA et 4,6 RS

  28. RESULTATS (8)

  29. RESULTATS (9)

  30. RESULTATS DE LA PHASE 1 • 1) Doc’CISMeF est performant. • 2) Impact de la session de formation • Uniquement sur le mode de recherche et la qualité de l’aide à la navigation. • Le groupe des médecins formés n’a pas été plus performant ou plus rapide que le groupe des médecins non formés. • 3) Différentiel non négligeable entre l’accès au document et l’accès à l’information.

  31. L ’ENQUETE TELEPHONIQUE (1) Utilisation de Doc’CISMeF depuis un an. n = 53 (2 perdus de vue) n = 34 non initiés CISMeF n = 19 initiés CISMeF Mars 2003 n = 8 0/mois n = 27 1,5 fois/mois n= 18 6 fois/mois Mars 2004 Manque de temps Complexité du site recherche plus efficace n = 9 recherche plus rapide n = 8 N.B.: Utilisation de CISMeF pendant une consultation : n = 5

  32. L ’ENQUETE TELEPHONIQUE (2) • Mesure de l’intervention de Doc’CISMeF pour améliorer l’impact des RP • 38% ont déclaré avoir découvert des RP avec Doc’CISMeF. • 45% ont déclaré avoir modifié leur pratique après avoir consulté des RP sur CISMeF.

  33. L ’ENQUETE TELEPHONIQUE (3) • La session de formation • 51% des médecins l’estiment insuffisante. • Elle est : • indispensable (32%) • utile (64%) • inutile (4%)

  34. L ’ENQUETE TELEPHONIQUE (4)

  35. CONCLUSION ET PERSPECTIVES RP BFES CISMeF/ANAES DIFFUSION Doc ’CISMeF FORMATION Performant pour diffuser des informations médicales Pas d’impact Accès document Pas encore intégré à la pratique quotidienne Améliorer la formation Projet « e-FMC » lien (notice/paragraphe) DIFFERENTIEL Non négligeable Accès information Appréciation du médecin et préférences du patient APPLICATION • Amélioration de l ’état de santé des patients • Diminution des coûts

More Related