JOURNEE D’ETUDE FANCMPP – 1 er Février 2008

1. JOURNEE D’ETUDE FANCMPP – 1er Février 2008 L’EVALUATION – LOI DU 2 JANVIER 2002 Michel-Henri Walter – COFOR 08/01/126 Boulogne-Billancourt, le 1 février 2008

2. MICHEL-HENRI WALTER Directeur de département Qualité – Certification - Evaluation

3. Société créée en 1977 • 2 pôles de compétences : • Management, Gestion, Relations clients • Qualité, Certification, Évaluation • (Sanitaire, médico-social, services)

4. Une approche, une « signature » particulière : •  L’ACCOMPAGNEMENT POUR L’ATTEINTE D’OBJECTIFS PRE-DEFINIS • L’ACCOMPAGNEMENT DE DYNAMIQUES DE CHANGEMENT

5.  UNE INTERVENTION CENTREE : • Dans une premier temps plutôt sur le « quoi ? » et le « pourquoi ?» • Dans un second temps plutôt sur le « comment ? »

6. PROGRAMME 1)L’EVALUATION INTERNE :  Fondements règlementaires – ESPRIT  CONTENU – thèmes incontournables  Ce que l’évaluation interne ne doit pas être 2)L’EVALUATION EXTERNE : • Articulation évaluation interne/évaluation externe • Contenu – objet • Du CNESMS à L’ANESM • Bonnes pratiques professionnelles : références, critères, indicateurs

7. PROGRAMME, suite 3)QUELQUES « BONNES QUESTIONS » pour mieux préparer la mise en œuvre d’une démarche : • Vision, visées • En termes de contenu • Création d’outils, reprise ou adaptation ? • Durée, phases, périodes autour d’une première évaluation interne • Organisation pour et autour de la démarche, en cours et après • Système de cotation, …

8. PROGRAMME suite 4)EXEMPLES (étapes d’une démarche) 5)QUESTIONS-REPONSES

9. DEFINITION • Pour le petit Larousse illustré, l’évaluation : « Action consistant à mesurerl’activité et l’efficacité (d’institutions) et à proposer des améliorations » • Pour la loi du 2 janvier 2002, évaluer : « Porter une appréciation sur l’activité et la qualité des prestations »

10. L’EVALUATION INTERNE

11. FONDEMENTS REGLEMENTAIRES - ESPRIT ENTRE AUTRES : • LOI DU 2 JANVIER 2002 : • Introduit l’obligation d’évaluation, définit son cadre • DECRET DU 15 MAI 2007 : • Précise ses principes, des éléments de contenu et modalités de réalisation • GUIDE POUR LES ETABLISSEMENTS ET SERVICES SOCIAUX ET MEDICO-SOCIAUX DE SEPTEMBRE 2006 (CNESMS) : • Détermine des principes et apporte des repères incontournables pour faciliter sa mise en œuvre • NOTES D’ORIENTATIONS – CNESMS  ANESM : • Reviennent sur certaines notions, notamment sur celle de « bonnes pratiques »

12. FONDEMENTS REGLEMENTAIRES – ESPRIT suite Pour la loi du 2 janvier 2002 : • Sa sixième orientation définit l’exigence pour les structures médico-sociales et sociales : De réaliser une évaluation interne tous les 5 ans, transmise à l’autorité chargée des autorisations De faire pratiquer une évaluation externe tous les 7 ans Crée un Conseil National de l’évaluation sociale et médico-sociale, organe de régulation

13. FONDEMENTS REGLEMENTAIRES – ESPRIT suite Pour le décret du 15 mai 2007 l’évaluation interne pour être valable nécessite : Un diagnostic partagé (auto-évaluation, co-construite et co-réalisée) La construction d’un cadre spécifique d’évaluation Le choix d’outils de mesure et d’appréciation adaptés (une certaine latitude laissée aux établissements)

14. FONDEMENTS REGLEMENTAIRES – ESPRIT suite Pour le décret du 15 mai 2007 l’évaluation interne doit : Porter une appréciation dans un but, une logique « d’INTERVENTION » ET « d’AIDE A LA DECISION » Etre différente par rapport aux approches du type « contrôles des normes » et de « certification » Déboucher sur la mise en place d’actions d’amélioration continue

15. FONDEMENTS REGLEMENTAIRES – ESPRIT, suite L’évaluation interne : Ne consiste donc pas seulement à réaliser « un ETAT DE SITUATION » Mais bien … À réaliser un « ETAT DE SITUATION » et à donner lieu à des actions concrètes de progrès DONC EVALUATION = CONSTAT + ENGAGEMENT DANS DES ACTIONS + PREUVES DE CES ACTIONS

16. FONDEMENTS REGLEMENTAIRES – ESPRIT, suite POUR LE DECRET DU 15 MAI 2007 Article 2.2 : « Les champs des évaluations interne et externe doivent être les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement ou service »

17. FONDEMENTS REGLEMENTAIRES – ESPRIT suite Article 2.2 : « Les évaluations successives internes et externes doivent permettre d’apprécier les évolutionset les effets des mesures prises pour l’amélioration continue du service rendu » Evaluation externe Evaluation externe Evaluation interne Evaluation interne Actions de progrès Actions de progrès Actions de progrès

18. CONTENU DE L’EVALUATION Pour l’évaluation interne : • Certains thèmes et éléments de contenu sont incontournables, au regard des textes… (guide pour les établissements et services sociaux et médico-sociaux de d’évaluation septembre 2006 – pages 17-20)

19. CONTENU DE L’EVALUATION, suite • Ainsi les établissements vont devoir revisiter leurs pratiques pour ce qui concerne, …

20. CONTENU DE L’EVALUATION, suite Les incontournables : 2 Les droits et participation des usagers + personnalisation des prestations Leur projet d’établissement et sa mise en œuvre L’organisation de l’établissement 1 3 L’établissement ou le service par rapport à son environnement 4

21. CONTENU DE L’EVALUATION, suite 1 L’EVALUATION INTERNE VA DEVOIR REINTERROGER : • La pertinence du projet d’établissement au regard de la structure : • Des attentes des publics concernés • Des besoins de l’établissement • De l’évolution de l’établissement (avec mise en œuvre d’un suivi) • La cohérence des missions confiées à la structure au regard : • Des politiques publiques • Des admissions réalisées par rapport aux critères d’admission déterminés pour l’agrément • La cohérence du projet d’établissement vis-à-vis des moyens disponibles (efficience)

22. CONTENU DE L’EVALUATION, suite 2 L’EVALUATION INTERNE VA DEVOIR REINTERROGER : • Les pratiques de l’établissement : • Le respect des droits des personnes accueillies, prises en charge • L’accès à la connaissance du public accueilli ou de ses représentants • La pratique des droits au quotidien • Le respect de la charte applicable • La participation des usagers, des représentants, des proches : • Au fonctionnement de l’association • À l’évaluation elle-même • La personnalisation de l’intervention : • Chaque cas (individualisation du projet) • Au regard du contrat de prestation (admission – sortie – suivi) • La sécurité des usagers et la gestion des risques : • Gestion au quotidien • Prévention de la maltraitance

23. CONTENU DE L’EVALUATION, suite 3 L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT : • La manière de mobiliser ses ressources humaines : • En personnel • En bénévoles • En intervenants ponctuels • Son organisation du travail : • Sa formalisation (organigramme, définition des activités,…) • Ses pratiques effectives (activité) • Les améliorations mises en œuvre à ce sujet • L’existence continuité des interventions • Son cadre de vie : • Qualité de vie (situation, locaux, confort,…) • Qualité du restaurant

24. CONTENU DE L’EVALUATION, suite suite 3 L’EVALUATION INTERNE VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT (suite) • Sa manière de gérer ses ressources financières : • Stratégie de gestion • Les moyens financiers mobilisés • La répartition des moyens mobilisés • Son système d’informations : • Pertinence du système d’informations (informations individuelles et collectives) • Respect de la confidentialité

25. CONTENU DE L’EVALUATION suite 4 L’EVALUATION VA DEVOIR REINTERROGER POUR L’ETABLISSEMENT : • L’insertion de la structure dans le contexte territorial : • La pertinence de sa prestation au regard des besoins sociaux locaux • La valeur ajoutée de sa prestation au regards des réponses proposées par les autres établissements • Son ouverture sur l’environnement : • Interactions vertueuses avec l’environnement • Mobilisation de compétences complémentaires • Ses partenariats – Son travail en réseau • Son accessibilité : • Sa communication externe (comment l’établissement se fait connaître ?)

26. CONTENU A lire ces textes, on s’aperçoit qu’en fait l’évaluation s’inscrit dans une perspective relativement ambitieuse…

27. OBJET DE L’EVALUATION Apprécier à certains intervalles réguliers des éléments : • de cohérence (les actions menées sont-elles en cohérence avec les orientations prioritaires ?) • de pertinence (les actions menées sont-elles des réponses adaptées aux problèmes ?) d’efficacité (les résultats obtenus sont-ils conformes aux objectifs prévus ?) d’efficience (les résultats sont-ils à la mesure des moyens employés ?) d’impact (quels sont les effets voulus ou non des actions menées)

28. EVALUATION INTERNE Oui une ambition certaine… Ne pas, cependant s’inquiéter outre mesure !

29. CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE UNE ANALYSE BINAIRE DU TYPE « EST / N’EST PAS » Une énorme « check list » avec des questions auxquelles on répond par oui ou non UN CONTRÔLE DE « FLICAGE» à la recherche des bons élèves et des coupables UNE ANALYSE MENEE PAR QUELQUES-UNS, « happy few »

30. CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE • Une évaluation individuelle (clinique ou des personnels) • L’évaluation des besoins en équipement • Du contrôle technique • Un moyen de comparaison des services ou établissements entre eux,…

31. CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE • Un extrait de discussions quotidiennes • Un travail sans méthode préétablie • Une analyse sans formalisation ni synthèse • Une étude, sans support de référence (guide de bonnes pratiques, référentiels,…) • Une analyse dénuée d’une organisation pour la porter, de responsabilités définies et d’un projet

32. CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE UNE DES PREMIERES QUESTIONS, ESSENTIELLE, A VOUS POSER ? Visez-vous à répondre uniquement aux textes règlementaires (conformité) ? et/ou A instaurer et entretenir une dynamique institutionnelle par et à travers cette évaluation interne ainsi que les suivantes ?

33. CE QUE L’EVALUATION INTERNE NE DOIT PAS ETRE UNE SECONDE QUESTION EN COROLLAIRE Comment allez-vous faire pour rendre pérenne cette nouvelle pratique ?

34. L’EVALUATION EXTERNE

35. L’EVALUATION EXTERNE Sera réalisée par un organisme extérieur habilité Tous les 7 ans Ses résultats conditionnent les modalités du renouvellement de l’autorisation tous les 15 ans

36. EVALUATION EXTERNE EVALUATION EXTERNE 7 ans 7 ans 7 ans EVALUATION INTERNE EVALUATION INTERNE EVALUATION INTERNE 5 ans 5 ans 5 ans 5 ans Tous les 15 ans Tous Renouvellement, autorisation de fonctionner ARTICULATION EVALUATION INTERNE/EXTERNE

37. ARTICULATION EVALUATION INTERNE/EXTERNE POUR LE DECRET DU 15 MAI 2007 « Même champs »  EVALUATION INTERNE EVALUATION EXTERNE (Même texte, même référentiel ? On peut le penser)

38. CONTENU DE L’EVALUATION EXTERNE 2 Les droits et participation des usagers + personnalisation des prestations Leur projet d’établissement et sa mise en œuvre L’organisation de l’établissement 1 3 L’établissement ou le service par rapport à son environnement 4

39. L’EVALUATION EXTERNE LES EVALUATEURS EXTERNES (d’après le décret du 15 mai 2007) APPRECIENT LES SUITES DONNEES PAR L’INSTITUTION APRES L’EVALUATION INTERNE • APPRECIENT • La pertinence de l’évaluation interne produite (modalités, priorités issues de la synthèse) • La communication et l’implication des acteurs • La dynamique générale mise en œuvre (amélioration des prestations) • La propension de la démarche à s’inscrire dans un développement pérenne • ANALYSENT • Les mesures d’amélioration prises • IDENTIFIENT • Les modalités de suivi de l’évaluation dont l’institution s’est dotée • Bilans périodiques réalisés • Indicateurs • Réunions - revues • Accumulation d’expérience

40. DU CNESMS à l’ANESM LE CONSEIL NATIONAL DE L’EVALUATION SOCIALE ET MEDICO-SOCIALE (loi du 2 janvier 2002) Devenu l’ANESM en 2007, c’est-à-dire : L’Agence Nationale de l’Evaluation et de la qualité des Etablissements et Services sociaux et Médico-sociaux

41. DU CNESMS à l’ANESM AUJOURD’HUI, ROLE DE L’ANESM (reprise de celui du CNESMS) : Valider ou élaborer des outils et instruments formalisant les recommandations debonnes pratiques professionnelles, les références et les procédures Habiliter les organismes appelés à réaliser les évaluations externes Définir un cahier des charges pour une « bonne » réalisation des évaluations externes

42. LES BONNES PRATIQUES PROFESSIONNELLES que l’ANESM valide ou ne valide pas Bonnes pratiques professionnelles qui peuvent s’exprimer sous forme de : Recommandations BASES elles-mêmes pouvant donner lieu à des : Les outils d’évaluation Critères (comment ?) Indicateurs (combien ?) REFERENCES et des Manière de faire PROCEDURES

43. Les bonnes pratiques : Valeurs partagées et passages obligés qui éclairent les actions professionnelles à mener. Elles s’expriment dans : DES RECOMMANDATIONS : Grandes lignes d’action Précisées par : DES RÉFÉRENCES : énoncés d’exigences au regard d’objectifs à atteindre (complétées par des critères (comment) et des indicateurs (combien)) Précisées par : DES PROCÉDURES : séquences ordonnées d’une activité

44. NOTION DE REFERENTIEL Généralement le document qui définit lesrecommandations de bonnes pratiques auxquelles les acteurs vont devoir se référer: • Références (critères, indicateurs) • Voire les procédures = UN REFERENTIEL (document auquel on se réfère)

45. QUELQUES BONNES QUESTIONS A SE POSER (avant de se lancer dans la DEMARCHE)

46. QUELQUES BONNES QUESTIONS EN TERME DE CONTENU : • MINIMALISTE ? (les 4 domaines incontournables) • Projet d’établissement • Droit et participation des usagers • Organisation • Établissement dans son environnement • … ou intégrant d’autres exigences de l’institution ? • Quel degré de précision dans les questions ? UNE CERTAINE LIBERTE LAISSEE A L’ETABLISSEMENT

47. QUELQUES BONNES QUESTIONS • Axe principalement de conformité et/ou chercher d’emblée à viser une dynamique progressive ? • Quel (s) outil (s) d’évaluation ? • Création d’un référentiel, reprise ou adaptation d’un référentiel existant ? • Quelle organisation pour et autour de la démarche ? Au cours de la période d’évaluation et après ?

48. QUELQUES BONNES QUESTIONS • Quelles période et durée pour l’évaluation interne (ressources à mobiliser) ? • Quel système de cotation ? A. B. C. D. – couleurs – nombres ? • Quelle information aux salariés avant pendant et après ? • Y-aura-t-il des évaluations internes, intermédiaires ? • Vous placer d’ores et déjà en perspective d’aller plus loin (certification) ?

49. EXEMPLES – ETAPES D’UNE DEMARCHE

50. SCHEMA D’INTERVENTION (à titre d’exemple) 2008 2009 Groupe chargé du suivi du projet (comité de pilotage) Phases de communication sur la démarche (point d’étape) Actions de progrès Mise en place d’une organisation pour l’évaluation Appropriation (formation à l’utilisation des outils) Réalisation de l’évaluation interne Restitution aux personnels Mise en forme d’une synthèse Création des outils pour l’évaluation (référentiel) - Adaptation d’outils existants (référentiel)  Sensibilisation des personnels