L’évaluation interne dans le secteur MS

1. L’évaluation interne dans le secteur MS IFSI 2013

2. Objectifs • Apprécier la capacité d’une structure à réaliser les missions qui lui sont confiées et la qualité de ses activités au regard de son autorisation. • Appréhender une démarche collective continue d’amélioration de la qualité. • Répondre aux exigences réglementaires (loi du 2 janvier 2002 du CASF, rappel avec la circulaire du 21 octobre 2011). • Améliorer le service rendu aux usagers.

3. Objectifs Fait évoluer les pratiques et les compétences Produit des connaissances pour nourrir la décision Renouvelle le dialogue Valorise l’action conduite Permet de s’adapter et anticiper les besoins sociaux Doit interpeller pour contribuer à l’évolution du secteur.

4. Questionnements relatifs à l’évaluation des actions • Évaluer la cohérence des actions: les finalités de l’action sont elles en cohérence avec les orientations prioritaires? • Évaluer la pertinence des actions: l’action constitue t elle une réponse au problème identifié? • Évaluer l’efficacité: les résultats atteints sont ils conformes aux objectifs retenus?

5. Questionnements relatifs à l’évaluation des actions • Évaluer l’efficience: les résultats sont ils à la mesure de l’ensemble des moyens mobilisés? • Évaluer l’impact: quels sont les effets des actions conduites, attendus ou inattendus , souhaités ou non?

6. L’évaluation interne n’est pas… • Un audit qui consiste en une vérification d’une situation par rapport à une grille pré établie. L’audit est réalisé par des « experts » extérieurs, parfois agréés → Dans l’évaluation interne les critères sont definis en interne en cohérence avec le projet d’établissement. Apprécier comment les écarts peuvent amener à une réflexion en termes d’amélioration

7. L’évaluation interne n’est pas … • Une certification qui est menée par un expert extérieur et qui a vocation a obtenir un  « label » certifiant de la conformité des procédures de production à un cahier des charges pré défini. → L’évaluation interne n’est pas destinée à l’obtention d’un «  label ». Elle contribue à une démarche autonome d’appréciation de l’activité et de la qualité des prestations

8. L’évaluation interne n’est pas… • Un contrôle qui consiste à vérifier le « bon » fonctionnement d’un système. Il est réalisé par les autorités institutionnelles compétentes. La non-conformité peut amener une sanction → l’évaluation interne ne débouche pas sur une sanction. Elle doit permettre une meilleure compréhension de l’établissement ou du service. elle doit permettre de construire des pistes susceptibles de faire progresser la structure.

9. Quatre conditions essentielles • Construire un référentiel simple et spécifique à la structure. • Mettre en place l’évaluation interne avec l’ensemble des salariés de la structure et la participation des représentants des usagers. • Utiliser les recommandations de l’ANESM (document intitulé La conduite de l’évaluation interne dans les établissements et services visés à l’article L. 312-1 du CASF téléchargeable sur le site de l’ANESM). • Avoir une démarche cohérente avec le projet d’établissement.

10. La promotion de l’autonomie et de la qualité de vie des personnes. La personnalisation de leur accompagnement. La garantie de leurs droits et de leur participation. La protection des personnes et la prévention des facteurs de risque liés à la vulnérabilité. L’insertion et l’ouverture de la structure sur son environnement. L’intégration des différentes ressources internes et externes. Son organisation interne, ses ressources humaines et financières, son système d’information. Intégrer les axes prioritaires retenus par l’ANESM

11. Calendrier d’évaluation • Communication des résultats tous les 5 ans ou lors du renouvellement du CPOM à l’autorité ayant délivré l’autorisation initiale • ESMS de droit commun: 3 évaluations internes en 15 ans • ESMS autorisés et ouverts avant la loi du 2 janvier 2002: au moins 1 évaluation interne avant 2014 • ESMS autorisé et ouverts avant loi HPST(21/07/2009): au moins une évaluation 3 ans avant date de renouvellement d’autorisation.

12. Méthodologie proposée 5 étapes

13. Étape 1 • Analyse de l’existant (ex sur la base du projet d’établissement, de questionnaires de satisfaction, d’observations etc.) • Constitution d’un comité de pilotage (direction, représentants des personnels par catégories, représentants des usagers, représentants des familles) après une présentation de la démarche à l’ensemble des salariés.

14. Étape 2 • Adaptation et personnalisation d’un référentiel de base avec le comité de pilotage. • Choix de x références, y thèmes et z questions en équipe

15. Étape 3 • Constitution de x groupes de travail sur la base du volontariat (chaque salarié est titulaire ou suppléant d’un groupe). • Validation par chaque groupe des thèmes et questions. • Proposition par chaque groupe de moyens et de preuves afin de pouvoir réaliser l’évaluation interne.

16. Étape 4 • Chaque groupe de travail réalise l’évaluation des différents thèmes de sa référence à partir du référentiel. • Pour chaque question, le référentiel propose 4 réponses possibles : • A : le personnel considère que la structure satisfait à la question posée. • B : ce sont souvent des variables où la structure satisfait à la question, mais le personnel souhaite encore s’améliorer et préconise souvent une action d’amélioration. • C : la structure ne satisfait que partiellement à la question. Elle a souvent des moyens mais pas de preuves. C’est pourquoi des actions d’amélioration sont prévues. • D : la structure ne satisfait pas à la question posée. Elle ne dispose ni de moyens ni de preuves. Le personnel doit alors proposer des actions d’amélioration (souvent les plus urgentes à mettre en place).

17. Étape 5 • L’évaluation de chaque référence est présentée au groupe de travail concerné. • Des actions d’amélioration prioritaires sont définies pour l’année en cours (plan d’actions d’amélioration) • Les chefs de projet responsables de la mise en place des actions d’amélioration sont désignés sur la base du volontariat (ils s’organisent comme ils le souhaitent et s’entourent de compétences transversales). Ils ont une fiche projet comme base de travail.

18. Rédaction du rapport d’évaluation • réévaluation

19. Points essentiels de la démarche d’évaluation • Favoriser la participation professionnelle • Pluridisciplinarité des groupes de travail • Communication autour des résultats de l’évaluation en interne • Individualisation du déploiement des actions d’amélioration • Réévaluation des plans d’actions

20. Exercice: Construire un référentiel

21. « Les ESSMS sont libres de choisir leurs outils d’évaluation interne parmi ceux déjà existants, de les adapter ou même de les créer( …) Si les démarches et les outils ne remplissent pas les conditions citées, les ESMS seront considérés comme n’ayant pas rempli leur obligation interne. » Circulaire du 21 octobre 2011

22. Arrêter des références (minimum 4) • Définir des thèmes • Poser des questions: • Quels choix réalisés? • Comment ont-ils été mis en place? • Quelle analyse des effets? • Quelles sont les marges de manœuvre ? • Quel est le plan d’actions envisagé ?

23. Exemple Référence relative à « la protection et prévention des risques inhérents à la situation des usagers » • Questions: quels risques? Quels objectifs? Quelles actions? Quels moyens? Quelle efficience? Quelle efficacité? Quel impact? Etc.

24. Thème: protection des usagers contre le risque de chutes → Quelles actions déjà en place : impact? Efficacité? Ce qui est fait en accord avec le projet d’établissement? Etc. Rédiger les questions, actions se rapportant à celle-ci.

25. Plan d’actions? • Quels indicateurs d’amélioration? • Nbre de chutes • Satisfaction des familles/ usagers • Nbre de PEC clinique • Existence/ nbre de personnel formé sur la PEC • Personnel responsable de cette action?

26. Synthèse de l’évaluation interne de 2007 d’un EPMS (IME) • Mettre en œuvre le projet d’établissement et ses services • Mener à bien les interventions d’accompagnement personnalisé éducatif, social, pédagogique et thérapeutique • Garantir l’adaptation, la valorisation et l’évolution des compétences ainsi que l’implication des personnels • Assurer la mise à disposition et l’adaptation des ressources logistiques et financières • Fonder les interventions d’accompagnement personnalisé et collectif sur des valeurs et une éthique partagée • Garantir la satisfaction des usagers, des familles, des professionnels, des partenaires et de l’environnement • Garantir la cohérence du management « par la qualité » A = Satisfont à la question posée B = Satisfont en grande partie  C = Satisfont partiellement D = Ne satisfont pas à la question

27. Synthèse de l’évaluation interne de 2007 - ex: IME- • Mettre en œuvre le projet d’établissement et ses services • Mener à bien les interventions d’accompagnement personnalisé éducatif, social, pédagogique et thérapeutique • Garantir l’adaptation, la valorisation et l’évolution des compétences ainsi que l’implication des personnels • Assurer la mise à disposition et l’adaptation des ressources logistiques et financières

28. Synthèse de l’évaluation interne de 2007- ex: IME- • Fonder les interventions d’accompagnement personnalisé et collectif sur des valeurs et une éthique partagée • Garantir la satisfaction des usagers, des familles, des professionnels, des partenaires et de l’environnement • Garantir la cohérence du management « par la qualité »

29. Contenu minimum du rapport Recommandations ANESM • 3 parties: • Présentation de l’établissement • Éléments de méthode (divers outils, methode d’élaboration du référentiel) • Présentation des résultats

30. L’évaluation externe

31. Calendrier (Circulairedu 21/10/2011) • 2 évaluations en 15 ans: • 7 ans après date d’autorisation • 2 ans avant le renouvellement • ESMS ouverts et autorisés avant loi HPST: au moins une évaluation 2 ans avant le renouvellement • ESMS ouverts et autorisés avant loi du 2 janv. 2002: au plus tard avant le janvier 2015

32. Réalisé par un professionnel extérieur habilité par l’ANESM et sélectionné par l’établissement → Liste des organismes habilités régulièrement publiée par le bulletin officiel du ministère chargé de l’action sociale et consultable sur le site Internet de l’ANESM.

33. Objectifs • Porter une appréciation globale • Examiner les suites réservées aux résultats issus de l’évaluation interne • Examiner certaines thématiques et des registres specifiques • Élaborer des propositions et/ou préconisations.

34. Rapport • Les résultats sont remis par l’organisme évaluateur à l’établissement qui transmettra lui-même le rapport aux autorités

35. Contenu du rapport (a minima) • Éléments de cadrage • Descriptif de la procédure d’évaluation externe • Développements informatifs • Résultats de l’analyse détaillée • Synthèse • Toute observation utile à l’aide à la décision • Abrégé du rapport ( en cours d’expérimentation) • annexe

36. L’évaluation de la performance des ESSMS: les indicateurs ANAP

37. « Tableau de bord partagé »= 3 principes: • Commun aux champs des personnes âgées et personnes handicapées (enfants et adultes) • Outil de pilotage pour la structure et moyen d’échange avec les « partenaires » (ARS, Conseil General etc.) • Se situer par rapport aux autres (cf. logique de comparaison/ benchmarking)

38. 3 niveaux d’indicateurs: • Indicateurs de dialogue (niveau 1) • Clés d’analyse et de pilotage interne (niveau 2) • Fiche de caractérisation de la structure: description générale → Principe de complémentarité des analyses faites aux différents niveaux

39. Axe 1: prestations de soins et d’accompagnement pour les personnes Exemples: • Score moyen de dépendance GMP • Taux d’occupation des lits ou places autorisées

40. Axe 2: ressources humaines et matérielles • Exemples: • Taux d’ETP • Taux de personnes occupant une fonction de gestion d’équipe ou de « management » • Taux d’absentéisme

41. Axe 3: finances et budget • Exemples: • Taux d’atteinte des prévisions de recette • Taux d’indépendance financière

42. Axe 4: objectifs Échelle de maturité « politique d’amélioration continue de la qualité » Ex: Évaluation de la mise en place du CVS (conseil de la vie sociale) et autres groupes d’expression: constitution de groupes, calendrier, modalités de fonctionnement, moyens logistiques etc.

43. Merci pour votre attention

44. SIGLES • ANAP: Agence Nationale d’Appui à la Performance • ANESM: Agence Nationale de l’évaluation et de la qualité des établissements et services sociaux et medico sociaux. • CASF: Code de l’Action Social et des Familles • ESSMS: établissements et services sociaux et medico sociaux.