La conduite de l’évaluation interne

1. La conduite del’évaluation interne Enjeux, étapes et méthodologie de l’évaluation interne Laetitia Maginot Évaluatrice interne des organisations sociales Certifiée AFNOR - juillet 2011

2. Au programme • Mission de l’éval.int. & sources de l’évaluation • Contexte et enjeux • L’évaluation, une démarche qualité : définitions • Les échéances légales • Etapes et chronologie de la démarche • L’approche évaluative de l’adimc74 • Les champs d’évaluation à balayer • Présentation des outils de l’évaluation • Les instances à mettre en place : le comité de pilotage et les groupes de travail • Formations proposées aux volontaires • Intro au référentil et grille d’évaluation

3. Missions de l’évaluatrice interne

4. Sources de l’approche et de la méthodologie présentée • L’approche et la méthodologie présentées se réfèrent à des sources multiples : • au cadre légal et règlementaire • aux recommandations de l’ANESM relatives à la conduite et la mise en œuvre de l’évaluation interne dans les éts et serv. visés à l’art L312.1 du CASF • à divers documents issus de la FNARS, de RH organisation, d’autres éléments de bibliographie (L’évaluation interne de JB Le Nagard, Laforcade), etc • ainsi qu’à l’approche AFNOR proposée dans le cadre de ma formation à l’évaluation interne.

5. Contexte et enjeux • Contexte L’évaluation s’inscrit dans le cadre de la Loi 2002-2 qui impose à tous les éts et serv. visés à l’art L312.1 de CASF une évaluation interne et une évaluation externe. Art. L312-8 du CASF (modifié par la loi °2009-879 du 21 juillet 2009) « Les établissements et services mentionnés à l'article L. 312-1 procèdent à des évaluations de leurs activités et de la qualité des prestations qu'ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées, selon les catégories d'établissements ou de services, par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux. Les résultats des évaluations sont communiqués à l'autorité ayant délivré l'autorisation. Les établissements et services rendent compte de la démarche d'évaluation interne engagée. Le rythme des évaluations et les modalités de restitution de la démarche d'évaluation sont fixés par décret. En outre : « Les établissements et services mentionnés à l'article L. 312-1 sont tenus de procéder à deux évaluations externes entre la date de l'autorisation et le renouvellement de celle-ci. Le calendrier de ces évaluations est fixé par décret. » Sachant par ailleurs (Article L.313-1 du CASF) que « l’autorisation est accordée pour une durée de quinze ans et son renouvellement, total ou partiel, est exclusivement subordonné aux résultats de l’évaluation externe. »

7. L’évaluation, une démarche qualité : éléments de définition • Définition du concept d’évaluation L'évaluation est d’origine terminologique dans la valeur. Si sa conception inclut la notion de mesure des écarts entre des objectifs voulus et des résultats atteints, elle dépasse cette notion en creusant dans le pourquoi des résultats obtenus. L’évaluation consiste à interpréter des données pour en construire un jugement sur la valeur et les effets. (Pourquoi c’est bien, pourquoi, c’est mal?) 2. Définition du concept de qualité Il existe une multitude de définitions, on en retiendra une : • Laforcade et Ducalet : la qualité est l’aptitude d’une organisation àrépondre aux besoins exprimés, implicites et potentiels de l’usager, de sa famille et des acteurs avec lesquels elle est en coopération, en vue de maintenir ou d’améliorer sa santé (au sens bio-psycho-social), son autonomie sociale et sa dignité d’être humain.

8. Leséchéances • 1ière évaluation interne à remettre à l’autorité ayant délivrée l’autorisation avant le 31/12/2013 puis tous les 5 ans • 1ière évaluation externe à remettre à l’autorité ayant délivrée l’autorisation avant le 31/12/2014 puis tous les 7 ans Pour les projets ouverts à des périodes différentes l’évaluation peut être rendue en même temps par souci d’uniformisation du processus. L’amplitude de 5 ans est un maximum. Il est possible de réaliser des évaluations à échéances plus rapprochées.

9. Les étapes de la démarche évaluation INTERNE

10. Les étapes de la démarche évaluatiOn EXTERNE

11. Chronologie

12. L’approche évaluative de l’ADIMC 74 • L’approche choisie s’inspire du courant participatif, pluraliste et coproduit… • L’ensemble des établissements et service du groupement sont concernés... • L’ensemble des acteurs sont impliqués • Le référentiel qualité ESAT dont s’inspireront les autres référentiels est créé selon une méthodologie innovante prenant en compte aussi bien la parole de l’usager et que celle des professionnels.

13. Qu’est ce qu’on évalue ? :Les 4 champs à évaluer en priorité

14. Les 4 champs à évaluer dans le cadre de l’évaluation interne • 1 / Le droit et la participation des usagers, la personnalisation des prestations (Art L.311-3 CASF Garantit à toute personne prise en charge par les ETS et Serv. l’exercice des droits et libertés individuels) • Respect de la dignité, intégrité, vie privée, intimité et sécurité • Le libre choix des prestations adaptées qui sont offertes à l’usager • Prise en charge et accompagnement individualisé consenti • Confidentialité des informations la concernant • L’accès à l’information • Information sur ses droits fondamentaux et voies de recours (affichage de la liste des personne qualifiée : obligatoire) • Participation directe ou avec l’aide de son représentant légal à la conception et à la mise en œuvre du projet d’accueil et d’accompagnement. 4 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche • Bientraitance : définition et repères pour la mise en œuvre • Les attentes de la personne et le projet personnalisé • Le questionnement éthique dans les établissements et services sociaux et médico-sociaux • Mission du responsable de service et rôle de l’encadrement dans la prévention et le traitement de la maltraitance à domicile

15. 2 / Le projet d’établissement ou de serv. et ses modalités de mise en oeuvre. • Nature du projet au regard des besoins identifiés • Cohérence du projet à l’égard des missions de l’éts ou serv autorisé • Activités et prestations • Continuité des interventions • Le PE/PS est construit avec les professionnels(participation) • Le PE/PS est évalué et réactualisé par une instance de suivi et d’animation 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche • Elaboration, rédaction et animation du projet d’établissement ou de service • Bientraitance (instaurer des modes d’encadrement respectueux des personnes et garants de la bientraitance)

16. 3 / L’organisation de l’établissement ou du service et ses ressources • Les ressources matérielles  • Les ressources humaines : la gestion des RH • La communication dans l’Ets/le service • Les ressources budgétaires  • Les autres ressources externes à l’établissement 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche • Bientraitance (accueillir le nouveau prof. et lui donner les moyens de comprendre et s’adapter aux usagers qu’il accompagne, soutenir les prof., promouvoir la réflexion éthique…) • Mise en œuvre d’une stratégie d’adaptation à l’emploi des personnels au regard des populations accompagnées.

17. 4/ L’établissement/service dans son environnement • L’insertion de l’établissement/service dans le contexte territorial • La place du projet dans son organisation institutionnelle • L’ouverture de l’établissement ou service sur son environnement • L’accessibilité de l’établissement/service • La reconnaissance de l’Ets/S par l’environnement • La reconnaissance de ses compétences et l’utilisation qu’en font les partenaires • Le réseau de compétence : les compétences humaines disponibles dans l’environnement • Systèmes d’échanges (mutualisations de moyens, échanges non monétaires…) 2 Recommandations de bonnes pratiques liées à ce champs à intégrer dans la démarche • Bientraitance (travailler avec l’entourage et respecter les relations de l’usager avec ses proches, articulation avec les ressources extérieures, promotion de l’expression et de l’échange des perspectives, ouverture à l’évaluation et à la recherche • L’ouverture de l’établissement à et sur son environnement

18. 15 Champs de l’évaluation externe Décret n°2007-975 du 15 mai 2007

19. Méthodologie • Mise en place de différentes instances : un comité de pilotage et différents groupes de travail • Création d’un outil fondamental pour l’évaluation : le référentiel qualité • Capitalisation d’une base documentaire • Conception d’autres outils pour l’évaluation : guide d’entretiens pour la construction des autres référentiels, questionnaires pour les enquêtes de satisfaction etc…. • Formation de tous les acteurs impliqués dans les groupes de travail

20. Le comité de pilotage

21. Le comité de pilotage • En outre les membres du copiléval sont nécessairement : • disposés à aller au bout de la démarche et pouvant se rendre • disponible pour les réunions • constructifs et facilitateurs, ayant la capacité de distanciation • capables de faire des propositions • Pouvant garantir transparence et objectivité • Ayant des capacités à communiquer voire à écrire

22. Schéma simplifié du copileval

23. Les groupes de travail

24. Composition des GT et COPILEVAL par éts et serv

25. Formations proposées par l’évaluatrice interne pour le copileval et les GT

26. Quelques mots sur le référentiel qualité • LE REFERENTIEL EST UNE SORTE D’INVENTAIRE D’EXIGENCES ou REFERENCES DEFINIES PAR L’ETS OU LE SERV. SERVANT ENSUITE A L’EVALUATION, GRACE A DES CRITERES (moyens de satisfaire les exigences qu’on s’est fixé) ET DES INDICATEURS (Informations permettant de mesurer le niveau d’atteinte d’un résultat) FIXES POUR CHACUNE DE CES REFERENCES/EXIGENCES • IMPORTANT DE PRENDRE DU TEMPS POUR LE CONSTRUIRE = BASE DU TRAVAIL D’EVALUATION • IL DOIT ETRE SIMPLE ET ACCESSIBLE A TOUS • IL DOIT REFLETER VOS PRATIQUES, VOS ACTIVITES (SPECIFICITES)

27. Articulation du référentiel • Il PEUT ETRE DECOUPE SELON LES 4 DOMAINES SUIVANTS • OU SELON LE PARCOURS DE L’USAGER AUQUEL ON AJOUTE LES ACTIVITES TRANSVERSALES SECU RH ENV. FIN

28. Exemple de présentation d’un référentiel avec indicateurs de résultats Domaine/exigence : Le projet des travailleurs de l’ESAT est co construit, personnel, mis en œuvre et évalué

30. Modèle de grille d’évaluation avec indicateurs PDCA

31. FAQ • Puis-je participer à la fois au copiléval et à un ou plusieurs groupes de travail ? • Si je ne participe à aucune de ces instances, à quel(s) niveau(x), vais-je pouvoir m’impliquer dans l’évaluation? • Comment serais-je informé(e) de l’état d’avancement de l’évaluation dans mon établissement ou service ? • Combien de temps cela va-t-il me prendre si je m’engage dans une instance de travail ? • Comment allons-nous procéder concrètement pour réaliser l’évaluation interne ? Y aura-t-il des réunions en plus de nos réunions habituelles ? • Comment les usagers ou leur entourage vont-ils être impliqué s dans l’évaluation interne ? • Pourra-t-on faire des propositions de changement lorsque l’on constatera des dysfonctionnement dans nos pratiques lors de l’évaluation ? • Est-ce que l’évaluatrice interne pourra nous aider dans notre organisation ?

32. Des questions ? Suggestions ? Commentaires ? Observations ?

33. MErCI DE VoTRE AtTeNTIoN • THaNK YOU FoR YOuR ATTeNTION • MuCHaS GRAcIAS DE Su ATeNCION • DAnK U VOoR UW AANdACHT