Léon NSHIMYUMUKIZA, MD, M.SC ( Cand .) ( nshi25leonis@yahoo.fr )

1. Comment les facteurs contextuels relevés par l’analyse d’implantation peuvent-ils aider l’évaluation d’impact subséquente?Exemple de la stratégie de prise en charge intégré des maladies de l’enfance (PCIME) Léon NSHIMYUMUKIZA, MD, M.SC (Cand.) (nshi25leonis@yahoo.fr) Marie GERVAIS, Ph.D (marie.gervais@msp.ulaval.ca) Université Laval, Québec (Qc), Canada Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

2. Objectif de la communication Partager, à partir de mon expérience récente d’évaluation, les leçons apprises sur l’importance que constitue la connaissance des facteurs contextuels liés à l’implantation pour l’évaluation d’impact subséquente. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

3. Facteurs contextuels: questionnements • Pourquoi s’y intéresser? • Comment peuvent-ils être relevés lors de l’analyse de l’implantation? • Quelle contribution pour l’évaluation ultérieure d’impact? Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

4. Pourquoi s’y intéresser? • Les interventions, surtout en santé, sont dépendantes du contexte de mise en œuvre • Une même intervention peut réussir dans un milieu et échouer dans un autre (contexte favorable vs défavorable) • La compréhension des facteurs contextuels permet : • d’assurer la validité de l’évaluation : • confondants: création de la confusion entre le programme et son effet potentiel; • modifiants: modification de l’effet de l’intervention et affectation de la généralisation des résultats. • de prédire l’impact que pourrait avoir l’intervention • Impact positif si synergiques avec l’intervention • Impact négatif si antagonistes avec l’intervention Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

5. Comment les objectiver lors de l’analyse de l’implantation: mon expérience Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

6. Mise en contexte (1) • Projet de fin de maîtrise en santé communautaire, concentration en évaluation, Université Laval: « Évaluation d’Implantation de la stratégie clinique de Prise en Charge Intégrée des Maladies de l’Enfance (PCIME) dans le district de Kirehe dans la province de l’Est du Rwanda » Direction: Marie GERVAIS, Ph.D Financement: - ACDI/PCBF (Boursier) - BASICS/Rwanda, ONG terrain Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

7. Mise en contexte (2) • PCIME (IMCI): Stratégie de prise en charge globale de la santé des enfants de 0 à 5 ans dans les pays à ressources limitées élaborée par l’OMS et l’UNICEF dans les années 1990 avec trois principales composantes: • Amélioration des compétences des agents de santé à la prise en charge des principales causes de mortalité dans ce groupe d’âge en intégrant les soins curatifs, préventifs et promotionnels pertinents: dans les formations sanitaires (de 1er niveau) • Renforcement du système de santé : système de support à la prise en charge (médicaments, vaccins, équipements, système de supervision, information sanitaire, etc.) ; • Amélioration des pratiques familiales clés en matière de santé des enfants. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

8. Mise en contexte (3): Modèle logique de la PCIME Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

9. Mise en contexte (4) • PCIME au Rwanda • Introduction en 1999: visite des experts de l’OMS • Début de mise en œuvre effective en 2006 dans 6 districts pilotes (Gisagara, Kirehe, Ngororero, Nyanza, Ruhango, Rwamagana); • Extension en 2007 (21 districts sur 30 en juillet 2008) • Aucune évaluation : pertinence de notre projet d’évaluation Choix: district de Kirehe (pilote, rural, taux de mortalité infantile élevé) Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

10. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

11. Démarche d’évaluation (1) • Objectif général:évaluer l’implantation de la stratégie PCIME dans le district de Kirehe décrire et analyser sa dimension opérationnelle. • Objectifs spécifiques: • Évaluer la mise en œuvre effective des composantes de la PCIME (prise en charge des cas, disponibilité du système de support à cette prise en charge des cas); • Souligner les points forts et les points faibles de la réalisation de la PCIME; • Contribuer à la prise de décision concernant le renforcement de la PCIME dans les districts où elle est mise en œuvre et son extension à d’autres districts. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

12. Démarche d’évaluation (2) • Question principale: Dans quelle mesure l’implantation de la stratégie PCIME a-t-elle contribué à l’amélioration de la qualité des soins des enfants de moins de cinq ans dans le district de Kirehe? • Sous questions: • Quel est le degré de mise en ouvre des composantes de la PCIME dans le district de Kirehe? • Quel est le processus de mise en œuvre des composantes de la PCIME dans le district de Kirehe? • Quels sont les éléments contextuels qui favorisent ou enfreignent-ils l’implantation adéquate de la PCIME dans le district de Kirehe? Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

13. Démarche (3) • Cadre de référence: analyse d’implantation selon Denis et Champagne (1990): • L’analyse des déterminants contextuels sur le degré de mise en œuvre de l’intervention (analyse d’implantation type I) ; • Analyse de l’influence du degré d’implantation de l’intervention sur les effets observés (analyse d’implantation type II) ; • Analyse de l’interaction entre le programme et le contexte d’implantation sur les effets observés (analyse d’implantation type III)   Synergie? Antagonisme? PCIME (intervention) Qualité des soins (effet à court terme) Contexte (conditions d’implantation) Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

14. Démarche (4) • Méthodes: mixtes • Quantitative: mesure du degré de mise en œuvre (prise en charge des cas et système de support) • Qualitative: informations complémentaires sur le degré de mise en œuvre et recueil des éléments contextuels (facilitant ou contraignant) la mise en œuvre. • Méthode quantitative: • Devis quasi-expérimental: comparaison avec le district de Bugesera (non-PCIME). • questionnaire standardisé de l’OMS , testé , validé et adapté au contexte rwandais • Plusieurs techniques: observation de la consultation, vérification par un gold, entrevue structurée avec les accompagnants d’enfants, observation des médicaments, vaccins, équipements, etc. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

15. Démarche (5) • Méthode qualitative: • Entrevues semi-structurées • Participants : • 11 responsables des centres de santé(CS) évalués • Représentant du Ministère de la santé: chargé de la PCIME • Outil de collecte des données: grille d’entrevue spécifique à chaque catégorie des participants. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

16. Résultats (1) • Facteurs facilitants: • Responsables formés (gestionnaires des CS): personnes influentes du terrain. • Disponibilité des médicaments et équipements essentiels; • Existence d’autres programmes améliorant la santé en général : décentralisation (autonomie des CS), Mutuelles de santé, animateurs de santé; • Visite de suivi et supervision Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

17. Résultats (2) • Barrières • Insuffisance et mobilité du personnel formé; • Manque de motivation du personnel: PCIME non encore intégrée dans le PBF(Performance based financing) • Supervisions rares et irrégulières • Non-harmonisation de certaines directives: prise en charge du paludisme/PNLP, classifications PCIME non intégrées dans le SIS (système d’information sanitaire) • Gestion non décentralisée de la PCIME entrainant: implication insuffisante du district • Insuffisance des moyens de transports des cas graves référés à l’hôpital: ambulances insuffisantes. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

18. Influence des facteurs contextuels sur l’impact de la PCIME Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

19. Illustration à l’aide du modèle logique de la PCIME

20. Connaissance des facteurs contextuels: avantages • Action sur les barrières: réduire ou éliminer leurs antagonismes avec la mise en œuvre du programme Impact positif • Prise en compte lors de l’analyse de l’impact: validité de l’évaluation • Prédiction de l’impact: en fonction le degré de synergie ou d’antagonisme qu’ils exercent sur la mise en œuvre. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

21. Conclusions • Il est intéressant de mesurer les effets et l’impact des interventions mais il est plus intéressant encore de spécifier les conditions de leur production si l’on veut assurer la validité de la mesure. L’analyse du contexte est alors incontournable dans la mesure où la majorité des interventions sont contexte-dépendantes. • L’analyse d’implantation apparaît ainsi comme un moment idéal de relever les facteurs contextuels auxquels fait face la mise en œuvre l’intervention. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

22. Merci de votre écoute!! Questions? Commentaires? Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt