Study Design and EvaLuatIon of Performance-based Financing (PBF) in The Republic of the Congo

1. Study Design and EvaLuatIonof Performance-based Financing (PBF) in The Republic of the Congo Donald Shepard, Wu Zeng, Jean Rusatira, Aaron Beaston-Blaakman Workshop on PBF, Brazzaville, The Republic of the Congo December 20, 2011, Updated Dec. 30, 2011

2. Two arms (variable & fixed) designDessin avec deux bras (payement variable & fixe) • Three departments • Pool, Plateaux, Niari • Operational health centers within the three departments randomized to be one of two PBF arms • Implementing variable RBF (Arm 1: PBF arm) • Implementing fixed RBF. Receiving the same funding as average RBF facilities (Arm 2: resource arm) • Trois départements • Pool, Plateaux, Niari • Les centres des santé opérationnels seront attribués de façon aléatoire a l’une des 2 catégories suivantes: • Intervention n°1 : payement variable. Structures avec subventions liées aux performances (catégorie 1) • Intervention n°2 : payement fixe. Structures avec subventions non liées aux performances (catégorie 2)

3. Pre-post evaluation • Health facility and household survey conducted before and after the implementation of RBF • Health facility survey • Randomly draw health facilities for evaluation • Household survey • Women of reproductive age (15- 44 years) • Children under five • Enquête des structures de santé et des ménages a mener avant et après la mise en place du RBF • Structures de Santé • Structures de sante choisies de façon aléatoire pour l’évaluation • Ménages • Femmes a l’age de reproduction (15- 44 ans) • Enfants de moins de 5 ans

4. Health Facility SurveyEnquêtes des structures de santé

5. Sample Size/Taillede l’échantillon • There are approx 114 health facilities in the districts in the three departments • On average, 57 health facilities per arm • Randomly draw 28 health facilities/arm • +114 structures sanitaires dans les 3 départements • En moyenne , 57 structures de santé par catégorie (bras) • De façon aléatoire 28 structures/catégorie

6. Evaluation indicators, 1 • Incentivized services • Preventive care • Vaccinations • Maternal health services • Pre-post natal care • Institutional delivery • Family planning • Prevention of HIV/AIDS (e.g. PMTCT and VCT) • Health care of illnesses with great public health concerns • HIV/AIDS services (e.g. ART) • Testing and treatment of fever • Treatment of respiratory infection (infections respiratoiressuperieures) • Treatment of diarrhea • Quality and management • Timely reporting required indicators • Accurate documentation and reporting • Results-basedfinancing (RBF) services • Soins préventifs • Vaccinations • Santé maternelle • Consultation Pré/Post natale • Accouchements assistes • Planification familiale • Prévention VIH/SIDA (ex PTME and VCT) • Soins de sante des maladies de grande envergure de sante publique: • VIH/SIDA services (ex. ARV) • Test et traitement de la fièvre • Traitement des infections respiratoires (infections respiratoires supérieures) • Traitement de la diarrhée • Qualité et gestion • Préparation et production a temps des rapport sur les indicateurs demandes • Exactitude dans la documentation et rapportage.

7. Evaluation indicators, 2 • Non-incentivized services • Quality of curative care for adults (excluding pregnant women) • Abdominal pain (douleursabdominales) • Utilization of curative care for adults • Number of visits/capita • Services sans RBF • Qualité des soins curatives des adultes (exclus les femmes enceintes) • douleurs abdominales • Utilisation des soins de sante curatives des adultes • Nombre des visites/capita

8. Data collection strategies/Strategies de la collection des données • Data • Abstracted from monthly facility report to the district CSS • Obtained from district hospitals, complemented with health facility survey if data missing • From 2011 Jan to date (Pre measurement) • Données • Exploitation des rapports mensuels des CSI soumis au CSS • Obtenus des CSS et complétées des info 's de l’enquête des structures de santé en cas de besoin • De Jan 2011 a ce jour (Pré-mesurage)

9. Household Survey/Equête des ménages

10. Evaluation indicators • Preventive care • Vaccinations • Ownership and use of bed net • Maternal health services • Pre- and post-natal care • Institutional delivery • Family planning • Prevention of HIV/AIDS (e.g. PMTCT and VCT) • Health care of illnesses of public health importance • Testing and treatment of fever (Tem) • Treatment of respiratory infection (infections respiratoiressuperieures) • Treatment of diarrhea • Soins préventifs • Vaccinations • Possession et utilisation des moustiquaires • Santé maternelle • Consultation Pré/Post natale • Accouchements assistes • Planification familiale • Prévention VIH/SIDA (ex PTME and VCT) • Soins de sante pour les maladies de grande envergure de santé publique: • VIH/SIDA services (ex. ARV) • Test et traitement de la fièvre • Traitement des infections respiratoires (infections respiratoires supérieures) • Traitement de la diarrhée

11. Sample size/Taille de l’echantillon • Simple random sample • Number of pregnant women: 123/arm • Number of children 24-59 months: 200/arm • Number of children under 24 months: 250/arm • Cluster sample (assuming design effect is 2) • Number of pregnant women: 268/arm • Number of children 24-59 months: 400/arm (643 households/arm) • Number of children under 24 months: 500/arm (households/arm) • Combining all three categories together, we would like to have household of 650 for the evaluation, using number of children < 2 • Simple échantillonnage aléatoire • Nombre de femmes enceintes: 123/catégorie (bras) • Nombre d’enfants (24-59 mois): 200/catégorie • Nombre d’enfants de < 24 mois: 250/catégorie • Echantillonnage par grappe (supposant un effet de plan de 2) • Nombre de femmes enceintes: 268/catégorie • Nombre d’enfants de 24-59 mois: 400/catégorie (643 ménages/catégorie) • Nombre d’enfants < 24 mois: 500/catégorie (ménage/arm) • Combine toutes les 3 populations, nous voudrions avoir 650 ménages pour l’évaluation en utilisant le nombre d’enfants < 2 ans par catégorie

12. Sampling objectives/Objective de l’échantillonnage • Every household in study area with young child should have approximately equal probability of selection • Every sampled household can be linked to a study health center and its arm • Relatively large number of clusters minimizes the design effect (effet du plan), improving the accuracy of the sample • Chaque ménage ayant un enfant dans la zone d’ étude devrait avoir approximativement une probabilité égale de sélection • Chaque ménage sélectionné pourrait être lié a un centre de sante faisant l’objet de l’étude et a sa catégorie • Un nombre relativement grand de l’échantillon par grappe minimise l’effet du plan et ainsi assure l’exactitude de l’échantillon

13. Sampling strategy, 1 • Data collected with questionnaire of short, objective questions based on World Bank survey for PBF in Rwanda • Multi-level sampling: health centers, villages, households • Department team leader asks the health center staff to list the villages in its catchment area. • Department team leaders and field coordinator work with census and Planning Department to enumerate all villages under each health center with their estimated current populations.. • Field coordinator determines number of villages to be sampled based on the average population per village, and randomly selects the villages. • Données collectées avec un court questionnaire, questions objectives basées sur l’enquête de la Banque Mondiale pour le PBF au Rwanda • Echantillonnage a multiple-niveaux: structures de sante, villages, ménages • Les chefs de l'équipe demanderont aux responsables des CSI de dresser une liste des villages dans l’aire de sante • Les chefs de l'équipe au niveau des départements et le coordonnateur travaillent avec le Département du Plan pour énumérer tous les villages sous chaque centre de sante. • Le coordonnateur et les chefs de l'équipe détermineront le nombre des villages a sélectionner sur base de la moyenne de la population par village, et de façon aléatoire ils sélectionneront les villages

14. Sampling strategy, 2 • Relais or head asked to make a list of households in their village with children under 2 • Relais or head asked randomly sample 5 households with children under 2 using systematic sampling following specified procedures. • Relais or head asked to alert mothers that an interviewer will come on specified date and requests their cooperation. • Relais or village head each given small monetary incentive (e.g. 2000 F CFA) to cover travel and incidental expenses • Interviewer surveys selected households on specified date. • Relais/chef de village établira une liste des ménages ayant des enfants <2 ans dans leur villages • Relais/Chef de village demandera de façon aléatoire 5 ménages ayant des enfants <2 ans en utilisant un échantillonnage systématique suivant les procédures spécifiées. • Relai/Chef de village informera les mères de la date de la visite d’un enquêteur et demandera leur coopération • Relai/Chef de village recevra un montant pour couvrir ses dépenses de transport et autres (ex 2.000 FCFA) • La personne chargée de l’interview enquêtera les ménages sélectionnes a une date déterminée.

15. Post-measurement/Post mesurage • If funding available, Same indicators will be collected one year after the implementation of RBF • S’il y a disponibilité des fonds, Les mêmes indicateurs seront collectes une année après la mise en œuvre du RBF

16. Statistical analysis/Analysestatistique • Baseline evaluation to assess the comparability of the three arms • Difference-in-difference approach to examine the effect of PBF • Adjusts for design effect and control for key covariates • Evaluation de base pour déterminer la comparabilité des trois catégories • Approche de différence des différence pour examiner l’effet du RBF • Ajuster l’effet du plan et contrôler les covariantes clés

17. Monitoring of implementation

18. Indicators for monitoring implementation, 1

19. Indicators for monitoring implementation, 2

20. Proposed EPOS Staffing • Central level staff (3) • Field supervisor (1) • Department team leaders (3) • Interviewers (3) • Data entry staff (3) • Personnel Niveau Central (3) • Coordinateur base a Brazza (1) • Chefs de l'équipe au niveau des départements (3) • Enquêteurs (3) • Personnel charges de la saisie des données (3)

21. Thank you / Merci • Aaron Beaston-Blaakman [aaron.beaston-blaakman@epos.de] • Donald Shepard [shepard@brandeis.edu] • Wu Zeng [wuzengcn@brandeis.edu] • Jean de Dieu Rusatira [Jean.Rusatira@epos.de]