Strategic Impact Evaluation Fund

1. Strategic Impact Evaluation Fund www.worldbank.org/sief

2. Bénédicte de la Brière Banco Mundial MONITORIA & AVALIAÇÃO: Os fundamentos para obter resultados

3. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projectos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

4. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projectos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

5. A «Gestão por objetivos »é uma tendência mundial Qual é a novidade dos resultados? Os gestores são julgados pelo desempenho dos seus programas e não sobre o seu controle dos insumos. Uma mudança de foco sobre os resultados e não os insumos. Criar ligações entre a monitoria e a avaliação, a formulação das políticas, e a elaboração dos orçamentos (optimização dos custos) Capital para uma gestão eficaz do setor público

6. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projectos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

7. Monitoria ou Avaliação

8. Os papéis complementares do monitoria e da avaliação

9. A monitoria “ Um processo contínuo de recolha e análise de informações, Para medir o desempenho de um projecto, um programa ou uma política relativemente aos resultados esperados, e Para informar a implementação e a gestão do programa.

10. As avaliações “ A revisão sistemática e objetiva de um projecto, um programa ou uma política em curso ou finalizado(a), o seu desenho, a sua implementação e/ou os seus resultados, Perguntas descritivas para determinar o que se passa e descrever os aspectos de um processo Perguntas normativas para comparar o que se passa com o que se deveria passar, de acordo com o desenho Perguntas causais para avaliar os objetivos e ver qual diferença a intervenção cria para atingir os seus objetivos

11. Implementar boas avaliações • Fazer as perguntas certas • Responder às perguntas com dados apropriados • Evitar a plétora de informações • Basear a tomada de decisões sobre informações credíveis • Assegurar-se que a informação é utilizada e que chega às pessoas adequadas (as que a podem utilizar)

12. Avaliação de impacto “ A avaliação do efeito causal de um projeto, um programa ou uma política sobre os beneficiários. Utilisa um contra-factual… para estimar qual seria o estado dos beneficiários sem o programa (o grupo de controle ou de comparação), relativamente ao estado observado dos beneficiários (o grupo de tratamento), e para determinar os resultados intermediários ou finais imputáveis à intervenção.

13. Quando usar uma avaliação de impacto? Avaliar o impacto quando o projecto é: • Inovador • Susceptível de se replicar ou de passar à escala • Estratégicamente relevante para reduzir a pobreza • A avaliação irá preencher uma lacuna de conhecimento • Impacto substancial nas políticas Pode-se utilizar a avaliação dentro de um programa para testar alternativas e melhorar os programas Pode-se considerar a otimização das despesas (custo-benefício, eficácia de custo)

14. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projectos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

15. Quais os resultados procurados pelo programa? Como é que os resultados serão atingidos? Há hipóteses críticas? Recursos suficientes? Como é que iremos saber se obtivemos os resultados procurados? Utilizar uma cadeia de resultados Uma cadeia de resultados cartografia uma teoria da mudança:

16. Uma cadeia de resultados típica

17. Obras públicas (AIMO)Exemplo de cadeia de resultados

18. Exercício: Cadeia de Resultados Identificar a sequência de insumos, atividades, produtos e resultados: Informação sobre a amamentação está disponível para os pais. 1 As crianças na comunidade estão mais saúdaveis. 2 Menos crianças têm diarreias. 3 As mães amamentam em vez de usarem fórmula. 4 Novos recursos estão disponíveis para implementar um projeto de redução da desnutrição infantil. 5 Planejar campanhas de informação sobre a importância da amamentação 6

19. Exercício:Cadeia de Resultados Identificar a sequência de insumos, atividades, produtos e resultados: Novos recursos estão disponíveis para implementar um projeto de redução da desnutrição infantil. Insumo 5 Planejar campanhas de informação sobre a importância da amamentação 6 Atividade Informação sobre a amamentação está disponível para os pais . Produto 1 4 As mães amamentam em vez de usarem fórmula. Resultado Resultado Menos crianças têm diarreias. 3 As crianças na comunidade estão mais saúdaveis. 2 Resultado

20. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projetos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

21. Implementar a cadeia de resultados O programa TMC PATH da Jamaica Exemplo de como a M&A bem estruturada de um programa ajudou a desenhar o programa e informar as decisões de política “Program of Advancement Through Health and Education” [Programa de Progresso pela Saúde e Educação] (PATH) • Programa “TMC“[Transferência Monetária Condicionada] que procura ligar a assistência social à acumulação de capital humano • Transferências essencialmente destinadas a crianças pobres de menos de 19 anos condicionadas à assistência escolar e sanitária

22. Cadeia de resultados do TMC da Jamaica – Instrumentos, Indicadores SIG Auditoria interna SIG Avaliação de processos, verificação surpresa Pesquisa familiar anual Avaliação de impacto Avaliação de impacto ao longo prazo Respeito dos procedimentos Pagamentos Perspectivas Recursos humanos e financeiros Focalização, cobertura, adequacão Frequência escolar Utilização de saúde preventiva Resultados de desenvolvimento humano LP

25. Lições aprendidas Uma abordagem de M&A bem concebida é capital para a boa gestão de um programa e para informar as políticas As avaliações de impacto são instrumentos poderosos para informar as decisões chave do programa e dos políticos. Bons sistemas de monitoria • Permitem o planejamento e a gestão por resultados • Facilitam a preparação dos projetos, a sua supervisão e reforma e também a implementação dos programas

26. Lições aprendidas O que é preciso para chegar lá? Gerentes dispostos para aprenderem, tomarem riscos, experimentarem, e colaborarem  mudança de óptica « das ameaças às ferramentas » Apoio sólido à M&A por campeões do governo e procura de transparência pela sociedade civilcampeões, demandas Vontade dos doadores e do governo de se concentrarem sobre os processos e objetivos da M&Amudança de cultura Colaboração intersetorial dentro do governo (sobretudo com o Ministério das Finanças) e entre os doadorescolaboração

27. Os objetivos desta sessão Porquê concentrar-se nos resultados 1 Monitoria ou Avaliação 2 Utilizar uma cadeia de Resultados 3 Os resultados dentro dos projetos 4 Para avançar 5 • Selecionar indicadores SMART. • Recolher os dados. • Tornar os resultados úteis.

28. SMART: Identificar bons indicadores Específicos (specific) S M ensuráveis A tribuíveis R ealistas T Ao alvo (targeted)

29. S Específicos (Specific) Mede com toda a precisão possível o que quiserem saber. Resultado: crianças tratadas contra o paludismo • Indicadores: • Maior utilização das clínicas • Maior utilização dos antipalúdicos pediátricos Qual o indicador mais específico? M ensurável Sejam claros na forma de medirem - precisos. • Indicadores: • % de centros de saúde sem stock de medicamentos x, y & z durante mais de uma semana • % de centros de saúde que têm medicamentos disponíveis Qual o indicador mais mensurável? Fonte: Kathourie Kusek, 2006

30. A tribuíveis Ligado logicamente e estreitamente aos esforços do programa. • Indicadores: • Esperança de vida • % de crianças totalmente vacinadas com 1 ano Qual o indicador atribuível? R ealista Dados que possam ser obtidos com custos, frequência e precisão razoáveis. • Indicadores: • Prevalência do VIH entre as mulheres grávidas dos 15 aos 24 anos • Prevalência do VIH na população inteira Qual o indicador mais realista? Fonte: Kathouri and Kusek, 2006

31. T Aoalvo (Targeted) Específico ao grupo alvo do programa. • Indicadores: • % de aumento de emprego • % de aumento de emprego dos graduados de um programa de formação técnica X, no primeiro ano após a conclusão da formação Qual o indicadorfocalizado? Source: Kathouri and Kusek, 2006

32. Preparar um plano de coleta de dados Identificar quais os dados específicos necessários Identificar como é que se realizará a coleta Identificar quem será encarregado da coleta dos dados e da preparação dos relatórios Identificar quando é que os dados serão recolhidos e os relatórios preparados, e com que frequência Identificar os custos e as fontes de financiamento Identificar quem é que vai se servir dos dados

33. Exemplo: Plano de coleta de dados e de relatórios 84 84 84 84 84 84

34. Truques Para tornar a monitoria do desempenho verdadeiramente útil… Fornecer as informações de forma frequente e em tempo útil ao pessoal do programa. Fixar alvos para cada indicador de desempenho. Fornecer dados por grupo. Desagregar os dados pelas características dos clientes e dos serviços (regiões). Fazer análises básicas regulares, sobretudo comaparações.

35. Exigir explicações para achados inesperados. Apresentar os resultados de uma forma simples para os utilizadores. Organizar sessões « Como vamos? » depois de cada relatório de desempenho. Utilizar « Sinais Vermelho-Laranja-Verde » para identificar os programas/projetos que precisam de mais atenção. Relacionar as informações de resultados aos custos dos programas. Fonte: Harry Hatry, Urban Institute

36. Qual hospital escolheriam? HOSPITAL MERCY HOSPITAL APOLLO 2,100 PACIENTES em CIRURGIA 800 PACIENTES em CIRURGIA 2% TAXA DE MORTALIDADE 3% TAXA DE MORTALIDADE 63 MORTOS 16 MORTOS

37. Qual hospital escolheriam? HOSPITAL MERCY HOSPITAL APOLLO 3% TAXA DE MORTALIDADE 2,100 PACIENTES em CIRURGIA 800 PACIENTES em CIRURGIA 2% TAXA DE MORTALIDADE 63 MORTOS 16 MORTOS MAS MAS 600 EM BOA CONDIÇÃO 1% TAXA DE MORTALIDADE 600 EM BOA CONDIÇÃO 1.3% TAXA DE MORTALIDADE 6 MORTOS 8 MORTOS 4% TAXA DE MORTALIDADE 1,500 EM MÁ CONDIÇÃO 3.8% TAXA DE MORTALIDADE 200 EM MÁ CONDIÇÃO 57 MORTOS 8 MORTOS

38. Conclusões A monitoria e a avaliação são funções separadas, embora complementares, e ambas são chave para a gestão por resultados Uma boa M&A é capital, não só para a gestão eficaz de um programa mas também como um potencial motor de reforma Tenham um bom plano de M&A antes de passarem o seu programa à escala e sirvam-se dele para informar sobre o percurso! Concebam o cronograma e o conteúdo dos resultados de M&A para aprofundar o diálogo em base às provas/evidência Uma boa monitoria é essencial para uma boa avaliação de impacto

39. Obrigada