Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais

1. Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais Alberto S Brito

2. Conteúdo • Introdução e Objetivo do Trabalho: • Conceituação de Programas Governamentais • Programas Governamentais e Resultados • Resultados não Intencionais e Objetivo do Trabalho • Metodologia: • O Quadro Lógico de um Programa Governamental • Conceituação de Resultados não Intencionais • Identificação de Possíveis Resultados não Intencionais • Quadro Lógico para Resultados não Intencionais • Discussões e Conclusões: • Resultados e Discussões • Conclusões • Referências

3. Introdução e Objetivo do Trabalho

4. Programas Governamentais “Os programas estruturam o planejamento da ação governamental para promover mudanças em uma realidade concreta...os programas funcionam como elementos integradores do processo de planejamento e orçamento...” (PPA Federal 2008-2011) Uma Definição: “Um programa governamental é uma intervenção conduzida por órgãos governamentais, com a intenção explícita de mudar uma situação específica existente para uma situação desejada.” Situação Inicial Situação Desejada Programa

5. Programas Governamentais e Resultados “Resultados são mudanças em um estado ou situação, que derivam de uma relação de causa e efeito” – OCDE/ONU Situação Inicial Situação Modificada Programa Resultados: Mudanças provocadas pelo programa Resultados Finais (Impacto) A Cadeia de Resultados descreve a relação causal entre meios, atividades e os três níveis de resultados: A Cadeia de Resultados com indicadores, metas, meios de verificação e pressupostos é o principal instrumento de gestão de um programa. Resultados Intermediários (Efeito Direto) Resultados Imediatos (Produtos/Serviços) Atividades Meios

6. Resultados não Intencionais “Qualquer intervenção em um sistema complexo tem efeitos variados, não só os intencionais” Situação Inicial Situação Modificada Programa Resultados: Mudanças provocadas pelo programa Resultados Intencionais Resultados não Intencionais Objetivo deste trabalho: propor um referencial simplificado para identificar, monitorar e avaliar resultados não intencionais de programas governamentais.

7. Metodologia

8. O Quadro Lógico de Um Programa Governamental O Quadro Lógico de um programa com seus indicadores, metas, meios de verificação e pressupostos reflete o consenso entre as partes interessadas sobre a estratégia do programa e estabelece o referencial para seu monitoramento e avaliação. Cadeia de Resultados Indicadores – com metas Meio de verificação - fontes Pressupostos ou hipóteses Resultados Finais Resultados Intermediários Resultados Imediatos Atividades Meios/Insumos

9. Conceituação de Resultados não Intencionais Resultados não intencionais são consequências não intencionais de uma ação intencional. Campo de estudo na área da Economia e depois na Sociologia após o trabalho de Robert Merton. Apesar de bastante estudados, conceitualmente, os resultados não intencionais não têm um referencial amplamente adotado para a identificação, monitoramento e avaliação. O guia de M&A do PNUD menciona, mas não estabelece um referencial para isso.

10. Identificação de Resultados não Intencionais À semelhança da Cadeia de Resultados convencional, os resultados não intencionais podem ser expressos em três níveis. Embora os resultados não intencionais surjam durante a implantação ou operação de um programa governamental, é possível, ainda na etapa de planejamento, identificar possíveis resultados não intencionais, por meio de processos participativos, considerando:. Cadeia de Resultados não Intencionais Resultados não Intencionais Finais São os impactos dos resultados não intencionais anteriores. Usos inadequados do produto/serviço pelo público alvo. Resultados não Intencionais Intermediários São os efeitos diretos dos resultados não intencionais imediatos. Ações de outras partes interessadas, fora do público alvo. Resultados não Intencionais Imediatos São os que surgem logo na implantação do programa. Estudos de impacto ambiental no caso de obras. Resultados não Intencionais Análise convencional de riscos Programa

11. Quadro Lógico para Resultados não Intencionais Após a identificação dos potenciais resultados não intencionais, podem ser estabelecidos indicadores e meios de verificação, formando assim o Quadro Lógico para resultados não intencionais . Aumento da violência Habitações irregulares Demandas não atendidas Imigração não esperada Programa de Geração de Empregos em determinado local

12. Discussões e Conclusões

13. Resultados e Discussões • Os guias de M&A tratam do tema, mas não propõem um referencial para identificação, monitoramento e avaliação de resultados não intencionais em programas governamentais. • A análise tradicional de riscos em programas governamentais aborda os fatores que possam prejudicar o alcance dos resultados intencionais. A identificação de possíveis resultados não intencionais ampliam a análise de riscos. • O Quadro Lógico para Resultados não Intencionais explicita esses resultados e estabelece o referencial para seu monitoramento e avaliação.

14. Conclusões Programas governamentais são em geral monitorados e avaliados levando em consideração apenas os resultados intencionais. O referencial metodológico apresentado neste artigo auxilia os gestores na identificação e construção do Quadro Lógico de resultados não intencionais, que devem ser monitorados e avaliados para orientar decisões relativas a ações para controlar esses resultados ou minimizar seus impactos. Sugere-se que o tema seja discutido pelas agências internacionais de desenvolvimento, para incorpora-lo aos seus manuais de monitoramento e avaliação de programas governamentais.

15. Referências 1 – UNITED NationsDevelopmentProgram. “Results-Based Management- ConceptsandMethodology”. 2000. Acessado em http://web.undp.org/evaluation/documents. 2 – UNITED NationsDevelopmentProgram. “Handbookon Planning, MonitoringandEvaluating for DevelopmentResults”. 2009. Acessado em: http://web.undp.org/evaluation/documents. 3 – HIGGINS, Sílvio S. “O Estudo dos Efeitos não Intencionais da Ação Intencional na Teoria Sociológica”. Sociologias, 28, p258-282, 2011. Porto Alegre. 4 – FRY ConsultantsIncorporated.“Project Evaluationandthe Project AppraisalReporting Systems”. Final reportsubmitedtothe United StatesAgency for InternationalDevelopment. 1970. Acessado em: http://pdf.usaid.gov/pdf_docs/PNADW881.pdf. 5 – MERTON, Robert K. “The unanticipatedconsequencesofpurposive social action”. American SociologicalReview, I, p. 894-904, 1936.

16. Muito Obrigado Alberto S Brito asbrito@cdatec.com.br