Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais

2. Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais

3. Sistemas de M&A • Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública. • Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

4. Sistemas de M&A • Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam, • a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos. • mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos • para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

5. Sistema de M&A no Ciclo de Políticas e Programas Sistema de M&A

6. Sistema de M&A no Ciclo de Políticas e Programas Avaliação de desenhos de implementação Avaliação ex-ante de demandas Indicadores para Monitoramento de Programas Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

7. Sistemas de M&A • Os sistemas de M&A podem ser diferenciados segundo vários critérios, como discutem MacDavid&Hawthorne (2006), Mackay (2007), Owen (2007) e Cunill e Ospina (2008). • Podem ser orientados mais ao • aprimoramento interno de programas, • gestão e decisão orçamentária ou • prestação de contas da ação governamental ao parlamento ou à sociedade.

8. Sistemas de M&A • A abrangência conceitual e programática dos sistemas de M&A pode ser • mais macro- quando se referem a Políticas ou Estratégias de Governo • meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações • micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

9. Sistemas de M&A • Podem abarcar a • integralidade das ações de governo, • algumas áreas setoriais ou • um conjunto seletivo de projetos prioritários. • Assumem características diferentes, dependendo de onde estão sediados • Ministério da Fazenda, • Ministério do Planejamento, • Ministérios setoriais, • Assessoria da Presidência, • Órgão de Controle Externo • Parlamento ou Sociedade

10. Sistemas de M&A • Dependendo do estágio da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos: • Mapas Estratégicos, • Balanços de Gestão, • Sistemas Informatizados, • Indicadores de Desempenho, • Indicadores de Políticas e Programas, • Painéis Situacionais ou • Pesquisas de Avaliação, entre outros

11. Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias Sociedade Civil Governos Estaduais Congresso Nacional Poder Judiciário e Min Público Universidades Municípios

12. Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil Estrutura Federativa e as dificuldades de articulação vertical Múltiplos agentes envolvidos e dificuldades de articulação horizontal Institucionalidade adquirida há tempo das Políticas de Educação, Saúde, Trabalho e de seus corpos técnicos Realidade social bastante diferenciada pelo território Problemas sociais multi-determinados Forte ampliação do escopo e escala dos programas • Desafios da Gestão de Programas • Ênfase na coordenação de esforços • Investimentos nos instrumentos de planejamento de projetos (ZOOP, Marco Logico etc) e programação orçamentária • Programas mais “customizados” para as distintas realidades • Necessidade de maior integração de programas • Programas estão em estágios diferentes de maturidade • Conhecimento em Gestão de Programas e Cultura por resultados incipiente na esfera municipal • Não há um Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil

13. Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil Complexidade da Realidade social, multiplicidade de atores, problemáticas de gestão de programas Não seria recomendável um esquema padronizado ou Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil Ao contrário: • Há esforço de fortalecimento da capacidade de planejamento e coordenação em diferentes instâncias • Esforços de desenvolvimento de Sistemas de M&A em diferentes instâncias do governo • Indicadores de desempenho • Estudos avaliativos • Multiplicação de instrumentos de controle interno e externo (univeridades, sociedade, imprensa etc)

14. Sistemas de M&A e relacionados Planejamento de Longo Prazo Avaliação Pol.Públicas (IPEA) Orgão de Controle - Auditoria Ministério da Fazenda Controle financeiro Coord Estratégica de Governo Sistema de Acompanhamento de Projetos Estratégicos PAC Gestão do Plano Plurianual Coord M&A – SIGPLAN IBGE Ministérios da Pasta Social Maior prática de M&A ou sistematização de dados e pesquisas

15. Em que pese o esforço em constituir Sistemas de M&A • Até algum tempo atrás, constatação frequente nas avaliações de programas do TCU é que não existem sistemáticas de acompanhamento de resultados dos repasses orçamentários e produtos a outros entes federativos ou junto ao público-alvo. • Exemplo: Relatório de Avaliação do Programa Nacional Biblioteca na Escola (PNBE): O trabalho constatou que o FNDE tem mostrado grande eficácia operacional na distribuição dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previsão de atendimento de 139 mil escolas em 2002. Todavia, também se verificou que o PNBE não tem atividades de monitoramento e avaliação bem estruturadas. O MEC não dispõe de informações que permitam conhecer o nível de utilização dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal fato é mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCU, 2002, p.10).

16. Desafio: Adequar expectativas do que é possível obter de Sistemas de Monitoramento e Pesquisas de Avaliação de programas no contexto atual Garcia, 2001, .21)

17. Desafio: Envolver cada vez mais as equipes dos programas na especificação de Sistemas de Monitoramento e Pesquisas de Avaliação Garcia, 2001, 17-18)

18. Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação. Problemas complexos -> Programas específicos, mas articulados Sistemas de Monitoramento e Pesquisas de Avaliação com maior especificidade, mas sinergia na troca de dados Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação

19. Monitoramento de Programas Monitoramento Coutinho (2001, p.11) define o monitoramento como um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”. Rua (2004,p.6) define o monitoramento como: Um conjunto de estratégias de “acompanhamento” de uma política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos.

20. Monitoramento e Avaliação de Programas M&A de programas compõe-se de atividades de Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores ex-ante (diagnóstico) por meio de Painéis gerenciais desenho dos programas por meio de Painéis analíticos processo resultados e impactos custo-efetividade Recurso: base de dados e Recurso: técnicas de aplicativos pesquisa social Aprimoramento da Gestão do Programa

21. Monitoramento e Avaliação de Programas Acompanhando a saúde de uma criança Monitoramento Avaliação 1º. Observação do comportamento sintoma:sinal de mal-estar 1º. Busca da avaliação de decisão:tomar a temperatura um médico 2º. Termômetro 2º. Exame clínico sintoma: febre decisão: remédio 1 decisão: antitérmico 3º. Exames diversos 3º . Termômetro decisão: remédio 2 e 3 sintoma: febre persistente 4º. Retorno- Nova Avaliação

22. A demanda por informação estruturada no Ciclo de Programas Diagnóstico de Condições de Vida Indicadores sociais Censos Demográficos Cadastros Públicos CadUnico

23. A demanda por informação estruturada no Ciclo de Programas Diagnóstico propositivo Indicadores de diagnóstico Públicos-alvo (Censos, Cadastros e registros de programas) Agentes implementadores (Registros, MUNIC) Participação social (Munic, registros de reuniões)

24. A demanda por informação estruturada no Ciclo de Programas Indicadores de monitoramento (produzidos pelo próprio programa e outros programas no Ministério e fora dele) Insumos ($$, RH, Adesões etc) Processos (Ações, ativ. meio) Resultados (Entregas, uso e consumo de serviço) Impacto (Mudança social) Gestão e implementação dos programas

25. A demanda por informação estruturada no Ciclo de Programas Informação para avaliação (pesquisas específicas) Indicadores de Resultados e Impactos Informação de natureza qualitativa Avaliação somativa dos programas

26. Desafio: Especificar Painel de Indicadores para Monitoramento Analítico de Programas Avaliação de desenhos de implementação Avaliação ex-ante de demandas Painel de Indicadores para Monitoramento Analítico de Programas Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

27. A demanda por informação estruturada no Ciclo de Programas Avaliação de desenhos de implementação Avaliação ex-ante de demandas Tipologia de pesquisas de avaliação segundo maturidade do programa ( Peter Rossi) Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

28. A demanda por informação estruturada no Ciclo de Programas Avaliação de desenhos de implementação Avaliação ex-ante de demandas Pesquisas de avaliação Análise Institucional da Política Análise da Lógica de Intervenção do Programa Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

29. A demanda por informação estruturada no Ciclo de Programas Unidades de análise (diferentes naturezas) Produtos Serviços prestados Públicos-alvo Gestores Técnicos atendentes Instituições prestadoras de serviços Municípios Estados Outros Ministérios Avaliação de desenhos de implementação Pesquisas de avaliação Abordagens qualitativas (Observação, Entrevistas, Grupos de Discussão) Abordagens quantitativas (Amostras intencionais, probabilísticas, desenhos quase-experimentais) Avaliação ex-ante de demandas Avaliação de processos Avaliação custo-efetividade Pesquisas encomendadas Avaliações do TCU Auditorias da CGU Pesquisas do IBGE e oras instituições Avaliação de resultados e impactos

30. Indicadores de Diagnósticocomo retratos da realidade • Taxa de mortalidade infantil • Taxa de evasão escolar • Moradias sem saneamento básico • Ocupados com baixo rendimento • Taxa de pobreza

31. Medidas que operacionalizam o acompanhamento da ação pública Alocação e execução do gasto Realização de processos e ações intermediárias Entrega de serviços, produtos e obras Medição de efeitos das ações resultados mais imediatos impactos mais de médio/longo prazo e mais abrangentes Indicadores de Monitoramento como sequências de fotos - filme

32. Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos Indicadores de Monitoramento como sequências de fotos - filme

33. Permitem antecipar, em tempo, ainda que com imperfeições, tendências e rupturas indesejáveis Indicadores de Monitoramento como sequências de fotos - filme

34. Indicadores de Monitoramento da Ação Governamental

35. 1a. questão) O que deve ser monitorado execução orçamentária processos e atividades resultados 2a. questão) Unidade de monitoramento unidades organizacionais - quem faz programas - o que se faz projetos - o que é mais prioritário Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

36. 3a. questão) Escopo de monitoramento analítico prioridades 4a. questão) Periodicidade das informações integração de dados de diferentes programas fontes e pesquisas externas Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

37. 5a. questão) Divisão de Responsabilidades unidades organizacionais temáticas área de informática 6a. questão) Nível de centralização e acesso restrito orientado aberto ao público 7a. questão) Nível de articulação do sistema ao conjunto de gestores para a tomada de decisão Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento

38. Princípios relativos à construção do Painel de Indicadores O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades Os indicadores devem permitir evolução dos esforços, processos e efeitos Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

39. Principios relativos à construção do Painel de Indicadores Os indicadores devem ter interpretação normativa clara Os indicadores devem ser mutuamente consistentes e com importância equivalente Os indicadores devem ser inteligíveis e acessíveis ao gestor Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente. Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

40. Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa  Sistemas informatizados, planilhas de controle  Muito intensivo em dados, estruturados ou não  Subentende a lógica de encadeamento de ações  Prazos e metas são os parâmetros de avaliação Monitoramento Gerencial e Monitoramento Analítico

42. Monitoramento Analítico Exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços- e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo- ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

44. Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador Indicador de Capacidade Gestão Indicador de bem estar

45. Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador Por que minhas “entregas” estão se processando se forma diferente nesses dois contextos? Indicador de Capacidade Gestão Indicador de bem estar

46. Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ? Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ? c) Como evoluem os indicadores de efeitos nos municípios ? d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ? e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ? f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ? g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ? Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico

47. Etapas para Construção de um Painel de Indicadores