F Ó RUM DA REDE GOIÁS

1. FÓRUM DA REDE GOIÁS Avaliação, instrumento estratégico no ciclo de gestão do PPA 2004-2007, “Avançar Mais” Dra. Maria das Graças Rua

2. AVALIAÇÃO DE PROGRAMAS, AÇÕES E PROJETOS  Ferramenta que contribui para integrar as atividades do ciclo de gestão pública: desde a identificação dos problemas e o planejamento, a gestão, até o controle  Pode subsidiar o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

3. Importância da avaliação para o ciclo de gestão do PPA Contribui para a melhor qualidade do planejamento governamental. Favorece a formulação de objetivos e metas exequíveis e responsáveis. Permite a correção de rumos nas ações públicas. Facilita alcançar eficácia, eficiência e efetividade nas ações governamentais.

4. Importância da avaliação para o ciclo de gestão do PPA Facilita alcançar maior satisfação dos usuários e maior legitimidade social e política. Contribui para todas as atividades de controle interno, externo, e controle social, levando maior transparência e accountability àsações de governo. É decisiva para o processo de aprendizagem institucional.

5. Obstáculos à avaliação:  Modelos gerenciais orientados para processos/ Ausência de cultura de accountability  Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos  Falta de domínio conceitual e metodológico  Falta de clareza dos critérios  Falta de conexão entre avaliação e tomada de decisão, impede o aprendizado organizacional

6. Avaliação formal  É o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade  Avaliação: envolve tanto julgamento como atribuição de valor e mensuração  Não é tarefa neutra, mas comprometida com princípios e seus critérios  Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

7. Avaliação X Monitoramento Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das intervenções realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das intervenções realizadas.

8. Avaliação: objetivos gerais identificar e mensurar os resultados, efeitos, impactos compreender como e porque foram obtidos ou não julgar as intervenções mediante critérios definidos, como eficácia, eficiência, sustentabilidade, etc proporcionar informações necessárias para a tomada de decisão sobre o objeto avaliado viabilizar estratégias de responsabilização e accountability proporcionar aprendizado institucional

9. Monitoramento: objetivos geraisidentificar mudanças parciais a partir da linha de base das metas controlar o cumprimento das metas estabelecidas acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação identificar erros e omissões na concepção do próprio projeto ou programa proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa proporcionar aprendizado institucional

10. Tipologia (s) de Avaliação  Avaliação Jurídica ou de conformidade  Avaliação de situação, ambiental ou de contexto  Avaliação de desempenho individual e institucional  Avaliação de processo  Avaliação de produto/resultado  Avaliação de impacto

11. Tipologia (s) de Avaliação  Avaliação de qualidade  Avaliação de satisfação do usuário  Avaliação Interna  Avaliação Externa  Avaliação Mista  Avaliação participativa

12. Tipologia (s) de Avaliação  Avaliação ex-ante  Avaliação ex-post  Avaliação Somativa  Avaliação Formativa ou Retroalimentadora

13. Desafios para a institucionalização da avaliação:  definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção (objeto)  definição clara dos objetivos da avaliação  definição de critérios claros e consolidados para mensuração e julgamento

14. Desafios para a institucionalização da avaliação: construção e utilização precisa e regular de indicadores fidedignos identificação e pactuação de indicadores e informações relevantes com os atores envolvidos  estabelecimento e consolidação de marco conceitual e metodológico  utilização das abordagens compatíveis com o objeto e a ser avaliado e com sua complexidade.

15. Desafios para a institucionalização da avaliação:  combinação de abordagens qualitativas e quantitativas definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo: utilização para decisões gerenciais adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

16. Critérios para avaliação: Eficácia capacidade de produzir os resultados esperados Economicidade  capacidade de reduzir custos Eficiência elevação da produtividade, da relação custo/benefício Efetividade capacidade de maximizar a eficácia e a eficiência Equidade capacidade de contribuir para a redução de assimetrias individuais e sociais Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

17. Métodos/Modelos de Avaliação  Análise custo-benefício, análise custo-efetividade.  Meta-avaliação  Avaliação quasi-experimental: sincrônica e diacrônica  Modelo causal: Marco Lógico(BID) ou Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)  Avaliação Independente de objetivos

18. Como gerenciar um sistema de avaliação : 1. Definir objetivos e periodicidade 2. Identificar os Usuários 3. Estabelecer Critérios  questões gerais 4. Identificar dimensões focais perguntas específicas 5. Selecionar Instrumentos e Mecanismos de Avaliação 6. Definir o Arranjo institucional 7. Definir as estratégias de disseminação e aprendizado organizacional 8. Definir as estratégias de aplicação das recomendações e de sustentabilidade 9. Orçamento

19. 1-Objetivo e periodicidade das avaliações *Testar a estratégia inicial para gerar os resultados momento inicial do ciclo do programa (1-2 anos) *Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados momento intermediário do ciclo do programa (2-3 anos) *Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições momento final do programa: meados do último ano

20. 2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos 3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc 4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos  definem as perguntas a serem respondidas 5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

21. 6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A 7-Estratégia de disseminação e aprendizado organizacional:alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

22. 8-Estratégia de aplicação e sustentabilidadeavaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários. 9-Orçamento