Modelos e Metodologia de Avaliação de Programas e Políticas Públicos

1. Bernard Perret Outubro de 2007 Modelos e Metodologia de Avaliação de Programas e Políticas Públicos

2. A avaliação das políticas públicas Definições – finalidades da avaliação Elementos históricos Atualidade da avaliação Elementos de metodologia As ferramentas de avaliação Exemplos

3. A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais) As estruturas (instituições, organismos, serviços) As técnicas (produtos, processos, procedimentos) As ações(políticas, programas, projetos)

4. Vários tipos de ações Políticas Programas Projetos Normas, regulamentação (leis, decretos) Procedimentos Dispositivos Funções

5. A avaliação : um momento no ciclo de vida das ações Avaliação ex-ante Avaliação concomitante Avaliação a meio caminho Avaliação ex-post

6. Politica pública Conjunto de meios e dispositivos de ação, implementados em conseqüência das decisões de uma ou várias autoridades públicas, no intuito de alcançar um objetivo ou de atingir uma finalidade ligada ao interesse geral.

7. Definição da avaliação das políticas (ações) públicas (I) Avaliar uma política consiste em “avaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados” (Decreto de 18/11/1998)

8. Definição da avaliação (V) Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Realizada num quadro metodológico e institucional (mais ou menos) formalizado No intuito de prestar contas e/ou de melhorar essa ação

9. Três dimensões da avaliação Cognitiva Normativa Instrumental

10. AVALIAÇÃO Pesquisa social Análise de políticas Controle Auditoria Consultoria Medição da performance Benchmarking

11. Avaliação versus fiscalização “A avaliação procura ter como resultado um parecer compartilhado a respeito da eficiência da política avaliada, e não apenas verificar a conformidade com normas administrativas ou técnicas” (Circular de 28 de dezembro de 1998)

12. Fronteiras imprecisas com a auditoria Em regra geral : - a auditoria é realizada sobre funções ou estruturas (organismos, serviços, instituições, funções...) - a avaliação é feita sobre ações (políticas, programas, projetos) Nem sempre a situação fica tão clara, como demonstram 2 exemplos franceses : - avaliação dos estabelecimentos sociais e médico-sociais (Lei de 02/01/2002) auditoria dos programas orçamentários

13. Finalidade da avaliação Prestar contas sobre o “bom uso dos fundos públicos” (accountability) Tomar decisões em base mais racional estratégia (relação com a prospectiva) otimização do uso dos recursos Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as representações

14. Uma pluralidade de mecanismos de retroação  Controle hierárquico Inspeção / auditoria interna Controle de gestão Controle externo (Tribunal de Contas) Indicadores de performance / benchmarks Avaliação das políticas e programas públicos “Avaliação política” (pesquisas de opinião, eleições)

15. Eleições, pesquisas de opinião (avaliação política) Avaliação das políticas públicas Controles externos Controle de gestão Controle hierárquico Satisfação e opinião do público Atividadedos agentes Administrativos Políticos Outputs Resultados

16. A avaliação enquanto modo de elaboração da ação pública O paradigma do decisor racional A abordagem “cognitiva” das políticas públicas

17. Avaliação e “abordagem cognitiva” das políticas públicas “As políticas públicas são a conseqüência de interações sociais, que resultam na produção de idéias, representações e valores comuns” (Yves Surel) Nessa perspectiva, a avaliação aparece como um esforço de amplificação e sistematização dos processos de interação e de conhecimento que “produzem” as políticas públicas.

18. As origens americanas Intervenções federais contestadas Programas sociais com pouca legitimidade Democracia = Accountability A orientação empirista das ciências sociais O objetivo de uma “política baseada em provas” (Evidence-based policies)

19. Os pontos fortes da avaliação no mundo anglófono Uma real integração da avaliação ao processo orçamentário O caráter programático da ação pública O papel ativo do Parlamento e do Tribunal de Contas A orientação empirista das ciências sociais A profissionalização dos avaliadores

20. Algumas datas da avaliação na França A Racionalização das escolhas orçamentárias (1970-1984) As tentativas de institucionalização da avaliação pluralista como ferramenta da governança pública : Criação de um Conselho Científico da Avaliação (1990) Transformação em Conselho Nacional da Avaliação (1998) Fracasso relativo e supressão do CNE (2002) A avaliação nos procedimentos contratuais (1993) A avaliação dos fundos estruturais europeus (1993) A avaliação na nova lei orçamentária (2001) A Revisão geral das políticas públicas (2007)

21. Os desafios da ação pública Novas exigências sociais / complexidade Aperto da pressão orçamentária Crise das ideologias e da autoridade (deficit de legitimidade da ação pública) Novas formas de governança e de regulação (globalização, Europa, descentralização, parcerias, passagem do “fazer” para o “mandar fazer”) Crise da administração pública, demanda de “significado” no trabalho

22. Das utilizações potenciais às utilizações reais: o caso francês Uma contribuição muito fraca ao debate público Utilizações orçamentárias relativamente raras, pelo menos na França O lugar da avaliação na governança mundial (UE, Banco Mundial…) Um auxílio real para o monitoramento das políticas A importância da dimensão “formativa” A contribuição para a elaboração de visões compartilhadas Na maioria das vezes, efeitos adiados e indiretos

23. Vários pontos de vista possíveis A avaliação “Goal free” A avaliação econômica A avaliação baseada nos objetivos A avaliação baseada na “teoria” da política O ponto de vista mais natural e mais legítimo para realizar uma avaliação institucionalizada consiste em partir dos objetivos.

24. Princípios da avaliação como procedimento institucional A avaliação institucional utiliza os resultados da pesquisa avaliativa Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)

25. “Num mundo onde a atenção constitui um recurso importante e dos mais escassos, a informação pode ser um luxo caro, pois ela pode desviar nossa atenção daquilo que é importante para aquilo que não é. Não podemos nos dar o luxo de tratar uma informação pelo simples motivo que ela está aí” (Herbert Simon)

26. Etapas de uma avaliação Carta de mandato Elaboração de um projeto de avaliação Constituição de uma instância de avaliação, que valida o projeto Lançamento de um programa de estudo Acompanhamento e validação dos estudos Redação e validação do relatório Acompanhamento e valorização das conclusões

27. O PROJETO DE AVALIAÇÃO Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas) Escolha dos operadores

28. Papel da instância de avaliação Elaborar uma lista de questionamentos com base no mandato Escolher um (uns) método(s) Juntar informações e documentos pertinentes Realizar audições Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultados Redigir o relatório de avaliação Comunicar, explicar, divulgar

29. Elaborar um referencial: Transformar objetivos imprecisos, contraditórios e incompletos em um sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem medidos ou objetivados através de indicadores ou de descritores

30. Distinguir diferentes níveis de resultados Outputs (“resultados operacionais”) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo A cadeia dos resultados

31. Um exemplo simples : O policial e a segurança rodoviária Os efetivos da polícia (os “meios”) As horas de trabalho disponíveis do policial (o “potencial”) Os controles de alcoolismo Os controles positivos As sanções A informação pública A dissuasão A redução do alcolismo ao volante A redução do número de mortos “Meios” ou “Recursos” “Outputs” ou “Produções” “Saídas” ou “Impactos”

32. Os principais objetos do questionamento Implementação (conformidade, mobilização dos atores) Alcance dos objetivos (como o problema evolui) Efeitos líquidos sobre os objetivos (eficácia) Efeitos inesperados (efeitos de sistema…) Mecanismos de ação (porquê e como a política opera) Influência do contexto (circunstâncias influindo na implementação e na eficácia)

33. “Meta-critérios” de avaliação PERTINÊNCIA (objetivos / finalidades / necessidades) COERÊNCIA (meios / dispositivo / objetivos) EFICÁCIA (resultados / objetivos) EFICIÊNCIA (resultados / meios / custos) IMPACTO SISTÊMICO(impacto global sobre o sistema)

34. IMPACTO SISTÊMICO Problemas Necessidades Problemas Necessidades Ambiente Sociedade PERTINÊNCIA POLÍTICA Objetivos – Meios – Recursos – Atores COERÊNCIA Resultados Efeitos EFICIÊNCIA EFICÁCIA

35. Onde encontrar as informações ? Dados quantitativos exploração de arquivos estatísticos informações administrativas pesquisa por sondagem (questionário, telefone, entrevista) Dados qualitativos entrevistas abertas ou semi-abertas análise de documentos vídeos discussão em grupo observação participativa

36. O que é um indicador ? Um número que fornece uma informação a respeito de um fenômeno ou da sua evolução Um “dispositivo de agregação otimizada da informação” Sua função é de chamar a atenção sobre um fato ou uma tendência importante Em geral, ele não basta para formar um juízo a respeito do sucesso de uma ação

37. Lugar dos indicadores na avaliação Toda avaliação está baseada em números Os indicadores ocupam um lugar que varia muito enquanto ponto de apoio das conclusões : Às vezes, eles respondem por si só às perguntas da avaliação Em regra geral, eles precisam ser interpretados e completados por informações qualitativas

38. Os métodos da análise causal Objetivo : comprovar e quantificar uma relação causal entre um “tratamento” e um efeito observável Uma tarefa central na ótica de uma racionalização da decisão Método preferido : a experimentação controlada Outro método : a estimativa de um modelo econométrico

39. O modelo da experimentação social Um “tratamento” social é aplicado a uma amostra aleatória de beneficiários Uma amostra estatisticamente equivalente de não-beneficiários é formada A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa Testes estatísticos permitem estabelecer em qual medida o tratamento “faz a diferença”

40. Limites e dificuldades da experimentação Utilização limitada a certos tipos de programas (efeitos específicos, existência de um ”contrafactual”) Obstáculos éticos / práticos Custos, prazos Problemas de validade externa (generalização)

41. Métodos microeconométricos Exigem muitos dados individuais a respeito dos beneficiários de um “tratamento” Sua validade depende da validade dos modelos explicativos subjacentes

42. Modelos macroeconométricos Exigem séries temporais bastante longas Sua validade depende da validade do modelo explicativo subjacente Na prática : utilização limitada à análise dos efeitos econômicos das políticas

43. A avaliação não se limita à análise causal A avaliação visa tanto explicar mecanismos quanto medir efeitos Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela deve produzir uma argumentação apropriada para convencer um público diversificado… e para fundamentar novas ações / decisões com base em informações heterogêneas agindo por indução mais do que por demonstração

44. Os métodos qualitativos Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Análise de documentos Etno-metodologia Utilização de material audiovisual “Palavra de especialistas” Métodos de trabalho em grupo

45. As técnicas de decisão Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Análise multicritérios

46. Redigir um relatório de avaliaçãoo que o leitor deve poder entender : Objetivo da avaliação Delimitação exata do objeto Como a avaliação foi planejada e conduzida Quais fatos foram estabelecidos Quais conclusões foram tiradas Quais recomendações resultaram dela Fonte : Guia da Comissão Avaliando as Despesas da UE

47. A Carta da Sociedade Francesa para a Avaliação (SFE) Princípios de : Pluralidade Distanciamento Competência Respeito das pessoas Transparência Oportunidade Responsabilidade