Tendências da Avaliação no âmbito das Políticas Públicas: desafios e perspectivas

1. Tendências da Avaliação no âmbito das Políticas Públicas: desafios e perspectivas Valéria Almada Lima e-mail: neval@elo.com.br

2. Avaliação de Políticas e Programas Sociais • Um momento do processo das políticas públicas • Uma modalidade de pesquisa social aplicada

3. Pesquisa Avaliativa: modalidade de pesquisa social aplicada • Histórico: Séc. XVII: • Primeiros estudos avaliativos de programas sociais, no contexto da revolução científica desencadeada na Europa, alicerçada nas teorias de Kepler, Bacon, Galileu e Descartes; • Espelhavam-se no método experimental advindo das ciências naturais;

4. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 1.Histórico: Séc. XX: • Maior evolução e emprego generalizado de avaliações sistemáticas, com aplicação de métodos de pesquisa social, concomitantemente ao crescimento e aprimoramento dos próprios métodos científicos e à evolução da estrutura política, econômica e social das sociedades humanas; • A avaliação no campo social ganha reconhecimento científico; • Concentra-se nos campos da educação e da saúde. • Forte influência da corrente positivista.

5. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 1- Histórico: Anos 1950 a 1970 : Período áureo da pesquisa avaliativa • Expande-se nos Estados Unidos no governo de Lindon Johnson, no contexto das Reformas Sociais e Programas Comunitários denominados de “Guerra à Pobreza”. • Consolida-se como um campo específico de estudo, ensejando a criação de cursos, centros de pesquisa e publicações especializadas. • Viés comportamental e neutralista, voltado, sobretudo, para a eficiência e a eficácia das políticas, sem considerar o seu conteúdo substantivo, bem como as variáveis contextuais.

6. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 1- Histórico: Anos 1980: Declínio no governo Ronald Reagan, com a redução e o desmantelamento da estrutura criada para o desenvolvimento dos programas sociais.

7. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 1 – Histórico: Anos 1990: • Retomada do interesse pela pesquisa avaliativa; • Predomínio de abordagens compreensivas que articulam o método quantitativo com o qualitativo, bem como a avaliação de processo com a de impacto, merecendo grande destaque as variáveis contextuais; • Ganha destaque a dimensão política da avaliação, percebida em sua articulação com a dimensão técnica.

8. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 2 – Evolução histórica no Brasil: Anos 1980: Expande-se no contexto do avanço dos movimentos sociais em sua luta pela universalização dos direitos sociais e pelo maior controle social das políticas públicas

9. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 2 – Evolução histórica no Brasil: Anos 1990: • Grande impulso da avaliação no contexto da Reforma do Estado; • Avanço do Projeto Neoliberal, cujo foco principal era a liberalização e a desregulamentação da economia; • Mudança no papel do Estado, que de interventor e executor passa a assumir as funções de financiador e regulador; • Avaliação passa a ser demandada como mecanismo de controle do Estado, com vistas à maior eficiência dos gastos públicos.

10. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 2 – Evolução histórica no Brasil Situação atual: • Crise de utilização: os resultados não têm produzido modificações nos rumos das políticas e programas • Crise de divulgação: os estudos e trabalhos publicados se concentram mais em divulgar novas teorias e metodologias de pesquisa, desvinculadas de sua validade e aplicação prática.

11. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 3 – Concepção da pesquisa avaliativa: Esforço consciente e sistematizado de julgar e explicar o desempenho de uma política, cujo objetivo mais destacado é oferecer informações aos decisores públicos sobre a eficiência, eficácia e efetividade de medidas públicas orientadas para mudanças de comportamentos e situações. Vista numa perspectiva de cidadania, pode se constituir em importante instrumento de controle social das políticas públicas por parte da sociedade organizada.

12. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 4 – Especificidades da pesquisa avaliativa: Em sentido lato avaliar é atribuir valor a algo, estimando seu mérito conforme determinados critérios.

13. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 4 – Especificidades da pesquisa avaliativa: Avaliação espontânea, informal ou assistemática: Integra as ações da vida cotidiana não se fundamentando em métodos científicos e assumindo um caráter privado.

14. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 4 – Especificidades da pesquisa avaliativa: Avaliação sistemática ou pesquisa avaliativa: Orienta-se pelo método científico e apresenta caráter público. Possui uma dimensão técnica, uma dimensão política e uma dimensão acadêmica. Não é um ato neutro nem exterior às relações de poder. Porém, requer postura de objetividade e independência. É, por natureza, uma atividade interdisciplinar. Não tem o status de uma verdade inquestionável, sendo, como todo saber científico, uma interpretação histórica, parcial e relativa sobre a realidade social.

15. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 5 – Funções da pesquisa avaliativa: • Função técnica: Fornece subsídios para a correção de desvios no decorrer do processo de implementação de um programa, contribuindo para o redimensionamento das ações. • Função política: Oferece informações aos diferentes sujeitos sociais beneficiários das políticas, instrumentalizando-os em suas lutas para o controle social das políticas públicas.

16. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 5 – Funções da pesquisa avaliativa: • Função acadêmica: Desvela determinações e contradições presentes no processo e no conteúdo das políticas públicas, evidenciando seus significados mais profundos (sua essência), contribuindo, assim, para a produção do conhecimento.

17. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo o momento: • Avaliação ex-ante: realizada ao se iniciar a formulação do programa, tendo em vista antecipar aspectos a serem considerados no processo decisório, tais como: a análise de custo-benefício e de custo-efetividade, análise da pertinência face à realidade, bem como da coerência interna. • Avaliação ex-post: Realizada durante ou após a execução do programa. Ex: avaliação de processo e avaliação de impacto.

18. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo o sujeito: • Avaliação externa: Realizada por pessoas que não integram o quadro da instituição gestora do programa. • Avaliação interna: Realizada no interior da instituição gestora. • Avaliação mista: Combina a avaliação externa com a interna. • Avaliação Participativa: Requer a participação dos beneficiários do programa. É mais viável em pequenos projetos.

19. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo a escala ou dimensão do programa: • Avaliação de grandes projetos: Caracteriza-se pelo predomínio de estratégias analíticas objetivas, com destaque para metodologias quantitativas. Tende a ser desenvolvida por avaliadores externos. • Avaliação de pequenos projetos: Uso de metodologias predominantemente qualitativas (observação participante, entrevista em profundidade, história de vida). Tende a ser desenvolvida de forma mais participativa.

20. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo os destinatários: A avaliação modifica seu foco conforme os destinatários, os quais são diversificados e numerosos: Executores, financiadores, formuladores, usuários e a sociedade em geral.

21. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo as funções: • Avaliação somativa: Estudo dos resultados ou efeitos dos programas tendo em vista julgar a pertinência de sua continuidade; • Avaliação formativa: Desenvolvida durante o processo de execução com vistas a corrigir desvios de percurso e redirecionar as ações.

22. Pesquisa Avaliativa: modalidade de pesquisa social aplicada 6 – Tipos de Avaliação: Segundo o objeto: • Avaliação política da política; • Avaliação de processo; • Avaliação de impacto; • Avaliação compreensiva: Articula a avaliação de processo e de impacto, levando em conta as variáveis contextuais tendo, portanto, maior potencial explicativo sobre as razões dos êxitos e fracassos de um determinado programa; • Meta-avaliação: Avaliação da própria avaliação visando ao refinamento do processo avaliativo em termos de validade, credibilidade e relevância.

23. O debate entre diferentes enfoques teórico-metodológicos • A avaliação de políticas e programas sociais se utiliza dos métodos e técnicas próprios da pesquisa social, sendo a escolha condicionada pelo objeto, pelos objetivos, pelo tipo de avaliação, pela disponibilidade de tempo e de recursos e pela perspectiva teórico-metodológica do avaliador.

24. O debate entre diferentes enfoques teórico-metodológicos • Método funcionalista clássico: Matriz positivista. Predominante na pesquisa avaliativa sobretudo até os anos 1980. Marcado por uma tradição tecnocrática, por uma perspectiva quantitativista e comportamental. Privilegia a mensuração de resultados a partir de objetivos pré-definidos. A partir dos anos 1990 busca-se superar o modelo positivista, via articulação das abordagens qualitativa e quantitativa, dando-se maior importância às variáveis contextuais e à dimensão política da avaliação em complementação à dimensão técnica.

25. O debate entre diferentes enfoques teórico-metodológicos • Método dialético-materialista: Busca aproximações sucessivas com a realidade a partir de movimentos articulados com vistas a superar a aparência e desvendar a essência dos fenômenos estudados. Tentativa de reconstrução da realidade partindo do abstrato ao concreto com o uso articulado de diferentes procedimentos de pesquisa. Tem como pressuposto que a realidade é complexa, contraditória e síntese de múltiplas determinações.

26. O debate entre diferentes enfoques teórico-metodológicos • Características de uma avaliação na perspectiva dialética-materialista: Valoriza a análise crítica da política;Busca identificar os princípios e fundamentos teórico-conceituais da política;Considera os sujeitos e interesses envolvidos no processo;Fundamenta-se em valores e concepções sobre a realidade social partilhados pelos sujeitos da avaliação;Contrapõe-se à idéia de neutralidade

27. O debate entre diferentes enfoques teórico-metodológicos Características de uma avaliação na perspectiva dialética-materialista: • Os resultados da avaliação são considerados parciais e questionáveis; • As mudanças nas condições de vida de um grupo são consideradas não apenas decorrentes do programa mas de outras variáveis contextuais; • Articula as dimensões técnica e política da avaliação; • Destaca a necessidade de participação dos beneficiários e demais sujeitos envolvidos e da publicização dos resultados numa perspectiva de construção da cidadania e de democratização dos direitos sociais.

28. Tendências e perspectivas no campo da avaliação de políticas públicas • Tendência de combinar abordagens qualitativas e quantitativas; • Tendência de valorizar concepções mais abrangentes e totalizantes de avaliação no campo social; • Tendência de utilização de abordagens participativas; • Tendência de identificação e consideração das variáveis contextuais;

29. Principais desafios no campo da avaliação de políticas públicas • Utilização dos resultados da avaliação. • Publicização dos resultados da avaliação;