AVALIAÇÃO

1. AVALIAÇÃO Suely F. Deslandes IFF-FIOCRUZ

2. O que é Avaliação ? • Avaliação, enquanto estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa.

3. Dimensões da avaliação (Penna Firme, 2003) • Utilidade • Viabilidade • Ética • Precisão da técnica

4. Historicidade das Abordagens de avaliação (Guba & Licoln, 1989) • 1900-1930 Primeira Geração • Mensuração (inicia-se com o desempenho de escolares, produtividade) • 1930-1950 Segunda Geração • Nasce a “avaliação de programas” • Descrever como o programa atinge (ou não) seus resultados • 1950-1980 Terceira Geração • Mensurar, descrever, mas a finalidade é julgar o mérito do programa • 1980 - .... Quarta Geração • Negociar parâmetros de avaliação com os envolvidos (stakeholders) /Avaliações participativas 2000- (??) avaliações por triangulações de métodos

5. Definições e sua historicidade • “É a atividade que consiste em fazer julgamento sobre uma intervenção, comparando os recursos empregados e sua organização (estrutura), os serviços e os bens produzidos (processo) e os resultados obtidos, com critérios e normas” (Contandriopoulos et al, 1997, 37).

6. “A avaliação é uma forma de pesquisa socialaplicada(*), sistemática, planejada e dirigida; • destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante • para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa ou de um conjunto de atividades específicas que se realizam, foram realizadas ou se realizarão, • (…)comprovando a extensão e o grau em que se deram essas conquistas, de forma tal que sirva de base ou guia para a tomada de decisões” (Aguilar & Ander-Egg, 1994) (*) Há diferenças entre pesquisa e avaliação

7. “Entendemos avaliação como a elaboração, a negociação, a aplicação de critérios explícitos de análise, em um exercício metodológico cuidadoso e preciso, com vistas a conhecer, medir, determinar e julgar o contexto, o mérito, o valor ou o estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizações”(Silva e Brandão, 2003)

8. uma boa avaliação visa a reduzir incertezas, a melhorar a efetividade das ações e a propiciar a tomada de decisões relevantes, guia-se por quatro objetivos: • oferecer respostas aos beneficiários, à sociedade e ao governo sobre o emprego dos recursos públicos; • orientar os investidores sobre os frutos de sua aplicação; • responder aos interesses das instituições, de seus gestores e de seus técnicos; • buscar sempre uma melhor adequação de suas atividades.

9. Uma avaliação poderá levar em conta: üa adequação entre os objetivos e estratégias propostas e recursos utilizados ; üa adequação da estrutura organizacional para realizar o trabalho proposto; üo quanto e como os objetivos e metas foram atingidos; üa qualidade dos serviços prestados e dos resultados; üa sustentabilidade da ação ou projeto.

10. TIPOLOGIAS DE AVALIAÇÃO Quanto à metodologia: • Avaliação qualitativa (não de “qualidade”) • Avaliação quantitativa – contribui para estabelecer as relações causais entre as variáveis independentes (intervenção, exposição) e dependentes (resposta ou de desfecho). • Avaliações por triangulação de métodos

11. Metodologias Qualitativas • Objeto de estudo de pesquisa qualitativa = ação social e os significados atribuídos pelos seus agentes (instituições, grupos, indivíduos, movimentos sociais) . Propósito comum em analisar o significado atribuído pelos sujeitos aos fatos, relações e práticas, isto é, interpretando tanto as interpretações quanto as práticas dos sujeitos.

12. Pressuposto: • relação dinâmica entre mundo objetivo e (inter) subjetivo. Concepções, valores, crenças que são referências naquela cultura estarão presentes na tomada de decisões, nas ações concretas dos sujeitos.

13. Abordagens qualitativas de avaliação Atribuição de Significados BASE PARA AÇÃO Condições e Interações Sociais Vivências Culturais

14. Avaliação qualitativa • Estará sempre presente quando o avaliador desejar compreender quais os significados que os sujeitos atribuem a qualquer uma das dimensões do programa (definição da demanda, objetivos, estratégias, metas, resultados, sustentabilidade etc) ou como se dá, na prática e no cotidiano, a interface entre a realização das ações do programa e os discursos/concepções sobre estas ações

15. Descrições detalhadas das demandas/expectativas/obstáculos para a implementação do programa Análise de processos Descrição dos diferentes tipos e participação e seus papéis Análise de como o programa afeta seus participantes Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) Análise das “fraquezas” e dos “facilitadores” do programa Usos correntes da avaliação qualitativa(Patton, 1987)

16. Usos correntes da avaliação qualitativa • Expectativas dos sujeitos • Determinado serviço se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas ? (Atkinson, 1993).

17. Usos correntes da avaliação qualitativa A dinâmicas das relações- Análise de processos • A realização de qualquer programa ou serviço é um processo que possui movimento, uma dinâmica própria. Envolve a ação de atores distintos que se aliam e se contrapõem. • A avaliação qualitativa, portanto, também busca compreender antagonismos e consensos que acontecem no cotidiano da execução dos programas/serviços e que podem ser elementos favoráveis ou obstáculos a sua realização.

18. Análise de como o programa afeta a identidade de seus participantes • Os programas envolvem de forma mais ou menos direta a vida e a auto-imagem de seus participantes. Não raro a participação como agente ou usuário de determinado programa pode significar uma considerável mudança de status daquela pessoa diante de seus familiares e comunidade (seja de forma positiva ou negativa).

19. Análise dos efeitos, impactos e mudanças observadas (ou sua ausência) • A avaliação de programas sociais envolve sempre a perspectiva de mudança de uma situação, comportamentos ou problemas. Incluir no rol da análise as interpretações dos sujeitos sobre as mudanças percebidas, confrontando com aquelas inicialmente esperadas pelo programa é item indispensável à avaliação qualitativa.

20. Análise das “fraquezas” e dos “facilitadores” do programa • Toda boa avaliação desencadeia um processo interno de discussão, de debate sobre os obstáculos encontrados; • . O quanto cada fator, cada ator e conjuntura (política, administrativa etc) colaboraram para o projeto atingir (ou não) seus propósitos? Há, nesse processo, um ganho de reflexão crítica.

21. Análise das “fraquezas” e dos “facilitadores” do programa • Sujeitos - balanço crítico- sugestões para melhor realizar as ações. Estas interpretações devem sofrer as críticas dos avaliadores e o confronto do que se tem como consenso do que seja uma boa prática. • Aprender com as lições, com os acertos e erros, com a criatividade dos envolvidos - patrimônio precioso para todos os que atuam nos programas.

22. Avaliação como campo polissêmico(apud Novaes, 2000; Patton, 2004) • Classificações podem variar quanto: • Objetivos da avaliação • Posição do avaliador • Período Diagnóstico Levantamento de demandas Monitoramento Tomada de decisões • Interno/Externo • Negociador/ “Técnico” • Compactua critérios/ • determina critérios Implantação Implementação Resultados

23. Quanto ao momento da realização avaliação em relação à existência da ação avaliada • Ex-ante • Ex-post

24. (a)análise diagnóstica situacional inicial; • (b)uma avaliação da implantação e da implementação • (c) apreciação dos resultados, valorizando também o processo e as tendências, entendendo que os efeitos das intervenções sociais não findam quando ela cessa.

25. A avaliação da implantaçãoobserva todos os passos necessários à efetivação da intervenção. Visa (1) verificar a extensão do alcance do programa para a população alvo; (2) monitorar a “dose do programa”, ou seja, a freqüência da sua aplicação e a participação dos sujeitos envolvidos nas atividades previstas; (3) avaliar a variabilidade do contexto organizacional ou situacional na qual o programa se implementa; (4) correlacionar a extensão na qual os programas são implementados e as metas propostas e (5) mensurar o seu custo de implementação (McGraw et al, 1989 apud Minayo, 2006).

26. O estudo sobre a implementação de um programa, realizado in loco, visa (1) à análise da extensão com que ele alcança a população-alvo; (2) a freqüência e a intensidade de aplicação da proposta e a participação dos sujeitos envolvidos; (3) as questões organizacionais e administrativas; (4) a viabilidade e variabilidade das metas propostas e (5) a formação da equipe de intervenção nos diferentes níveis.

27. A avaliação de resultados visa a dimensionar, qualitativa e quantitativamente, as diferenças entre o momento inicial e as metas/objetivos atingidos ao final de uma intervenção

28. TRIANGULAÇÃO de MÉTODOSEM AVALIAÇÃO

29. Triangulação de abordagens Campos disciplinares Racionalidades científicas Metodologias Técnicas Pesquisadores

30. Triangulação é um termo que significa: • a combinação e o cruzamento de múltiplos pontos de vista; • a tarefa conjunta de pesquisadores com formação diferenciada; • a visão de vários informantes • o emprego de uma variedade de técnicas de coleta de dados que acompanha o trabalho de investigação

31. Condições • Primeiro é a existência de uma equipe formada por profissionais de várias áreas que desejem trabalhar de forma solidária • A segunda condição é a competência disciplinar de cada componente do grupo.

32. Quanti-Quali • a ‘compreensão/explicação em profundidade’ • a ‘explicação em extensão’

33. princípios para a análise • Causalidade complexa,que se opõe à visão de linearidade entre causa-efeito. Destacam-se: • as relações em uma visão hologramática no sentido de que o todo contém as partes, a parte contém o todo, mas parte e todo têm características e propriedades específicas; • a inseparabilidade da ordem e da desordem em qualquer projeto, proposta ou organização; • a irredutibilidade do acaso, da incerteza e do inacabado em todos os fenômenos sociais.

34. Etapas da avaliação (1) Formulação do objeto e do planejamento da avaliação (2) Elaboração de indicadores (3) Escolha das fontes de informação (4) Construção dos instrumentos (5)Trabalho de campo (6)Análise (7) Elaboração do informe – relatório (8)Devolução e debate dos dados

35. INDICADORES • Os indicadores, como o próprio nome designa, “são somente uma indicação sobre determinada situação, ou reflexo dessa situação”, e são usados para medir alterações, efeitos e resultados de uma situação social ou projeto específico (OMS, 1980). • Os indicadores ideais são aqueles considerados válidos, objetivos, sensíveis e específicos. Contudo, na prática, poucos indicadores preenchem todos esses quesitos. Não podemos esquecer que “são medidas indiretas ou parciais de uma situação complexa” e não explicam inteiramente a realidade (OMS, 1980). • Funcionam como guias, pistas fundamentais para avaliar alterações, direções, efeitos e resultados dos projetos.

36. Transformar os objetivos em itens capazes de mensurar/expressar as mudanças devidas a uma intervenção social .

37. Indicadores • Indicadores quantitativos • Indicadores qualitativos

38. Indicador quantitativo • Exemplo: COBERTURA • Indicador1: Proporção de indivíduos da população-alvo captada pelo projeto • PIPACP = NIPACP/ TIPA • Onde: PIPACP = proporção de indivíduos da população alvo, captada pelo projeto • NIPACP = número de indivíduos da população alvo captados pelo projeto • TIPA = total de indivíduos da população alvo •  Definição: número de indivíduos da população alvo captados pelo projeto, expresso como percentual do total de indivíduos da população alvo do projeto. • Obs: considera-se indivíduo captado pelo projeto aquele que participou de 3 atividades educativas • Propósito: este indicador visa saber a proporção de indivíduos da população alvo captada pelo projeto

39. Indicador qualitativo Exemplos: • Ganho de capacidade de argumentação para o reconhecimento de direitos • Atitudes em relação a determinada questão • Articulação comunicacional • Ampliação e conectividade da rede de suporte social

40. Por que investir em avaliação? • ganho de legitimidade pública e institucional. • ganho de competência técnica e gerencial. • ganho de reflexão crítica . • possibilita o compartilhamento de saberes e experiências. • maior competitividade na busca de recursos cada vez mais limitados de financiamento

41. Se quem planeja governa melhor, quem avalia aumenta sua governabilidade

42. fim desland@iff.fiocruz.br