4ª Oficina temática Avaliação: o que fazemos? Avaliação de resultados, satisfação e impacto

1. 4ª Oficina temática Avaliação: o que fazemos? Avaliação de resultados, satisfação e impacto

2. Agenda Manhã Tarde

3. A transparência e a avaliaçãoResultados, satisfação e impacto

4. O que a palavra avaliação nos lembra ?

5. A visão tradicional da avaliação (Marino, 2003) • Avaliação é imposta de fora para dentro • Avaliação como controle • Avaliação é tarefa muito complexa, cara e tediosa • Os resultados da avaliação poucas vezes são incorporados no planejamento • Medo de apresentar o que “não funcionou” • Os resultados desse programa não são quantificáveis, por isso não podem ser avaliados

6. Mas então o que é avaliação? “Coleta sistemática de informações sobre ações, características e os resultados de um programa e a identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos publicamente, para determinar o valor (mérito e relevância), a qualidade, a utilidade, a efetividade ou importância do programa sendo avaliado” “A avaliação é um instrumento de aprendizado, melhoria de desempenho e prestação de contas aos diversos interessados de um programa” (Worten, Sandres e Fitzpatrick, 1977)

7. Os princípos da avaliação de programas(AEA, CES e AfrEA) • UTILIDADE: reponde aos interessados, tem credibilidade, possui informações relevantes, é clara, gera interesse, é disseminada. • VIABILIDADE: de operacionalização, política e de custo • PROPRIEDADE: é fruto de um acordo, respeita os indivíduos e as relações, é completa e justa, é responsável • PRECISÃO: possui documentação, descreve a metodologia, possui informações válidas e confiáveis, tem sistematização e é imparcial

8. Quando avaliar? Impacto Efeitos idéias Marco zero Diagnóstico decisões e novas perguntas contexto elaboração da intervenção sistematização avaliação implementação gestão Somativa Resultados Formativa Processo

9. O que estamos interessados?

10. O que é necessário saber • Qual a missão da organização (direcionamento). Que necessidades atendemos, o que queremos transformar? • Quais são os nossos programas, projetos e serviços? • Quais são os seus principais objetivos? Para que foram criados?

11. Avaliação de satisfação Qual o nível de satisfação dos beneficiários com os serviços e projetos da organização? Quais indicadores são utilizados para medir essa satisfação? Como eles são medidos?

12. Avaliação de resultados Quais as principais mudanças (quantitativas e qualitativas) provocadas pelos projetos serviços da organização? Quais os indicadores utilizados para medir essas mudanças? Como eles são medidos?

13. Avaliação de impacto Impacto dos projetos/serviços Quais os efeitos (no longo prazo) dos projetos e serviços da organização? Que indicadores são utilizados para medir esses efeitos? Como eles são medidos?

14. Avaliação de impacto • Impacto socioambiental da organização • Quais os efeitos ambientais das atividades da organização? • Insumos consumidos ou economizados (energia, água, materiais) • Resíduos produzidos ou reciclados • Impactos ambientais • Que indicadores são utilizados para medir esses efeitos? • Como eles são medidos?