Aula 2 – Desenho da avaliação, Marco Lógico e Indicadores de Impacto

1. Aula 2 – Desenho da avaliação, Marco Lógico e Indicadores de Impacto Modificado por Guilherme Irffi e Francis Petterini

2. Plano de Aula • Primeira Parte: O desenho da avaliação de impacto • Aspectosgerais do desenho da avaliação • Indicadores de Oferta -> Resultado -> Impacto • O Marco Lógico do projeto social (cadeialógica de resultados) • Dados primários e secundários • Planejamento/Desenho da avaliação • Problemasnaavaliação • Exemplos • Indicação de leitura: Martin Ravallion (2001) • Segunda parte: IndicadoresSocais no Brasil

3. Avaliação de Impacto • Objetivo da avaliação: determinar se houve mudança no bem-estar dos indivíduos que pode ser atribuída a um determinado programa. • Isto é feito com o uso de um indicador que se relacione diretamente com o objetivo do programa. • Dois aspectos: mensuração e causalidade • Mensuração: não apenas saber se houve mudança,mas também medir essa mudança. • Causalidade: garantir que a mudança observada foi causada pelo programa.

4. Taxonomia dos indicadores • Existem vários sistemas de classificação dos indicadores. Para fins de avaliação utilizamos a seguinte divisão proposta por Cohen e Fanco (2000): • Indicadores de insumo • Indicadores de processo • Indicadores de impacto

5. Indicadores de oferta São aqueles associados aos recursos necessários para a realização do projeto ou programa desenhado para afetar uma realidade social. Exemplo: Número de computadores alocados para um programa de formação técnica em informática; número de leitos hospitalares por mil habitantes; o número de professores por quantidade de estudantes.

6. Indicadores de resultado São indicadores intermediários, que procuram retratar o esforço operacional de alocação de recursos. O que o programa faz no dia a dia. Servem para monitorar o seu funcionamento. Exemplo: Número de alunos matriculados; número de doentes atendidos.

7. Indicadores de Impacto São aqueles relacionados aos efeitos do programa, as mudanças sociais trazidas pelos programas. Exemplo: Nota escolar; frequencia escolar; evasão escolar; número de mortes por infecção hospitalar; número de crianças nascidas vivas; incidencia de doenças.

8. INSUMOS: Recursos materiais, financeiros e humanos alocados em ações do projeto (custos são mensurados aqui) ATIVIDA-DES E AÇÕES: Modus operandi e articulação com o público-alvo PRODUTOS: parte das ações desenvolvidas que se traduzem em algo tangível (indicadores de oferta são mensurados aqui) RESULTA-DO: Efeitos imediatos dos projetos (melhorias nos indicadores de resultados). IMPACTO: Conseqüên-cias de médio e longo prazo dos programas (indicadores de impacto). MARCO LÓGICO DE UM PROJETO SOCIAL

9. Exemplo de uma cadeia de marco lógico (ou cadeia lógica de resultados)

10. Indicadores e bases primárias e secundárias Januzzi, P. M. Revista do Serviço Público Brasília 56 (2): 137-160 Abr/Jun 2005

11. Planejando a avaliação • Entender o programa; • Explicitarosobjetivos da avaliação; • Elaborar o plano de pesquisa; • Executarplano de pesquisa; • Discutirresultados com osinteressados; • Elaborarrelatório final.

12. O plano de pesquisa Objetivos da avaliação: • O que se pretendeavaliar; • O propósito da avaliação; • A abrangência da avaliação. Perguntasorientadoras (processo): • Como estáfuncionando? • Como se desenvolvem as atividades e operações? • Como osbeneficiáriosestãosendoatendidos? • Como osbeneficiáriosestãoavaliando o serviço? • Estãosendoatendidosospadrõesmínimosestabelecidos?

13. Continuação… Perguntasorientadoras (resultados): • Osobjetivosestãosendoalcançados? • A populaçãoalvoestásendoatingida? • Emquemedida e emqueproporção? • Porquesimouporquenão? Relaçõescausais • Entre produtos e resultados; • Entre produtos e impactos; • Entre resultados e impactos; • Entre osprocessos e o produto; • Entre osprocessos e osresultados.

14. Continuação… Seleção da metodologia • Selecionarindicadores de produtos, resultados e impacto; • Identificarfontes e formas de obtenção de informações; • Definirprocedimentos e instrumentos de coleta de informações; • Selecionarmodelos e técnicasestatísticas a seremutilizados. Diante disso, temosque: • Indicação da equipe; • Definição das necessidades de recursos; • Definição das etapas da pesquisa; • Definição do cronograma da pesquisa.

15. A execução da pesquisa • AnáliseExploratória; • Seleção e Treinamento da Equipe; • Planejamento e execução da coleta de informações; • Processamento e análise das informações; • Elaboração de relatóriopreliminar; • Discussão com osinteressados; • Elaboração do relatório final; • Disseminação dos resultados. Exemplos… • Projeto “Eusouativo” da SEFAZ • Projeto “100 mil cisternas” do Inst. Carnaúba

16. Problemasnaavaliação • Teoriaserradas; • Viabilidade da avaliação; • Condiçõespolíticasparaavaliar; • Dificuldades de entender o programa; • Dificuldades de aplicarumametodologia; • Ausência de grupos de controle; • Ausência do estudo no marco zero; • Custoselevados;

17. Martin Ravallion (2001) O mistério do desaparecimento dos benefícios: uma introdução à avaliação de programas da srta. Analista ligeirinha

18. Indicadores Sociais Surgem com à consolidação das atividades de planejamento do setor público ao longo do século XX. O desenvolvimento da área é recente aproximadamente em meados dos anos 60 É uma tentativa de organização de sistemas de acompanhamento das transformações sociais e aferição do impacto das políticas sociais nos países desenvolvidos e em desenvolvimento.

19. Difusão Apesar de existirem anteriormente, foi na década de 80, com novas experiências de implementação de políticas públicas, o instrumental dos indicadores sociais foi amplamente melhorado – pelas universidades, setor público, ONGs. Criação dos Sistemas de Indicadores Sociais: conjunto de indicadores sociais para análise e acompanhamento de políticas ou da mudança social.

20. Definição de indicadores sociais • Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse. • Auxiliam as a gestão de projetos e a formulação de políticas sociais nas diferentes esferas de governo e ONGs; • Possibilitam o monitoramento das condições de vida e bem-estar da população por parte do poder público e da sociedade civil; • Permitem o aprofundamento da investigação sobre a mudança social e sobre os determinantes dos diferentes fenômenos sociais.

21. Principais Indicadores Sociais Indicadores de Educação: Percentual de Crianças na Escola (número de crianças na escola/ Total de crianças)* 100 Percentual de Crianças Analfabetas (Número de crianças analfabetas/total de crianças)*100 Percentual de Crianças com mais de um Ano de Atraso Escolar (Número de crianças com atraso/total de crianças)*100 atraso escolar = [(idade - 6) - número da série completada]

22. Indicadores de Educação (2): Percentual de Crianças Fora da Escola (número de crianças na fora da escola/ Total de crianças)* 100 Percentual de Professores do Fundamental Residentes com Curso Superior (Número de professores com curso superior/total de professores)*100 Taxa de Alfabetização (Número de pessoas com mais de 15 anos que sabem ler ou escrever/total de pessoas)*100

23. Indicadores de Saúde: Mortalidade infantil (número de crianças de até 1 ano mortas/ Total de crianças) Taxa de Fecundidade (Somatório do número de crianças nascidas em determinado período de tempo/total de mulheres em idade reprodutiva)*100 Taxa de Natalidade (Número de nascidos vivos/total de pessoas)*1000

24. Indicadores de Saúde (2): Taxa de Incidencia de doença (número de crianças que ficaram doentes/ Total de crianças) Peso sobre altura: (Peso da criança/altura da criança) Circunferencia da cabeça (Medida da circunferencia da cabeça)

25. Indicadores de Renda: Renda Per Capita (Renda total/ total de pessoas) Intensidade de pobreza (Número de pessoas abaixo da linha de pobreza- esta linha varia segundo autor) Percentual de Crianças de 10 a 14 anos que Trabalham (Número de crianças que trabalham/ total de crianças)

26. Indicadores de Renda(2): Empregabilidade Número de Banheiros do domicílio Número de Cômodos do domicílio Número de morador por Cômodos e banheiro

27. Indicadores de Moradia/Infraestrutura Domicílios com Água Encanada Domicílios comEsgoto Domicílios com Coleta de lixo Número de moradores por domicílio

28. Indicadores Ambientais Taxa de desmatamento Emissão de gás carbônico Quantidade de lixo produzida Taxa de reciclagem de lixo

29. Indicadores de Violencia e Segurança Pública Crimes por cem mil habitantes (número de crimes/população)*100.000 Policial por População (número de policiais/população) Taxa de subregistro [1- (número de crimes ocorridos/número de crimes registrados na polícia)]*100