Avaliação de Projetos Sociais

1. Avaliação de Projetos Sociais Reynaldo Fernandes Universidade de São Paulo – USP

2. Sumário • Avaliação de Projetos Sociais: aspectos gerais • Avaliação do Programa Jovens Urbanos: comentários • Avaliação do Projeto Jovem de Futuro: comentários

3. Avaliação de Projetos Sociais: aspectos gerais

4. Avaliação de Projetos Sociais • Avaliação de Impacto: O projeto apresentou os impactos desejados? • Avaliação Econômica (análise custo-benefício): Os benefícios do projeto compensam os custos? • Identificação dos Mecanismos:Quais são os mecanismos pelos quais o programa afeta os beneficiários?

5. Avaliação de Projetos Sociais: Brasil • Houve um grande avanço na disseminação das avaliações de impacto. • Existem algumas iniciativas em Avaliações Econômicas: incipientes e muito simplificadas. • Poucas tentativas de identificar os mecanismos pelos quais o programa atua. As avaliações existentes são, em geral, do tipo “caixa preta”.

6. Identificação de Mecanismos • Seria fundamental para dar escala para muitas experiências piloto avaliadas. Muito dos programas avaliados são muito difíceis de expandir para larga gama de beneficiários. • Se conhecêssemos os mecanismos pelos quais o programa atua seria mais fácil transportá-los para uma aplicação em larga escala. • Uma das funções de Projetos-piloto na área social seria, justamente, a de gerar conhecimento sobre tais mecanismos.

7. Identificação de Mecanismos • Uma das principais críticas dos avaliados é que a avaliação não os auxiliam no entendimento, aperfeiçoamento e correção do projeto. • Os avaliados gostariam de uma avaliação mais “formativa”.

8. Avaliação do Programa Jovens Urbanos: comentários

9. Programa Jovens Urbanos • Trata-se de uma avaliação não experimental e, portanto, tem que lidar como potencial viés de participação. • Admite-se que a diferença entre participantes e controle dependa apena de características observáveis (probabilidade de participação co base em observáveis).

10. Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após) • Maior engajamento no mercado de trabalho. • Maior chance de estar empregado • Maior renda pessoal (em grande parte em virtude da maior taxa de emprego) • Maior participação em cursos profissionais • Maior participação em ONGs e Movimentos Sociais • Maior freqüência na leitura de jornais/revistas/livros

11. Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após) • Maior engajamento no mercado de trabalho tem haver com o conteúdo das oficinas ou com o contato com as ONGs? • Maior freqüência na leitura de jornais/revistas/livros parece o único resultado não diretamente ligado ao contato com as ONGs

12. Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após) • Maior engajamento no mercado de trabalho desaparece. • Maior proporção de jovens que ingressa no ensino superior.

13. Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após) • Como interpretar? • Antecipação do Ingresso no mercado de trabalho → Aumento na renda → Ingresso no ensino superior (os jovens alegam que a principal dificuldade de ingressar no ensino superior e a falta de renda). • O programa desperta o interesse em continuar os estudos.

14. Programa Jovens Urbanos: Análise Custo-Benefício • Demasiadamente simplificada. • Poderia gastar mais esforço na estimação dos benefícios ao longo do ciclo de vida. Poderia, por exemplo, levar em conta que os salários crescem com o tempo (produtividade dos sistema) e com a experiência (senioridade): p = taxa de crescimento salarial em virtude da produtividade do sistema k = crescimento salarial em virtude da progressão na carreira (ou experiência)

15. Avaliação do Projeto Jovem de Futuro: comentários

16. Projeto Jovem de Futuro • Trata-se de uma avaliação experimental e, portanto, resolve, em princípio, o problema de viés de participação. • Resta os problemas gerados por atritos. desistências, perda de informações, infiltrações etc.

17. Projeto Jovem de Futuro: impacto sobre a aprendizagem • Problema • Resultado de provas podem depender de outros fatores além da aprendizagem (proficiência): empenho na prova, sorte, seleção dos candidatos etc. • O problema surge quando o programa afeta esses outros fatores. • Tem sido observado que os participantes de programas (grupo de tratamento) tendem a se empenhar mais em exames realizados para avaliar os programas. “Inflação de notas”. • Utilizar exames destinados para outros fins é uma melhor alternativa (e.g. prova Brasil, SARESP etc.)

18. Projeto Jovem de Futuro: Resultados • Impacto extremamente elevado sobre as proficiências.

19. Projeto Jovem de Futuro: Avaliação Econômica • Impacto da Proficiência sobre a renda: 10 ponto de proficiência eleva a renda em 2,5% • Esse resultado é extraído de uma tese (Soares, 2010). Não conheço a tese, mas, por se tratar de uma tese, creio que a estimativa seja mais elaborada que o usual.

20. Projeto Jovem de Futuro: Avaliação Econômica • Taxa de retorno considerada é muito elevada: 10 e 15% • Regra de ouro: taxa de retorno = aumento de produtividade do sistema. • A TIR deveria ser o resultado!

21. Projeto Jovem de Futuro: Mecanismos • O que determina esse impacto elevado: • São os R$ 100,00 por aluno que as escolas participantes recebem? Tem sido difícil encontrar relação entre gasto-aluno e desempenho. • São os recursos junto com as restrições de gastos? • Seria a mobilização?

22. Projeto Jovem de Futuro: Mecanismos • Parece existir uma correlação positiva entre o desempenho dos alunos e os investimentos em práticas voltadas para aumentar o índice de freqüência dos professores. • Prosseguir nesse tipo de investigação parece ser caminho interessante para ser trilhado!