10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais

1. 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013

2. O Programa Jovens Urbanos Iniciativa: Fundação Itaú Social Coordenação técnica: Cenpec Objetivo: Ampliar o repertório sociocultural dos jovens na perspectiva da educação integral. Foco: Formação ampliada, geração de oportunidades e inserção produtiva. Parcerias institucional: Poder público e institutos Parceria tecnológica: fundação pública e assessores Parceria executora: ONGs locais

3. Marcos Conceituais

4. Marcos Conceituais • Juventudes • Educação Integral • Trabalho • Cidade • Articulação de redes

5. Marcos Metodológicos

6. Desenvolvimento integral Formação humana ancorada na ampliação do repertório social, político e cultural Gerar oportunidades de formação aos jovens Programa-rede Estado Comunidade Mercado Experimentação Exploração Produção Inserção produtiva Linguagens de arte, Multimeios, Comunicação e Tecnologia, Intervenção Urbana e Meio Ambiente, Chão de fábrica e empreendedorismo na Economia Criativa Participação eCidadania Expressão

7. Metodologias • Cartografia • Explorações • Experimentações • Encontros Públicos • IntervençãoJovem

8. Concepção de Aprendizagem

9. Histórico

10. Edições do programa Secretaria Estadual de Educação Programa Estado Presente Secretaria Municipal de Assistência e Desenvolvimento Social Serra (ES) 1ª ES Manguinhos e Santa cruz Pouso Alegre (MG) 2ª MG 1ª MG 1ª RJ 2007 2011 2012 2004 2005 2006 2008 2009 2010 2ª SP 3ª SP 4ª SP 5ª SP 5ª SP 7ª SP 1ª SP Heliopólis Jardim Helena, Cidade Ademar Jardim Ângela São Miguel Paulista Brasilândia e Campo Limpo Lajeado e Grajaú Secretaria Municipal do Trabalho | Programa Bolsa Trabalho Secretaria Estadual de Desenvolvimento e Assistência Social SP | Programa Ação Jovem

11. Avaliações • Programa Jovens Urbanos • 1ª edição: aleatorizada – 2002/2004 • 1ª avaliação - 2006 • Volta a campo: 2010 • 3ª edição: não aleatorizada – 2007/2008 • 1ª avaliação - 2009 • Volta a campo: 2013

12. Processo Avaliativo

13. Desenho do Programa– 1ª edição 480 jovens com bolsa de programas do Poder Público Seleção dos jovens Período de 10 meses – programação que inclua finais de semana. 6 meses de acompanhamento Algumas atividades/oficinas oferecidas: Pintura de fachadas Captação e produção de imagem e som Paisagismo com resíduos sólidos Revitalização de móveis

14. Tratamento e Controle • Grupo de tratamento: • participaram das atividades do programa Jovens Urbanos e • receberam bolsa-auxílio com contrapartida de retorno à escola • Grupo de controle: • receberam bolsa-auxílio com contrapartida de retorno à escola

15. Metodologia - Impacto • Aleatorização: • Comparação de médias: JU x Controle • Vazamento e evasão antes do início do programa: • IntentiontoTreat, LATE (Local averagetreatmenteffect) • Evasão ao longo do programa: • Reponderação (Ding e Lehrer 2003 -metodologia) • Informação do sorteio • Recuperação das Informações • Pesquisa de campo + Fichas Cadastrais

16. Características Iniciais

17. Resultados

18. Avaliação – Curto e Longo Prazos Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente

19. 3ª edição - Desenho

20. Avaliação – 3ª edição Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente

21. Retorno Econômico • Custos • investimentos realizados pela Fundação Itaú Social em 2007 e 2008, valores corrigidos pelo IPCA para maio/2009 • valor da bolsa é investimento e também benefício direto aos participantes (R$1,1 MM) • Benefícios: • Cenário I: apenas impacto de curto prazo sobre a renda • Cenário II: impacto sobre a renda no curto prazo com simulação de custo reduzido do programa (duração de 9 meses) • Avaliação de curto prazo não mostrou diferença de impacto em renda/emprego entre concluintes ou não do Programa • Cenário III: impacto sobre a renda no curto prazo e simulação de ganho de renda com ensino superior

22. Retorno econômico: Cenários I e II • Impacto médio sobre a renda de R$ 114, calculado em 2009, com queda linear até zero em 2012 • Cenário I: considera custo total e apresenta retorno negativo. • Cenário II: propõe uma redução nos custos do Programa que torne o VPL positivo.

23. Cenário III: inclui adicionalmente impacto sobre a probabilidade de ingresso no Ensino Superior em relação a Cenário I Retorno Econômico

24. Comentários finais • O impacto sobre renda e trabalho encontrado após um ano do programa não se manteve após 4 anos (em 2012). • Há impacto sobre anos de escolaridade e sobre ingresso no ensino superior em 2012. • Consideramos cenários com e sem a inclusão de uma renda adicional futura em função da conclusão do ensino superior. • A taxa interna de retorno do projeto deve ser considerada em um intervalo entre a taxa calculada no 3º cenário (7,9%a.a.), e a taxa calculada no 1º cenário (-14%a.a.).

25. Comentários finais • Seria interessante entender os mecanismos que levam o jovem não apenas a ingressar, mas também a concluir a faculdade, o que pode ser feito através de entrevistas em profundidade com os jovens entrantes no ensino superior. • É importante avaliar a focalização do Programa. O retorno econômico positivo foi possível em função da possível conclusão do ensino superior por pequena parcela dos Jovens Urbanos (ca de 10%). Para os demais jovens não é esperado um impacto adicional na renda, sendo o único impacto o de curto prazo. • Os resultados sugerem que o Programa tem efetividade no curto prazo, na entrada no mercado de trabalho. Nos anos subsequentes não há mais diferenciação em renda por causa do Programa. Este resultado sugere que outros potenciais resultados do Programa não estão sendo revertidos em renda.

26. Aprendizagem e flexibilidade Processo constante de reflexão e revisão tem impactos na gestão do programa, que deve se mostrar flexível a incorporar soluções aos desafios percebidos e se reestruturar constantemente.

27. Comitê Executivo Espaços de reflexão • Comitê Consultivo Jovem Encontros periódicos envolvendo todas as instâncias de governança do programa garantindo credibilidade e transparência na gestão. • Encontro Ampliado • Conselho Acompanhamento

28. Monitoramento e avaliação O Programa promove processos contínuo de monitoramento e avaliação (interna e externa) que alimentam a gestão e a rede do programa com informações sobre desafios, resultados e impactos, utilizados como subsídios para a reflexão, aperfeiçoamento, tomada de decisões, correções de rumos e revisão de objetivos e estratégias.

29. Metodologias de avaliação do programa Jovem ONG Parceiros Programa Jovens Urbanos Formação ampliada Avaliação Diagnóstico e Processo (quali e quanti) Avaliação de Impacto (quanti) Resultado (quali e quanti)

30. Avaliação do Programa Avaliação de resultados Constituição do marco zero Monitoramento • Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ • Prova de habilitação • Divulgação da lista dos 960 jovens habilitados • Sorteio público para constituição dos grupos de jovens • Constituição do grupo controle • Constituição do grupo Jovens Urbanos • inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social • Definição da Avaliação: • Ação conjugada com parceiros   • Aderência do público alvo • Os projetos dos jovens: resultados e impactos na empregabilidade e no desenvolvimento local • Procedimentos: • Análise documental • Questionários com jovens e educadores • Grupo focal com jovens e educadores • Pesquisa de Campo • Constituição do Conselho de Acompanhamento, formado por representantes das parcerias • Produção de registros dos processos de formação com educadores e jovens • Controle de freqüência dos jovens

31. Impactos da avaliação na gestão do programa • Renda e empregabilidade • Inclusão do eixo: mundo do trabalho • Qualificação do monitoramento para evasão no programa gerada por inserção no mercado de trabalho • Hábitos de • leitura • Reforço no eixo letramento • Continuidade das ações de expressão • Criação de semana expressão Jovens Urbanos • Escolaridade formal • Reforço no monitoramento de jovens que evadem da escola • Programa ocorrendo dentro da escola em parceria com Secretarias de Educação • Ensino Superior • EscolaTécnica • Parceria com Universidades • Parceria com escola técnica

32. Conclusões e recomendações Processos regulares de avaliação orientam as instâncias de participação e governança e aumentam a credibilidade do programa. O sistema de monitoramento traz informações durante a realização do programa contribui para corrigir ou fortalecer ações. Resultados da avaliação de impacto reforçam algumas hipóteses detectadas nas avaliações e embasam mudanças na gestão.

33. Programa Jovens Urbanos: Transferência de Tecnologia Social Programa Jovens Urbanos construiu, consolidou, registrou e avaliou sua metodologia de trabalho com jovens que vivem em situação de vulnerabilidade nas metrópoles brasileiras. Disseminar e colocar à disposição da sociedade os saberes produzidosconstituicompromisso social e político.

34. www.fundacaoitausocial.org.br