7º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 07 de outubro de 2010

1. Sergio Firpo, EESP-FGVComentários sobre (i) “Who benefits from KIPP” de S. Dynarski et all. e (ii) “The Use and misuse of computers in education” de F. Barrera-Osorio e L. Linden 7º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 07 de outubro de 2010

2. Dynarski et all. • Charter Schools ou Escolas Comunitárias • São organizadas e geridas pelo setor privado, em geral por associações comunitárias ou organizações sociais, financiadas por recursos públicos e conseqüentemente reguladas e supervisionadas pelo estado. • Inovação institucional que potencialmente resolve dois problemas ao mesmo tempo: • aumentam a competição com as escolas públicas ao expandirem o campo de escolha das famílias; • facilitam a inovação e a experimentação dentro das escolas

3. Em geral, os resultados das avaliações dessas experiências apontam em efeitos positivos sobre aprendizado. • Contudo efeito causal é difícil de identificar, pois há seleção de alunos por parte das escolas e demanda pelas escolas pode depender de aspectos sócio-familiares

4. Neste artigo, os autores usam o resulado do sorteio de alunos que se inscreveram em uma escola comunitária associada ao ‘Knowledge Is Power Program’ [KIPP] (KIPP Academic Lynn) como variável instrumental para determinar ingresso. • Utiliza-se, portanto, um desenho quase-experimental que permite avaliar o efeito causal dessa escola comunitária sobre desempenho escolar para a subpopulação dos alunos ‘compliers’, ie, aqueles que potencialmente tomam suas decisões seguindo o resultado do sorteio.

5. Resultados são positivos e significativos em diversas dimensões do aprendizado. • Efeitos heterogêneos são observados, em especial, alunos com níveis iniciais mais baixos de desempenho são os mais atingidos. têm os melhores. • Alunos com fluência limitada em inglês (LEP: Limited English Proficiency) também foram os mais beneficiados. • Não há efeito composição na entrada (sorteio), nem na saída, pois não há evidência de que alunos KIPP de pior desempenho abandonem a escola diferencialmente de alunos de baixo desempenho mas de escolas não KIPP.

6. Comentários • Principais limitações do estudo são: • Validade externa, pois trata-se de um estudo de caso: é possível que efeitos encontrados sejam meramente frutos de características idiossincráticas e não-observáveis dessa escola; • Mesmo que validade externa não fosse um problema, o estudo não consegue separar efeitos parciais importantes para que, se experiência fosse universalizada, os métodos mais efetivos de impacto sobre aprendizado tivessem maior ênfase.

7. Diversos tratamentos simultâneos • Como ressaltado pelos autores: • “KIPP Lynn operates with a long school year, starting in August and including some Saturdays, and a long school day, running from 7:30 in the morning to 5:00 in the afternoon. The school emphasizes basic reading and math skills. Students are expected to adhere to a behavioral code, which includes speaking only when called on in class and orderly movement between classes. Students receive “paychecks”, points awarded for good work that can be spent on field trips and other perks. Parents or guardians, students, and teachers are asked to sign a “Commitment to Excellence”, a promise to come to school on time and work hard, among other things.

8. “The KIPP Lynn and LPS student-teacher ratios are similar, at around 14. In most other ways,however, the KIPP and LPS staffing models diverge. KIPP Lynn's teachers are not unionized, work an unusually long day, and are expected to respond to students phone calls in the evening. KIPP was founded by alumni of the national Teach For America (TFA) internship program, and many KIPP Lynn teachers are graduates of TFA. KIPP Lynn teachers are much younger than those in the rest of LPS (…). Perhaps reflecting their age, KIPP teachers are far less likely to be licensed in their teaching assignment”

9. Barrera-Osorio & Linden • Uso de computadores e tecnologia de informação pelas escolas tem sido apregoado como uma ferramenta para aumentar a qualidade da educação. • Diversos países têm feito investimentos nesse sentido sob a crença de que quanto mais cedo as crianças estiverem expostas a tecnologias mais recentes maior o impacto sobre desempenho. • Apesar do entusiasmo com o tema, existe pouca (ou controversa) evidência empírica de que, de fato, a introdução de novas tecnologias per se tenham impacto causal sobre o desempenho educacional. • O que se sabe é que quando se acham efeitos positivos esses sempre estão ligados a mudanças pedagógicas, pois a introdução de máquinas é insuficiente para mudar o processo de ensino e aprendizado.

10. Nesse artigo os autores buscam evidência desse impacto sobre proficiência em espanhol a partir de uma aleatorização feita na Colômbia para avaliar o programa “Computadores para Educar”. • Os resultados apontam que (i) o programa aumenta o número e o uso de computadores; (ii) o efeito sobre matemática e espanhol é reduzido; (iii) o efeito é reduzido sobre horas de estudo, percepções sobre a escola e relacionamento com os colegas.

11. Principal razão de pequeno impacto diz parece ser o uso “inapropriado” da tecnologia. Apenas 3% dos tratados usaram o computador como previsto pelo programa (em sala de aula). • Há indícios, portanto, de que programas que facilitam acesso a novas tecnologias precisem de implementações bem cuidadosas com ênfase em treinamento de professores para que que se faça o correto uso da tecnologia.

12. Comentários • Apesar de o resultado apontar que o programa teve impacto pequeno, esse é um importante resultado. • Se levado seriamente pelos policy-makers pode mudar forma como gastos em educação são direcionados. • Mesmo que computadores passem a fazer parte da função de produção educacional, eles não o serão apenas com a sua mera introdução nas escolas. • É um insumo que para surtir efeito precisa ser combinado adequadamente com os demais.