Unveiling Causal Effects: Using Randomized Evaluations for Policy Improvement

1. David Evans Economista, Banco Mundial O Uso de AvaliaçõesAleatóriasparaMelhorarPolíticas

2. Objetivo • Identificar o Verdadeiro Efeito de um Programa • Separar o impacto do programa de outros fatores >> Qual é o efeito causal de um programa? • Necessidade de descobrir o que teria ocorrido sem o programa • Não se pode observar a mesma pessoa com e sem o programa >> Conta com análise contrafatual (grupo de controle)

3. Correlaçãonão é causalidade Uso de fertilizante Alta produtividade OU Conhecimento das tecnologias (semear bem, plantar bem...) Alta produtividade Uso de fertilizante Bom lucro

4. Causalidadevscorrelação • Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes • Independente da complexidade da estatística, só mostra que A vai com B • Difícil corrigir características não observadas, como motivação / habilidade • Motivação / habilidade podem ser os principais fatores a serem corrigidos

5. Características de um bomcontrafatual • Grupos de tratamento e de contrafatual tem características idénticas • Única razão pelas diferenças nos resultados é o tratamento • Com cada avaliação, nos perguntamos • Os dois grupos tem características idénticas? • Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?

6. Contrafatualfalso #1: Antes e depois • Imaginamos o projeto de vales para fertilizante • Se damos vales a certos agricultores para seu milho • Observamos o milho antes • E depois de uma temporada

7. Antes e depois: O milhomilagroso • Nossas dos perguntas: • Os dois grupos tem características idénticas? • Quem é o grupo de controle aqui? • Há outros fatores que podem explicar a diferença nos resultados? • Sim! • O tempo • Outros projetos do governo ou dos ONGs • Alguma aprendizagem • Pode que sabemos ou que não sabemos

8. (+) Impacto do programa Ilustração: Programa de Vales paraFertilizante (1) (+) Impacto de outros fatores (externos) Depois Antes 8

9. Ilustração: Programa de Vales paraFertilizante (2) (+) Medida ENVIESADA do impacto do programa Depois Antes 9

10. Contrafatualfalso #2:Participantes e nãoparticipantes • Identificamos agricultores carentes para um programa de vales para fertilizante • Comparamos aqueles agricultores com outros, não no programa • Grupo de Tratamento: • Grupo de Controle:

11. Participantes e nãoparticipantes • O projeto foi um desastre? • Os dois grupos tem características idénticas? • Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?

12. Ilustração: participantes e não (-) Outra Medida ENVIESADA do impacto do programa E se os agricultores se inscrevem no projeto? (Ou seja: auto-seleção?)

13. Viés de seleção: o arquiinimigo a avaliação do impacto • Os projetos tiveram início em determinado tempo e local por motivos particulares • Os participantes podem selecionar os programas • Os primeiros agricultores a adotarem uma nova tecnologia provavelmente serão muito diferentes dos agricultores médios; ao analisar sua produtividade, você terá uma impressão enganosa sobre os benefícios de uma nova tecnologia.

14. Motivação • Avaliação retrospectiva de impacto: • Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa • É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento. • A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder • Permite a coleta dos dados necessários 14

15. O PadrãoOuro:Desenho Experimental • Decidimos quem participa de uma forma aleatória • Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de comparação • Intencionalmente, os grupos de tratamento e de comparação têm as mesmas características (observadas e não observadas), na média • A única diferença é o tratamento • Com grandes amostras, todas as características convergem para a média • Estimativas de impacto não enviesadas

16. Opções de Randomização • Sorteio (apenas alguns entram no programa) • Entrada gradual • (todos entram eventualmente) • Variação no tratamento • (cobertura integral, diferentes opções) • Desenho de incentivo (no caso de adesão parcial) • Todos podem entrar, alguns são encorajados a fazê-lo

17. ExemplonaAgricultura • Sorteio • Sorteio para receber informações de uma nova tecnologia agrícola • Entrada gradual randômica (até o final, todos entram) • Treinar alguns grupos de agricultores a cada ano • Variação no tratamento • Alguns obtêm informações sobre novas sementes, outros têm acesso a crédito, outros conseguem um lote demonstrativo em suas terras, etc. • Desenho de incentivo • Alguns centros de apoio ao agricultor por bairro • Alguns agricultores recebem um vale-passagem para frequentar o centro 17

18. Objeção: É ético? • Muitas vezes é a maneira mais justa para distribuir um programa • Não se distribui por quem você conhece • Se fica perto da sede do programa • Entre o eligiveis: um sorteio da oportunidade igual

19. Se há um grupo que realmente desejamos beneficiar: pode dar o beneficio preferencial • Super carentes – automáticamente entram • Carentes – sorteio • Não carentes – automáticamente excluídos • Aviso: O resultado da avaliação sera para quem se fez o sorteio • Pergunta: É ética usar muitos recursos em expandir um programa sem bem saber se da os resultados desejados?

20. Objeção 2: Se a aleatorizaçãonão se observaperfeitamente? • Se é perfeito: 100% dos escolhidos aleatoriamente participam e 100% dos não escolhidos não participam • Efeito medido: o efeito a média pela população • Se não é: 80% dos escolhidos aleatoriamente participam e 25% dos não escholhidos sim participam • Ainda bem • Mas o efeito medido: Efeito para certa sub-população

21. Oportunidades • As limitações orçamentárias impedem a cobertura integral • A distribuição aleatória (sorteio) é justa e transparente • Capacidade limitada de implementação • A introdução gradual oferece a todos a mesma chance de serem os primeiros • Inexistência de evidências sobre qual a melhor alternativa • Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso

22. Maisoportunidades • Adesão ao programa existente não é completa • Fornecer informações ou incentivo para a adesão de alguns • Um novo programa piloto • Boa oportunidade de testar o desenho antes de expandi-lo • Mudanças operacionais em programas em andamento • Boa oportunidade de testar as mudanças antes de expandi-las

23. Quando é realmenteimpossível? • O tratamento já foi alocado e anunciado e sem possibilidade de expansão do tratamento • O programa já acabou (retrospectiva) • Já há adesão universal • O programa é nacional e não excludente • Liberdade de imprensa...o (às vezes alguns componentes podem ser randomizados) • A amostra é muito pequena para ser válida

24. Randomizaçãoemdiferentesníveis • Individual • Fazenda • Associação de Agricultores • Bloco de Irrigação • Nível da aldeia • Associação de mulheres • Grupos jovens • Nível da escola

25. Randomização individualouemgrupo? • Se um programa impactar todo um grupo, geralmente toda a comunidade é randomizada para tratamento ou comparação • Mais fácil obter amostras grandes o bastante se os indivíduos forem randomizados Aleatorização individual Aleatorização dos grupos

26. Unidade de Randomização • A randomização em nível mais alto às vezes é necessária: • Limitações políticas a tratamentos diferenciados na comunidade • Limitações práticas – confusão para uma pessoa implementar diferentes versões • Os efeitos sobre unidades vizinhas podem demandar uma randomização em nível mais alto • Randomizar em nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

27. Elementos do desenho experimental

28. Masjátemosumaamostraaleatória… • Validade externa • A amostra é representativa da população total • Os resultados na amostra representam os resultados na população • Podemos aplicar as lições a toda a população • Validade interna • O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população • Ou seja, os grupos de intervenção e de comparação são comparáveis

29. Randomização Randomização Validadeexterna PopulaçãoAlvo Amostras da População Nacional

30. Estratificação Randomização Validadeinterna PopulaçãoAlvo Estrato do População Amostras do Estrato da População

31. Representativoporémenviesado: inútil População Nacional Randomização DistribuiçãoEnviesadaINÚTIL! 31

32. Exemplo: Programa de Vale Fertilizante, validadeinterna Amostra de Agricultores Comerciais Distribuição Randômica

33. Vantagens de “experimentos” • Impacto causal claro e preciso • Em relação a outros métodos • Muito mais fácil de analisar • Mais barato (tamanhos menores de amostra) • Mais fácil de explicar • Mais convincente para os formuladores de política • Metodologicamente incontroverso

34. Erroscomuns a evitar • Cálculo incorreto da amostra • Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas • Coleta de dados diferente no tratamento e no controle • Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! 34

35. Obrigado

36. DivulgaçãoRandômica(Desenho de Encorajamento) • Quem recebe divulgação tem maior chance de participar • Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis • Compare os resultados médios dos dois grupos: com / sem divulgação • Efeito da oferta do programa (Intenção de Tratar) • Efeito da intervenção (Tratamento Médio no Tratado) • ATT= efeito da oferta do programa / proporção dos que aderiram

37. Randomização

38. Incentivorandômico

39. Exemplo