1 / 39

O Uso de Avaliações Aleatórias para Melhorar Políticas

David Evans Economista, Banco Mundial. O Uso de Avaliações Aleatórias para Melhorar Políticas. Objetivo. Identificar o Verdadeiro Efeito de um Programa Separar o impacto do programa de outros fatores >> Qual é o efeito causal de um programa?

Download Presentation

O Uso de Avaliações Aleatórias para Melhorar Políticas

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. David Evans Economista, Banco Mundial O Uso de AvaliaçõesAleatóriasparaMelhorarPolíticas

  2. Objetivo • Identificar o Verdadeiro Efeito de um Programa • Separar o impacto do programa de outros fatores >> Qual é o efeito causal de um programa? • Necessidade de descobrir o que teria ocorrido sem o programa • Não se pode observar a mesma pessoa com e sem o programa >> Conta com análise contrafatual (grupo de controle)

  3. Correlaçãonão é causalidade Uso de fertilizante Alta produtividade OU Conhecimento das tecnologias (semear bem, plantar bem...) Alta produtividade Uso de fertilizante Bom lucro

  4. Causalidadevscorrelação • Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes • Independente da complexidade da estatística, só mostra que A vai com B • Difícil corrigir características não observadas, como motivação / habilidade • Motivação / habilidade podem ser os principais fatores a serem corrigidos

  5. Características de um bomcontrafatual • Grupos de tratamento e de contrafatual tem características idénticas • Única razão pelas diferenças nos resultados é o tratamento • Com cada avaliação, nos perguntamos • Os dois grupos tem características idénticas? • Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?

  6. Contrafatualfalso #1: Antes e depois • Imaginamos o projeto de vales para fertilizante • Se damos vales a certos agricultores para seu milho • Observamos o milho antes • E depois de uma temporada

  7. Antes e depois: O milhomilagroso • Nossas dos perguntas: • Os dois grupos tem características idénticas? • Quem é o grupo de controle aqui? • Há outros fatores que podem explicar a diferença nos resultados? • Sim! • O tempo • Outros projetos do governo ou dos ONGs • Alguma aprendizagem • Pode que sabemos ou que não sabemos

  8. (+) Impacto do programa Ilustração: Programa de Vales paraFertilizante (1) (+) Impacto de outros fatores (externos) Depois Antes 8

  9. Ilustração: Programa de Vales paraFertilizante (2) (+) Medida ENVIESADA do impacto do programa Depois Antes 9

  10. Contrafatualfalso #2:Participantes e nãoparticipantes • Identificamos agricultores carentes para um programa de vales para fertilizante • Comparamos aqueles agricultores com outros, não no programa • Grupo de Tratamento: • Grupo de Controle:

  11. Participantes e nãoparticipantes • O projeto foi um desastre? • Os dois grupos tem características idénticas? • Há alguma característica não idéntica que podria explicar a diferença em resultados (que não seja o tratamento)?

  12. Ilustração: participantes e não (-) Outra Medida ENVIESADA do impacto do programa E se os agricultores se inscrevem no projeto? (Ou seja: auto-seleção?)

  13. Viés de seleção: o arquiinimigo a avaliação do impacto • Os projetos tiveram início em determinado tempo e local por motivos particulares • Os participantes podem selecionar os programas • Os primeiros agricultores a adotarem uma nova tecnologia provavelmente serão muito diferentes dos agricultores médios; ao analisar sua produtividade, você terá uma impressão enganosa sobre os benefícios de uma nova tecnologia.

  14. Motivação • Avaliação retrospectiva de impacto: • Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa • É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento. • A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder • Permite a coleta dos dados necessários 14

  15. O PadrãoOuro:Desenho Experimental • Decidimos quem participa de uma forma aleatória • Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de comparação • Intencionalmente, os grupos de tratamento e de comparação têm as mesmas características (observadas e não observadas), na média • A única diferença é o tratamento • Com grandes amostras, todas as características convergem para a média • Estimativas de impacto não enviesadas

  16. Opções de Randomização • Sorteio (apenas alguns entram no programa) • Entrada gradual • (todos entram eventualmente) • Variação no tratamento • (cobertura integral, diferentes opções) • Desenho de incentivo (no caso de adesão parcial) • Todos podem entrar, alguns são encorajados a fazê-lo

  17. ExemplonaAgricultura • Sorteio • Sorteio para receber informações de uma nova tecnologia agrícola • Entrada gradual randômica (até o final, todos entram) • Treinar alguns grupos de agricultores a cada ano • Variação no tratamento • Alguns obtêm informações sobre novas sementes, outros têm acesso a crédito, outros conseguem um lote demonstrativo em suas terras, etc. • Desenho de incentivo • Alguns centros de apoio ao agricultor por bairro • Alguns agricultores recebem um vale-passagem para frequentar o centro 17

  18. Objeção: É ético? • Muitas vezes é a maneira mais justa para distribuir um programa • Não se distribui por quem você conhece • Se fica perto da sede do programa • Entre o eligiveis: um sorteio da oportunidade igual

  19. Se há um grupo que realmente desejamos beneficiar: pode dar o beneficio preferencial • Super carentes – automáticamente entram • Carentes – sorteio • Não carentes – automáticamente excluídos • Aviso: O resultado da avaliação sera para quem se fez o sorteio • Pergunta: É ética usar muitos recursos em expandir um programa sem bem saber se da os resultados desejados?

  20. Objeção 2: Se a aleatorizaçãonão se observaperfeitamente? • Se é perfeito: 100% dos escolhidos aleatoriamente participam e 100% dos não escolhidos não participam • Efeito medido: o efeito a média pela população • Se não é: 80% dos escolhidos aleatoriamente participam e 25% dos não escholhidos sim participam • Ainda bem • Mas o efeito medido: Efeito para certa sub-população

  21. Oportunidades • As limitações orçamentárias impedem a cobertura integral • A distribuição aleatória (sorteio) é justa e transparente • Capacidade limitada de implementação • A introdução gradual oferece a todos a mesma chance de serem os primeiros • Inexistência de evidências sobre qual a melhor alternativa • Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso

  22. Maisoportunidades • Adesão ao programa existente não é completa • Fornecer informações ou incentivo para a adesão de alguns • Um novo programa piloto • Boa oportunidade de testar o desenho antes de expandi-lo • Mudanças operacionais em programas em andamento • Boa oportunidade de testar as mudanças antes de expandi-las

  23. Quando é realmenteimpossível? • O tratamento já foi alocado e anunciado e sem possibilidade de expansão do tratamento • O programa já acabou (retrospectiva) • Já há adesão universal • O programa é nacional e não excludente • Liberdade de imprensa...o (às vezes alguns componentes podem ser randomizados) • A amostra é muito pequena para ser válida

  24. Randomizaçãoemdiferentesníveis • Individual • Fazenda • Associação de Agricultores • Bloco de Irrigação • Nível da aldeia • Associação de mulheres • Grupos jovens • Nível da escola

  25. Randomização individualouemgrupo? • Se um programa impactar todo um grupo, geralmente toda a comunidade é randomizada para tratamento ou comparação • Mais fácil obter amostras grandes o bastante se os indivíduos forem randomizados Aleatorização individual Aleatorização dos grupos

  26. Unidade de Randomização • A randomização em nível mais alto às vezes é necessária: • Limitações políticas a tratamentos diferenciados na comunidade • Limitações práticas – confusão para uma pessoa implementar diferentes versões • Os efeitos sobre unidades vizinhas podem demandar uma randomização em nível mais alto • Randomizar em nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

  27. Elementos do desenho experimental

  28. Masjátemosumaamostraaleatória… • Validade externa • A amostra é representativa da população total • Os resultados na amostra representam os resultados na população • Podemos aplicar as lições a toda a população • Validade interna • O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população • Ou seja, os grupos de intervenção e de comparação são comparáveis

  29. Randomização Randomização Validadeexterna PopulaçãoAlvo Amostras da População Nacional

  30. Estratificação Randomização Validadeinterna PopulaçãoAlvo Estrato do População Amostras do Estrato da População

  31. Representativoporémenviesado: inútil População Nacional Randomização DistribuiçãoEnviesadaINÚTIL! 31

  32. Exemplo: Programa de Vale Fertilizante, validadeinterna Amostra de Agricultores Comerciais Distribuição Randômica

  33. Vantagens de “experimentos” • Impacto causal claro e preciso • Em relação a outros métodos • Muito mais fácil de analisar • Mais barato (tamanhos menores de amostra) • Mais fácil de explicar • Mais convincente para os formuladores de política • Metodologicamente incontroverso

  34. Erroscomuns a evitar • Cálculo incorreto da amostra • Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas • Coleta de dados diferente no tratamento e no controle • Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! 34

  35. Obrigado

  36. DivulgaçãoRandômica(Desenho de Encorajamento) • Quem recebe divulgação tem maior chance de participar • Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis • Compare os resultados médios dos dois grupos: com / sem divulgação • Efeito da oferta do programa (Intenção de Tratar) • Efeito da intervenção (Tratamento Médio no Tratado) • ATT= efeito da oferta do programa / proporção dos que aderiram

  37. Randomização

  38. Incentivorandômico

  39. Exemplo

More Related