Download
1 / 48
480 likes | 599 Views
Aula 5. 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais. Avaliação Econômica. Avaliação de Impacto Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões Se os efeitos foram intencionais ou não-intencionais
E N D
Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais
Avaliação Econômica Avaliação de Impacto • Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões • Se os efeitos foram intencionais ou não-intencionais • Se os efeitos foram realmente resultado do projeto ou ocorreriam de qualquer forma
Avaliação de Impacto • Isto é feito com o uso de um indicador que se relacione diretamente com o objetivo do programa. • Dois aspectos: mensuração e causalidade • Mensuração: não apenas saber se houve mudança,mas também medir essa mudança. • Causalidade: garantir que a mudança observada foi causada pelo programa.
Mensuração • Para isso, o cuidado com a escolha do indicador de impacto é fundamental. • Preferência por indicadores objetivos e de fácil observação.
Causalidade • É uma das etapas mais difíceis da avaliação, mas é fundamental! • Exemplo: ‘programa de melhoria da qualidade do ensino médio, com foco na evasão escolar’. • Ação: oferecer oficinas (de arte, de música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola. • Indicador de resultado: índice de freqüência escolar (IFr).
O contrafactual • IDEAL: comparar o índice de freqüência escolar dos jovens que participaram das oficinas com o índice de freqüência observado para esses mesmos jovens, caso eles não tivessem participado das oficinas. • Essa seria a única maneira de ter certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas. estamos buscando o contrafactual • Infelizmente, tal contrafactual não existe...
Grupos de controle • Como não temos os contrafactuais, o problema é resolvido com a construção dos chamados grupos de controle. • Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). • No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc) com aqueles que participaram.
Mas nem sempre é fácil encontrar bons ‘grupos de controle’... • Existência de auto-seleçãoas pessoas que participam dos programas muitas vezes escolhem participar. • Nosso exemplo: jovens que se inscrevem em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem. • Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).
Caso: • IFralunos que participaram das oficinas IFrcolegas que não participaram Não saberemos se é: • efeito da participação nas oficinas (do tratamento); • do maior tempo disponível para a escola (relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos); • ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar.
A diferença entre os grupos antes do programa dificulta a determinação da causalidade.
Mesmo que o programa não seja de inscrição voluntária... • ... o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o programa ter um público-alvo específico. • Exemplo: diversos programas sociais utilizam a renda per capita como critério de elegibilidade, ou seja, só podem participar do programa indivíduos que tenham ‘renda familiar per capita’ menor ou igual a um determinado valor de corte. • Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários.
Tratados antes x tratados depois • Da mesma forma que não podemos comparar o grupo de tratados com um grupo de controle qualquer (os não-tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados. Voltando ao exemplo dos jovens nas oficinas, caso IFralunos tratados depois do programa IFralunos tratados antes do programa podemos dizer que isso é devido ao programa?
Tratados antes x tratados depois • A resposta é “Não!” • Não há como garantir que a melhora no indicador de freqüência escolar foi causada pelo programa. • Diversos acontecimentos podem estar explicando tal evidência. • Por exemplo, este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar como um todo (melhor merenda, novos computadores, nova professora etc.).
Outra possibilidade: • E se mostrarmos que a freqüência dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram? Método das diferenças em diferenças
Diferenças em diferenças • Como a freqüência escolar inicial é considerada, o problema da diferença inicial entre os jovens que participam e os que não participam está resolvido. • Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a freqüência na oficina.
Diferenças em diferenças Quando: • a separação entre os grupos de tratamento e controle não foi aleatória; e • quando temos grupos de tratamento e controle muito diferentes, principalmente com relação a características que não são observáveis. • Ideal para a análise de impacto: avaliador ter as informações sobre os grupos de tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao programa social e no período posterior ao programa social.
“Diferenças em diferenças” • Precisamos conhecer as informações dos indivíduos de ‘antes’ e de ‘depois’ do tratamento. • Suponha que estamos avaliando o impacto de um programa de qualificação profissional e que a renda seja o indicador de interesse. • Idéia básica: comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento com a do grupo de controle.
Idéia Básica Y = renda = indicador de interesse t = depois do programa t-1 = antes do programa
“Diferenças em Diferenças” • Como a renda inicial é considerada, é como se as condições iniciais tivessem sido controladas e, então, resolve-se o problema das diferençasexistentes antes do tratamento, entre os indivíduos que participaram e os que não participaram do programa. • Seleção aleatória: indivíduos são iguais antes do tratamento.
Será que o ‘R$30’ é estatisticamente diferente de zero? • Em razão de estarmos trabalhando com amostras, novamente estas diferenças serão variáveis aleatórias e, para compará-las, precisaremos construir algum intervalo de confiança. • Felizmente, o instrumental discutido na seção anterior fornece uma forma rápida e simples de realizar esta análise.
Utilizando a regressão linear • Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. • Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.
Utilizando a regressão linear • Criamos também uma outra variável = “programa” vezes “depois” • chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. • A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.
Utilizando a regressão linear • Renda = + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro • 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa.
Como analisar? • Se 3 for positivo e o valor ‘0’ não estiver contido no intervalo de confiança associado a 3, dizemos que há impacto positivo em Y gerado pelo programa. • Se 3 for negativo e o valor ‘0’ não estiver contido no intervalo de confiança associado a 3, dizemos que há impacto negativo em Y gerado pelo programa. • Se o valor ‘0’ estiver contido no intervalo de confiança associado a 3, dizemos que não há impacto do programa em Y.
Demais coeficientes • Renda = + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro • 1 captura se os grupos são diferentes, independentemente do programa. • 2 captura se o indicador muda no tempo, independentemente do programa. • Para saber se os coeficientes são estatisticamente diferentes de zero, a análise é similar àapresentada para 3 (slide anterior).
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • TA = + 1 x ‘1’ + 2 x ‘0’ + 3 x 0 • TA = + 1 • TD = + 1 x ‘1’ + 2 x ‘1’ + 3 x 1 • TD = + 1 + 2 + 3 • TD – TA = 2 + 3
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • CA = + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 • CA = • CD = + 1 x ‘0’ + 2 x ‘1’ + 3 x 0 • CD = + 2 • CD – CA = 2
Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ • (TD – TA) = 2 + 3 • (CD – CA) = 2 • (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 ) = 3
Causalidade • Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle? • Construir bons grupos de controle. .
Limites da Avaliação • Para termos mais confiança nos efeitos do programa, precisamos de um tamanho amostral mínimo • Este tamanho depende da população alvo do programa, do número de variáveis explicativas, da proporção entre tratada dos e controles e do poder explicativo da regressão
Limites da Avaliação • Por exemplo, se o programa aumentou a empregabilidade do jovem em 15% • A amostra é bem balanceada entre tratados e controles • O poder explicativo da regressão é alto: 50% • Precisamos de uma amostra de cerca de 100 jovens para termos confiança de que este efeito é diferente de zero • 50 no grupo de tratamento e 50 no grupo de controle
Exemplos de avaliação de programas • Progresa – México • Progressão Continuada no Brasil
1) PROGRESA • Transferências em $ para mães, condicional à freqüência escolar e exames de saúde • Usando escolas e postos já existentes • Avaliação nos estágios iniciais do programa • 2.6 milhões de famílias em 72,000 localidades • Orçamento: 20% do orçamento nacional para diminuição da pobreza
PROGRESA Educação • Requerimento-> matrícula e freqüência à escola (80% das aulas) Saúde: • Planejamento Familiar , Pré-natal, Vacinações, Prevenção e tratamento de diarréia, etc...
PROGRESA • Programa experimental: aleatorizado ao nível da comunidade-> resultados confiáveis! • Grupo de controle aderiu ao programa 2 anos depois • Amostra: 506 localidades • 186 controle • 320 tratamento • 24.077 Domicílios • Domicílios no grupo de tratamento e controle foram entrevistados antes e depois do começo do PROGRESA
PROGRESA • Efeitos significativos no crescimento das crianças (1cm) • Consumo Domiciliar Total Aumenta • Domicílios do PROGRESA “comem melhor”: • Aumento nos gastos com frutas, vegetais, carnes, e produtos animais
PROGRESA-CUSTOS • Para cada 100 pesos alocados no programa, apenas 8.2 pesos são custos administrativos • 56% dos custos administrativos são relacionados com focalização e condicionantes • Taxa Interna de Retorno: 8%
Avaliação de impacto • Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. • Notícia de que um novo incinerador seria construído apareceu em 1978. Em 1981, a sua construção iniciou. Entrou em operação em 1985. • Banco de dados com preço dos imóveis para 1978 e 1981. • A hipótese é que preço dos imóveis próximos ao incinerador tenha caído em relação ao preço de imóveis mais distantes.
Avaliação de impacto • Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. • Uma casa está próxima do incinerador se estiver localizada a menos de 3 milhas deste (nearinc =1). • Todos preços dos imóveis estão cotados ao valor de 1978 • Poderia usar dados apenas de 1981 e apenas de 1978 e testar esta relação:
