Amostragem Aleatória Simples:

1. DICIONÁRIO DE DEFINIÇÕESDO CURSO DE AVALIAÇÃO DE POLÍTICA PÚBLICA.victor.maia@fjp.mg.gov.brVictor MaiaProfessor de Avaliação Social de Políticas da Fundação João Pinheiro

2. Amostragem Aleatória Simples: • Procedimento de amostragem probabilístico onde todas as observações possuem mesma probabilidade de sorteio. Muito utilizada quando não há nenhuma informação a priori para as características da população ou quando se quer comparar médias entre dois grupos sem que haja nenhum viés de seleção.

3. Avaliação de Impacto: • Refere-se a um trabalho, relatório, parecer, ou texto científico que procura responder se determinada ação pública (que pode ser um programa, uma lei, a realização de um projeto ou a transferência de recursos) obteve efeito alcançando os resultados almejados. Diz-se que ocorreu impacto quando é possível responder estatisticamente e estabelecer causalidade sobre ação e efeito. • Além da Avaliação de Impacto, há vários outros tipos de Avaliações possíveis: Avaliação de Marco Lógico; Avaliação de Processos; de Implementação; Viabilidade econômica e financeira; e avaliação econométrica.

4. Avaliação do Processo: • Segundo o dicionário da profa. Christel Vermeersch: “Avaliação do Processo é uma avaliação que tenta fazer um nexo de qualidade ou o sucesso dos processos de um programa: por exemplo, a adequação dos processos administrativos, a aceitabilidade dos benefícios do programa, a clareza da divulgação das informações, a dinâmica interna das organizações de execução, os seus instrumentos de política, seus mecanismos de prestação de serviços, suas práticas de gestão, e as ligações entre estes”.

5. Avaliação Ex-Ante: • Avaliação Ex-Ante trata-se de uma avaliação realizada em um período anterior a ocorrência da ação. Como ocorre antes da implementação, geralmente se baseia em dados secundários e análises empíricas e econométricas. Sendo também muito comum o uso de simulações (p.e.: o que aconteceria se aumentassemos a renda do grupo mais pobre em 10%?). • As avaliações ex-ante são muito úteis para se prever acontecimentos anteriores à ação política do governo ou programa. Auxiliam também na interpretação dos resultados de avaliações ex-post.

6. Avaliação Ex-Post: • Avaliação Ex-Post é uma avaliação que ocorre depois da implementação do ação/programa. Possui a vantagem de tratar especificamente com dados diretos e indiretos do programa combinados, e ser melhor vinculada aos resultados. • Uma desvantagem das avaliações ex-post ocorre quando suas conclusões não podem mais influir para melhorias da ação/programa. No entanto, para ações que têm continuidade uma ação ex-post de um período pode servir como avaliação ex-ante para o período seguinte, aperfeiçoando a análise.

7. ATE – Average Treatment Effect: • Na linguagem dos Modelos de Diferenças em Diferenças (Diff-Diff ou Efeito Fixo), o Efeito médio nos Tratados é obtido pela diferença entre o grupo dos tratados (D=1, que recebem benefício da ação/programa) em relação ao grupo de controle (D=0). Constitui-se na diferença de média entre os dois grupos na variável de interesse YD em função das variáveis sobre a qual se possui informação (x, que podem ser os insumos) • ATE = E[Y1(x) – Y0(x)] = E[Y1(x)] – E[Y0(x)] =

8. ATT – Average Treatment on the Treated: • Como nunca é possível observar a mesma pessoa em dois estados do tempo, a maioria das estimações de interesse para avaliação de programas sociais se encontra no Efeito Médio do Tratamento nos Tratados. O contra-factual é realizado estimando como seria o efeito/impacto do programa caso o grupo de pessoas tratadas não recebesse o benefício: • ATT = E[Y1(x) – Y0(x)|D=1] = E[Y1(x)|D=1] – E[Y0(x)|D=1] = [ATE|D=1] = • Ao utilizar um grupo de controle “comparável” em que Y | D (técnicas de pareamento) podem permitir que: • ATT = E[Y1(x)|D=1] – E[Y0(x)|D=0] Só que esse Cara não existe!

9. ATC – Average Treatment on the Control: • Efeito médio no Controle, semelhante ao Efeito Médio nos Tratados (ATT - Average Treatment on the Treatment), porém, realizado para o controle. O contrafactual é realizado peeguntando como seria o tratamento caso os não tratados recebessem o benefício: • ATC = E[Y1(x) – Y0(x)|D=0] = E[Y1(x)|D=0] – E[Y0(x)|D=0] = [ATE|D=0] = • Igualmente ao caso do ATT, com Y | D, resultados de Y ortogonais à participação. Podemos utilizar o tratamento, temos que: • ATC = E[Y1(x)|D=1] – E[Y0(x)|D=0] Essa observação Não existe!

10. Cadeia de Resultados • Relação entre os insumos, atividades, produtos e resultados objetivados pelo programa. Estabelecendo a relação causal para se alcançar os resultados.

11. Causalidade • Causalidade é o estabelecimento de um princípio de relação causa e efeito. • A causalidade é longamente estudada na filosofia. Mas suas definições envolvem relações de implicação entre duas afirmações: A →B

12. CCT - Conditional Cash Transfer: • Conditional Cash Transfer: Transferências de Renda Condicionada. Programas de assistência social que transferem renda condicionando o recebimento ao cumprimento de algumas condicionalidades. Exemplo: Bolsa Família.

13. Cluster (Conglomerado) • Segundo dicionário da Profa. Christel Vermeersch: “Um claster é um grupo de unidades que são semelhantes, de uma forma ou de outra. Por exemplo, em uma amostra de crianças em idade escolar, as crianças que frequentam a mesma escola, os mesmos professores, e vivem no mesmo bairro.

14. Contra-factual • O contra-factual é uma situação que ocorreria caso a política implementada não existisse. Podemos pensar como o resultado de E[Y0(x)|D=1] do ATT. Em palavras, qual seria o resultado de não ter participado do programa (Y0) caso o grupo tivesse de fato participado (D=1).

15. Controle: • O grupo de controle deve possuir as mesmas características do grupo que está submetido ao tratamento. Dessa maneira estaria se comparando entre iguais. Em uma amostra aleatória anterior o programa sem viés de seleção é possível obtermos: ATE = E[Y1(x) – Y0(x)]

16. Coorte: • Indivíduos submetidos a um mesmo evento temporal distintivo fazem parte de uma mesma coorte. Por exemplo, pessoas nascidas entre 90 e 91. Turma de economia de 2005, ou então pessoas que receberam o domicílio do bolsa-família em 2006. O evento distintivo ocorre uma vez no tempo mas “marca” e acompanha a coorte para os períodos futuros.

17. Desenho Lógico: • Desenho lógico consiste de uma etapa que explicita as relações causais de um programa, da política ou intervenção. Muito comum nessa fase o uso de fluxograma da relação de insumos, atividades, produtos, resultados e impactos. Mas o desenho não deve ser restringir a isso, deve construir também a relação entre variáveis, contextualizar, procurar definir o público-alvo. Enfim, um mapeamento da cadeia lógica de resultados, assim como o mapeamento das alternativas disponíveis aos formuladores de políticas.

18. Diferenças em Diferenças Dif-Dif: • O método de regressão temporal que compara tratamento e controle antes da implementação do programa (primeira diferença) e depois (segunda diferença). As diferenças são comparadas entre si (diferença das diferenças) para ver se são estatisticamente significantes. Por exemplo, um programa com a segunda diferença positiva e estatisticamente significativa pode estimar um impacto. Em econometria equivalem-se aos métodos de painel com efeito fixo. Em geral pode se controlar os efeitos pelas características X e o método pode ser usado mesmo quanto a seleção entre tratados e não tratados não é completamente aleatória (no entanto deve preservar a ortogonalidade Y | D): YC = β0 + β1X+ β2Ti + δDi + εi • Para o grupo controle D=0 e no tempo T=0, temos: • Para o tratamento (D=1), no tempo T = 0, temos: • Se β1 é o mesmo para os grupos: Se não há efeito do programa no tempo Com efeito do programa no tempo

19. Efeito Hawthorne • O efeito “Hawthorne” ocorre quando o fato de se observar as unidades de análise, acompanhá-las em um survey ou entrevistá-las faz com que se comportem de maneira diferente.

20. Efeito John Henry • Do dicionário da profa. Christel Vermeersch: “O efeito John Henry” acontece quando o grupo de comparação trabalha mais para compensar o fato de não ter recebido o tratamento. Quando se compara o grupo de tratamento com o grupo “mais trabalhador”, a estimativa de impacto do programa será viesada: iremos estimar um menor impacto do programa [ou mesmo nenhum impacto ou negativo] do que o verdadeiro impacto que seria encontrado caso o grupo de comparação não fizesse esforço adicional.

21. Endogeneidade: • Situações em que a direção de determinação das variáveis é bidirecional: Y ↔ X • Y é determinado por X, mas Y também determina Y. O problema da Endogeneidade é também chamado de causalidade reversa e leva a um viés na estimativa dos parâmetros. • Exemplos conhecidos de Endogeneidade aparecem em regressões de Escolaridade e Renda. “É a escolaridade que propicia maior renda futura, ou é a maior renda familiar que permite mais estudo?” Outro exemplo: “O número de filhos diminui a renda familiar percapita, ou é o fato de ter renda baixa que leva as famílias optarem por um grande número de filhos?”

22. Erro de Focalização: • Erro de focalização também chamado de “insuficiência” em um caso ou “vazamento” em outro. O erro de focalização ocorre quando o programa falha em alcançar beneficiários do público-alvo. O erro de focalização pode ocorrer por dois motivos:1) beneficiários elegíveis que não receberam (insuficiência); 2) beneficiários não-elegíveis que receberam o benefício (vazamento). Representados no quadro:

23. Experimento Aleatório: • Um experimento aleatório é conduzido de forma que por amostragem simples ou probabilística se separe os grupos de tratamento e controle. A vantagem nesse tipo de analise é tentar se expurgar o viés de seleção. Para que se alcance esse feito a população amostrada para os dois grupos deve possui as mesmas características observáveis básicas.

24. Focalização: • A Focalização é a propriedade de um programa atingir 100% do seu público-alvo sem que ocorra erro de vazamentos. O programa atinge todo seu público-alvo e somente ele recebe o benefício.

25. Linha de Base (Baseline): • Pesquisa linha de base, do inglês: baseline, é uma pesquisa de referência para o programa a ser avaliado. De preferência deve ser realizada antes do lançamento do projeto para se conhecer as diferenças prévias entre os grupos de tratados e controles.

26. Marco Lógico: • Bamberguer et. al. (2006) definem: “Marco Lógico é a teoria ou modelo que mostra como se espera que o programa leve aos resultados observados ou desejados. A teoria de um programa identifica recursos, atividades e resultados e especifica uma cadeia-causal de hipóteses ligando os recursos de um programa às atividades, produtos intermediários e objetivos finais”.

27. Matching (Pareamento): • O método de pareamento busca encontrar os grupos de tratamento e controle dentro de um survey mais amplo. Uma das técnicas de matching mais empregadas é o propensity score matching em que o grupo de controle é comparado ao grupo de tratamento com base no pareamento de uma série de características observáveis, usando-se o escore de propensão, que é uma pontuação que diz, com determinadas características observáveis, qual é a chance do indivíduo também participar do tratamento.

28. Métodos Qualitativos: • A análise Qualitativa leva em conta o tratamento de informações estruturadas qualitativamente com o uso de conhecimento baseado em relatos, observações, contexto sociológico, percepções e interações entre os agentes. A análise qualitativa pode ter também dados quantitativos, se avaliação também os trabalha, chama-se de uma metodologia mista.

29. Painel com Efeito-Fixo: • Dados em painel são dados cross-section (bancos com várias variáveis e indivíduos em um corte temporal) empilhados ano a ano. O painel com efeito fixo é adotado quando se quer eliminar os efeitos aleatórios das características individuais ou de um grupo: Yi = β0,i + β1Xi + β2T + δDi +εi O β0,i é o parâmetro de intercepto que permite que variação para cada grupo (ou indivíduo i). Como esse efeito é invariável no tempo, β0,i se anula no tempo, mantendo a característica no tempo. Outros efeitos individuais podem ser pensados, tais como um intercepto individual para as características Xi e/ou para características do tempo. Mas deve se levar em conta que isso reduz graus de liberdade do modelo, se o banco possui muitas variáveis isso não será problema.

30. Propensity Score Matching: • Ver “Pareamento”. O propensity Score é uma das formas de pareamento desenvolvida por Rosenbaum e Rubin (1983). O propensity score envolve fazer o pareamento dos grupos com base em uma única variável (Ps) que reúne as características observáveis Xi: • Ps = Prob(D=1|Xi) • Estima-se um Logit ou Probit: • Di = β0 + β∙Xi + εi • O propensity score é a probabilidade de 0 a 1 de do indivíduo ‘i’ perterncer aos tratados, dado que conhecemos as variáveis observáveis Xi. Mais detalhes Becker e Ichino (2002).

31. Público Alvo: • O Público-Alvo se constitui das pessoas elegíveis ao benefício dentro dos requisitos legais ou conceituais do programa. • Tais requisitos devem estar definidos de acordo com a avaliação das causas para as quais uma política social pretenda atuar. • O público-alvo estará tanto melhor definido quanto maior for o conhecimento sobre o problema, sua mensuração é importante para delimitá-lo e defini-lo, essa definição deve também levar em conta os procedimentos da política.

32. Métodos Quantitativos: • Os métodos Quantitativos são métodos que remetem à quantidade e envolvem a mensuração de variáveis e indicadores por meio de procedimentos estatísticos. Nessas técnicas é preciso procurar o efeito do programa em algumas variáveis determinadas.

33. Métodos Mistos: • Avaliações que usam com eficácia ambas metodologias: a qualitativa e a quantitativa. Os componentes da avaliação se integram e perfazem uma avaliação do programa que pode ser mais completa, abordando-o em diversos aspectos.

34. Monitoramento: • Do dicionário da profa. Christel Vermeersch: “Monitoramento é um processo contínuo de recolhimento e análise de informações para verificar quão bem um projeto, programa ou política, está sendo realizado. Baseia-se principalmente em dados administrativos para monitorar o desempenho contra os resultados esperados, fazer comparações entre programas e analisar as tendências ao longo do tempo. Normalmente o monitoramento acompanha insumos, atividades e produtos, embora ocasionalmente também inclua resultados. O monitoramento é utilizado para informar o dia-a-dia da gestão e tomada de decisões”.

35. Poder Estatístico: • Do dicionário da profa. Christel Vermeersch: “O poder de um teste estatístico é a probabilidade de que o teste irá rejeitar a hipótese nula quando a hipótese alternativa é verdadeira (isto é, que não vai cometer um erro tipo II [do teste de hipóteses]). À medida que aumenta o poder, as chances de ocorrer o erro do tipo II diminuem. A probabilidade de um erro do tipo II é definida como a falsa taxa negativa (β). Portanto o poder é igual a 1-β”.

36. Regressão em Descontinuidade: • Regressão em Descontinuidade é geralmente adotada quando há um corte da política identificada por um ponto específico no tempo. Geralmente empregado para analisar antes e depois de políticas universalizantes na quais não há como separar tratados e não-tratados. Y Yi = β0 + β1Xi + β2T + β3Zi + єi Zi = 1 para T≥t0 Zi = 0 para T <t0 t0 data da política tempo

37. Tratamento • O grupo de tratamento são pessoas submetidas ao programa. Deve-se compará-los ao grupo de controle que possua as mesmas características observáveis.

38. Teste de Causalidade: • O Teste de causalidade, pretende estudar se existe relação causal entre X → Y, ou se ocorre o contrário, Y→ X, ou mesmo uma co-integração ou simultaneidade, X ↔ Y. Um dos testes de causalidade mais conhecido é o teste de Granger, que parte da premissa de que o futuro não pode predeterminar o presente ou o passado. A partir do teste de Granger outros foram realizados, um bastante difundido é o teste de causalidade de Sims.

39. Teste de Médias (controle e Tratamento): • O teste de médias trata da comparação do resultado entre os grupos de tratamento e controle. Consiste em obter a diferença da média de Y para os dois grupos e estudar se essa diferença é estatisticamente diferente de zero e quais os procedimentos adequados para isso. Caso a diferença seja diferente de zero diz-se que houve impacto, do contrário nada se pode afirmar entre o resultado de quem recebeu o programa (tratados) e de quem não o recebeu (Para mais detalhes ver ATE).

40. Universalização: • Universalização é o oposto de uma política focalizada. Uma política universal é aquela que tem toda a população de uma região ou país como seu público-alvo. Políticas universais costumam a ter elevados custos operacionais e por vezes não conseguem um valor per capita que beneficie a maioria dos cidadão. Por conta disso existe um trade-off entre fazer uma política universal onde cada beneficiário recebe um pequeno valor, ou políticas focalizadas onde o valor do benefício pode ser mais alto, porém não é toda população que o recebe. Exemplo de políticas que são universais no Brasil são o Sistema Único de Saúde, SUS e a Educação Pública.

41. Variáveis Dummy e Variáveis Categóricas: • Variáveis Dummy são variáveis identificadores que assumem valores de 0 ou 1. São usadas em diversos contextos, um deles pode ser a identificação de tratamento e controle: Di=1 para tratados e Di=0 para o controle. Há também vários outros usos para variáveis dummy. • Variáveis categóricas são variáveis que assumem valores discretos e finitos. Por exemplo, para descrever ocupações, ou faixa de renda, poderia se usar Xi = 1, 2, 3, 4, ...,N. As variáveis categóricas requerem as vezes tratamento e interpretação a parte nas regressões.

42. Validade Externa: • A Validade externa envolve uma lógica indutiva e estatística que seja verdadeira e pode ser generalizado para outros grupos de análise semelhantes. Um programa que apresenta impactos positivos para um determinado subconjunto representativo da população (do grupo universo), aceitando a validade externa, será igualmente efetivo quando aplicado ao conjunto-universo.

43. Validade Interna: • A validade interna diz respeito a um conceito de lógica e envolve perscrutar sua lógica causal de um programa. Isso quer dizer que se pode se desenvolver o programa por argumentos de dedução e há ligação causal entre seus “insumos” & “atividades” com os “produtos” & “resultados”. Segundo Vermeersch “a validade interna significa que a avaliação do impacto usa um grupo de comparação válido”.

44. Variáveis Instrumentais: • As Variáveis Instrumentais são variáveis correlacionadas com a participação no programa, ou seja, determinante para uma pessoa entrar ou não no grupo dos tratados, mas não deve influir diretamente na variável resposta e nem ter nenhuma correlação com as características Xi dos indivíduos. As variáveis instrumentais são usadas quando não há maneira de sem elas distinguir tratados e controles. YT Tratados VI YC Controle

45. Vazamento: • Vazamento é um erro de focalização que ocorre quando beneficiários não-elegíveis recebem o benefício. O programa “vazou” para quem não teria direito ao benefício. (ver também “Erro de Focalização”).

46. Viés de Seleção: • De acordo com o dicionário da profa. Christel Vermeersch, “Viés de seleção ocorre quando as razões pelas quais um indivíduo participa de um programa são correlacionadas com os resultados. Este viés ocorre geralmente quando o grupo de comparação é inelegível ou se auto-seleciona para fora do tratamento”.