Avaliação de Impacto do Projeto de Combate à Pobreza Rural (PCPR)

1. Avaliação de Impacto doProjeto de Combate à Pobreza Rural (PCPR) Claudia Romano Fátima Amazonas, Túlio Barbosa, Hans Binswanger, Alberto Costa, Naércio Menezes, Elaine Pazello

2. Sumário da Apresentação • O que é o PCPR • Desenho do Estudo • Principais desafios e Métodos utilizados para lidar com estes desafios • Principais Resultados • Capital Social • Implicações para Políticas Públicas

3. O que é o PCPR • Programa opera na zona rural do Nordeste desde 1993; baseado na demanda comunitária. • Financia pequenos projetos comunitários, de infraestrutura, produtivos e sociais. • Exemplos: pequenos sistemas de abastecimento de água; eletrificação; casa de farinha; beneficiamento mel; centro comunitário

4. O Programa opera em grande escala:(1993 a 2005)

5. Qual a pergunta? Como responder? • Definição do que o estudo deve responder • Compreensão do funcionamento do Projeto

6. Desenho do Estudo: Aspectos gerais Pergunta: impacto do programa sobre acesso a serviços de infra-estrutura, ativos, saúde, e capital social ? Note: diferente de perguntar se processo CDD é melhor do que benefícios distribuídos aleatoriamente

7. Desenho do Estudo:Aspectos gerais • Amostra: 864 domicílios entrevistados em 2005; em 54 comunidades tratamento e 54 controle; 8 domicílios por comunidade • Abrangência: Ceará, Piauí e Rio Grande do Norte • Análise sobre impacto entre 2002 e 2005

8. Principais Desafios do Estudo (1) Viés de Seleção (2) Falta de Perfil de Entrada (3) Qualidade dos Dados

9. Principais desafios para desenho do estudo: (1) Viés de seleção • O PCPR estimula comunidades a se auto-selecionarem, portanto: • Comunidades que obtém subprojetos são mais capacitadas, têm melhor capital social, possivelmente maior renda e riqueza do que as comunidades não-beneficiadas • Portanto, temos um viés de seleção positivo

10. Método: Reduzindo o viés de seleção- 3 métodos em 4 etapas 1) Método “amostragem pipeline” (lista de espera): • tratamento selecionado entre beneficiários de 2002 (primeiro subprojeto) • controle selecionado entre solicitantes já aprovados mas ainda não contemplados pelo programa em 2005 Esta forma de seleção garante que controle seja mais similar a tratamento • mas ainda há possibilidade de viés pois há 3 anos de diferença na obtenção do projeto

11. Reduzindo o viés de seleção 2) Método Propensity-Score matching - PSM (pareamento por índice de probabilidade). • Diminui as diferenças devidas a características observadas • PSM em dois estágios: • Primeiro estágio: nível comunitário para seleção amostral • Segundo estágio: na análise, níveis domiciliar e comunitário

12. PS antes e depois do pareamento

13. Reduzindo o viés de seleção 3) Análise de painel ou “diferenças-em-diferenças”: - diminui as diferenças entre controle e tratamento devidas a características de efeitos aditivos em variáveis não-observáveis e observáveis não medidas • As únicas características não passíveis de controle são as não-observáveis de efeito variável

14. Resultados indicaram que a combinação destas 4 etapas teve efeito na redução do viés

15. Principais desafios: (2) falta de perfil de entrada • Faltavam dados domiciliares da situação no período anterior à implementação dos subprojetos • Perfil de entrada realizado pela Fecamp era muito recente (2004) para retorno e estudo de impacto de médio-prazo.

16. Método: Como lidamos com falta de um perfil de entrada • Coleta de dados com “recall” • Capital físico (ativos), capital social e alguns indicadores sobre saúde. • Momento importante: última vez que Brasil ganhou a Copa do Mundo (julho de 2002) • Situação antes da formação da associação

17. Principais Desafios: (3) Qualidade dos Dados • Testes de campo e treinamento entrevistadores: • Questionários testados no campo duas vezes • Dados: • Taxa de resposta a questionários foi alta • Análise dos dados revelou pequena proporção de outliers • Exceção foram dados sobre valor da terra e tamanho da propriedade. Decidiu-se por não utilizar estes dados na análise

18. PRINCIPAIS RESULTADOS

19. Impactos positivos sobre acesso a água e eletricidade • Todos modelos estimados demonstraram impacto positivo e significativo do programa sobre acesso à água e à rede elétrica

20. Efeitos sobre acesso a água

21. Efeito sobre eletrificação

22. Impactos sobre ativos domiciliares • Impacto positivo sobre ativos, em todos os modelos, inclusive sobre cada tipo de ativo e de projetos analisados separadamente (por volta de 30 coeficientes estimados) • Nenhum dos coeficientes de impacto no valor total de ativos é estatisticamente significativo; somente alguns dos impactos em tipos específicos de ativos são estatisticamente significativos

23. Efeito sobre ativos per capita

24. PCPR reduz incidência de doenças • Análise das doenças mais comuns: diarréia, verminoses, dengue, hepatite, asma e doença de chagas • PCPR diminui a incidência do conjunto das doenças e, em especial, sobre ‘hepatite’, ‘asma’ e ‘doença de chagas’ • Resultados indicam pequeno efeito positivo também sobre mortalidade infantil

25. Efeito sobre incidência de doenças

26. O que o estudo não respondeu • Este estudo usou o capital físico (ativos) como um indicador da renda. • Comunidades pobres podem consumir grande parte de aumento na renda, o que não se reflete em aumento de capital. • Resultados indicam que há probabilidade do impacto na renda ser positivo, mas não são conclusivos. • Para medir impacto na renda é necessário usar dados de perfil de entrada coletados na época de implementação dos projetos

27. Capital Social - KS • Objetivo: medir impacto do PCPR na organização da vida social e instituições locais e as relações entre as comunidades e o Estado • Medir impacto quantitativamente • Construção de índices a partir de questões concretas e simples

28. Como medimos Capital Social • Indices de Capital Social (KS) • “CONDICIONANTES” • Cognitivo: grau de confiança, solidariedade e ajuda mútua • Estrutural: formação e engajamento em associações • “RESULTANTES” • Participação comunitária: solução conjunta de assuntos locais • Participação civil: representação e influência em decisões governamentais

29. Impactos no Capital Social são maiores na relação entre comunidade e governo local: induz maior transparência pública e redução de riscos de corrupção.

30. Conclusões Principais KS • Impacto positivo em capital social em geral, mas maior em indicadores de envolvimento da comunidade na política pública local • O PCPR se baseia no capital social existente, transformando o capital social comunitário em ação de controle e participação na esfera de políticas públicas locais • Assim induz maior controle sobre interferência política e corrupção

31. Implicações para Políticas Públicas • Alcance com relação aos serviços de infra-estrutura é alto e abrangente, enquanto impacto na renda ainda baixo • Alguns Governos Estaduais estão assumindo atender a infra-estrutura básica com recursos do Tesouro (Estadual e/ou Federal) • Nova Fase – Projetos Desenvolvimento Local : Integração rural-urbana – maioria dos municípios de pequeno porte • Ênfase em projetos produtivos com alcance de mercado – arranjos produtivos locais como base para os investimentos

32. Implicações para Políticas Públicas • Fortalecimento da Integração das políticas nos 3 níveis de governo, utilizando no âmbito local os mecanismos participativos do PCPR: Conselhos Municipais e Territoriais • Integração Regional através do tratamento das questões ambientais, gerenciamento dos recursos naturais, ampliação da escala , ampliação do acesso aos mercados • Competitividade, Inovação, Tecnologia – aplicação estratégica

33. Sugestões para Futuros Estudos • Um estudo metodologicamente apropriado não é necessariamente difícil de ser implementado e tem um alto poder de produzir resultados úteis e confiáveis; • Os termos de referência dos estudos de avaliação de impacto devem ser claramente definidos no período de preparação do Projeto, devendo ser anexados ao PAD; • O perfil de entrada deve ser realizado em até seis meses após a declaração de efetividade do empréstimo; a contratação do perfil deve fazer parte de um pacote de todas as atividades/produtos esperados no estudo de avaliação de impacto; • Selecionar indicadores de avaliação com clara relação (causa-efeito) com as atividades intencionais do Projeto; evitar a tentação de grande número de indicadores • MIS deve conter registro das informações associadas com atividades e indicadores, incluindo o perfil das comunidades no momento de entrada no Projeto

34. Conclusão • Elabore a pergunta certa para o estudo (olhando em perspectiva o que deseja obter) • Forneça todas as informações sobre o funcionamento real do programa • Defina claramente os indicadores que, por experiência dos gestores, são provavelmente afetados pelo programa • Os resultados serão muito úteis!