Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios

1. Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação Rio de Janeiro, Agosto 13 2012 SESSÃO 6 UTILIZANDO MÉTODOS MISTOS PARA REFORÇAR CADA ESTÁGIO DA AVALIAÇÃO MICHAEL BAMBERGER E THOMAZ CHIANCA

2. Resumo da Sessão • Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto • Utilizando métodos mistos no estágio do desenho da avaliação • Desenhos de amostras com métodos mistos • Abordagens de métodos mistos para coleta de dados • Interpretação e análise de dados com métodos mistos • Disseminação e relatórios utilizando métodos mistos

3. 1. Utilizando métodos mistos para fortalecer os desenhos convencionais de avaliação de impacto Fortalecendo desenhos de avaliação • Reforçando a validade da construção • Contextualizando a avaliação • Análise do processo de implementação do projeto • Aumentar a flexibilidade do desenho da avaliaçã0 • Reforçar a estrutura da amostragem • Prazo para avaliar os impactos • Melhorar a combinação do grupo de controle

4. Reforçando a coleta de dados • Reconstruir a linha de base • Melhorar a validade dos indicadores • Entrevistar grupos difíceis de alcançar • Informações sobre tópicos sensíveis • Atenção para regras contextuais • A possível perda do grupo de controle

5. Reforçando análise e utilização dos resultados de avaliação • Evitar longos atrasos em produzir recomendações e achados úteis • Melhores estimativas de não observáveis • Reforçar a generalização para outras configurações

6. 2. Desenhos de avaliação baseados em métodos mistos • Integrar estruturas teóricas QUANT e QUAL • Combinar geração de hipóteses dedutivas (QUANT) e indutivas (QUAL) • Papel importante para modelos de teorias de programa

7. Um modelo lógico básico [Apostila 7-1] Construir pressupostos testáveis sobre como os fatores contextuais afetam a implementação e os resultados Contexto econômico no qual o projeto opera Ambiente e contexto político no qual o projeto opera Contexto institucional e operacional Ambiente físico Resultados [Desejado e Não desejado] Desenho [Formulação E Justificativa] Entradas A Processo de Implementação [Atividades] A Entregas A A Impactos [Desejado e Não desejado] A Sustentabilidade Construir pressupostos testáveis entre cada etapa Características culturais e socioeconômicas das populações afetadas Anos

8. Modelo da Cadeia de Resultados para o Programa de Desenvolvimento de Pequenas Empresas de Mulheres [Apostila 7-2] Resultados negativos Mulheres têm acesso limitado para oportunidades econômicas devido à falta de acesso a crédito e outros recursos produtivos e ao controle social Resultados positivos Projeto oferece crédito, assistência técnica e formação de grupo Mulheres criam negócios Mulheres não criam negócios Geram lucros Marido se apropria do lucro Mulher paga as dívidas Uso para dote Melhoria do bem-estar Doméstico no curto prazo Lucro re-investido Negócio sustentado Empresa entra em falência Melhoria permanente no bem-estar doméstico Limitações de tempo Falta de demanda Nutrição, saúde, vestuário Melhoria da habitação Pressões sociais Falta de recursos produtivos Melhoria da educação especialmente para garotas Melhorias econômicas

9. 3. Desenhos de amostras utilizando métodos mistos [Apostila 7-3] • Estratégias básicas de MM • Amostragem proposital e aleatória • Amostragem utilizando métodos mistos em paralelo • Amostragem MM sequencial • Amostragem MM multi-níveis • Amostragem agrupada • Amostragem separa unidades de análise utilizando uma estrutura de amostragem mestre para assegurar a comparabilidade

10. 4. Abordagens de métodos mistos para coleta de dados • Combinar todos os métodos de coleta de dados QUANT e QUAL • Métodos MM usados normalmente • Observação • Fontes secundárias e medidas discretas • Grupos focais • Métodos de discussão e participativos e PRA • Integrar entrevistas em profundidade e pesquisas estruturadas

11. 5. Abordagens do método misto para interpretação e análise de dados [Apostila 7-4] • Análise de dados MM paralelo • Conversão da análise de dados MM • Análise de dados MM sequencial • Análise de dados MM multi-nível • Aplicar aspectos de estrutura analítica de uma tradição com outra tradição

12. Utilizando métodos mistos para reforçar a interpretação dos achados Análise estatística frequentemente inclui achados não esperados ou interessantes que podem não ser explicados por meio da estatística. Visitas rápidas de acompanhamento podem ajudar a explicar os achados.

13. Interpretando os achados • Uma pesquisa QUANT de gerenciamento de água comunitário na Indonésia descobriu que com apenas uma exceção todo o fornecimento de água da vila era gerenciado por mulheres • Visitas de acompanhamento descobriram que uma única uma mulher gerenciou um negócio agrícola muito rentável – dessa forma, os homens estavam dispostos a gerenciar a água para permitir que as mulheres tivessem tempo para produzir e vender a produção diária Fonte: Brown (2000)

14. Validando achados por meio da triangulação Possível retorno para o campo Coleta de dados QUANT Dados sobre a renda e despesas coletados da pesquisa domiciliar Coleta de dados QUAL Sub-amostra de famílias entrevistadas selecionadas. Entrevistas, informantes chave e observação. Notas detalhadas, entrevistas gravadas e fotos. PROCESSO DE TRIANGULAÇÃO Descobertas comparadas, reconciliadas e integradas. Quando diferentes estimativas são obtidas, todos os dados são revisados para entender por que as diferenças ocorrem. Se necessário, as equipes podem retornar para o campo para investigar mais. Análise de dados QUANT: Calculando média, distribuições de frequência e desvio padrão de renda e despesas Análise de dados QUAL Revisão das notas das entrevistas e de observação. Análise utilizando método comparativo constante

15. 6. Relatórios e disseminação • Relatórios muitas vezes são dirigidos a públicos mais abrangentes • Ir além de longos relatórios escritos e apresentações em PowerPoint • Envolver os beneficiários nas apresentações • Incluir visitas ao projeto nas apresentações • Estruturar a narrativa em torno da teoria de mudança • Uso de apresentação audiovisual • Vídeos, fotos • Incluir estudos de caso • Métodos de apresentação sensíveis culturalmente • Dança, teatro, narração de histórias

16. Relatórios de resultado colaborativos (Apostila 7-6) Definição do escopo Coleta de dados Workshop de Cúpula Planejamento, coleta e análise de dados Integração e análise de dados Painel de resultados Processo de entrevista Estrutura do relatório Descrição do Programa e sua lóigica Gráfico de resultados Instâncias de mudança significativa Índice Implicações