Pesquisas de avaliação de programas: da concepção à apropriação dos resultados

1. Pesquisas de avaliação de programas: da concepção à apropriação dos resultados Marina Pereira Novo Departamento de Avaliação SAGI/MDS IV Seminário da Rede Brasileira de Monitoramento e Avaliação Minicurso: Monitoramento e Avaliação de Programas Sociais e Gestão de Avaliações 13 de agosto de 2012

2. Contexto • Cultura de M&A é relativamente recente internacionalmente e – sobretudo – no país • Desafios são maiores para os programas sociais • Por que avaliar e monitorar? • Recessão da década de oitenta, crescimento de políticas compensatórias desde então • Necessidade de apontar a eficiência, eficácia e efetividade das mesmas • Hibridismo de métodos e técnicas precisa ser adotado • Tomada de decisão pode esperar resultados

3. Contexto II • O papel de bancos de desenvolvimento internacionais (Banco Mundial, BID) • O papel de organismos internacionais (Sistema ONU, DFID, Cooperação Espanhola) • A necessidade de formação na área (academia vs gestão) • A prestação de serviços em M&A (academia vs mercado)

4. Ciclo de Avaliação: concepção, instrumentos e resultados

5. Organograma – MDS

6. A criação do MDS, em janeiro de 2004, implicou o aumento significativo dos investimentos em políticas de proteção, assistência e desenvolvimento social – que se traduzem em programas e ações de transferência de renda, segurança alimentar e nutricional, assistência social e inclusão produtiva. • Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006

7. Normativas e regulamentação – Avaliação no MDS • Portaria MDS n.º 329, de 11 de outubro de 2006 – Institui e regulamenta a Política de Monitoramento e Avaliação. • Portaria MDS n.º 160, de 09 de maio de 2008 e alterações posteriores, e Portaria MDS nº 99, de 26 de fevereiro de 2010 – Tratam do Grupo de Trabalho (GTMA) responsável pela elaboração do Plano Anual de Monitoramento e Avaliação (PAMA). • Portaria MDS n.º 255, de 30 de julho de 2008 – Estabelece regras e prazos para a disponibilização de dados das pesquisas contratadas pelo MDS. • Lei de acesso à informação (Lei nº 12.527 de 18 de novembro de 2011)

8. Conceito de avaliação “Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção, um serviço ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisão” (Contandriopoulos et al., 1997)

9. Razões para avaliar: Subsidiar decisões gerenciais Desenvolver e aprimorar intervenções Promover o accountability Empoderar grupos sociais Condições para avaliar: Disposição e apoio Disponibilidade de recursos e tempo Definição de perguntas avaliativas Abertura à mudança

10. Apresentação do ciclo de políticas públicas Avaliação de desenho Avaliação de necessidade do programa Avaliação de resultados e de impactos Avaliação de eficiência Avaliação de processo

11. Ciclo de avaliação da SAGI

12. Estratégias de disseminação dos resultados das pesquisas • Apresentação dos resultados finais ao MDS e parceiros • Coletivas de imprensa (ou seminários ou outros formatos) abertos ao público externo • Disponibilização de sumários executivos, fichas e relatórios • Disponibilização de microdados

13. Onde encontrar informações sobre as pesquisas do MDS • Publicações impressas e de distribuição gratuita • Publicações virtuais e bases de dados: • www.mds.gov.br • www.mds.gov.br/gestaodainformacao/disseminacao • aplicacoes.mds.gov.br/sagi/FerramentasSAGI/index.php?group=1

14. Pesquisas de avaliação concluídas, por ano, por secretaria finalística

15. Metodologias avaliativas • Metodologias quantitativas • Estudos quase-experimentais e experimentais (avaliações de resultado) • Survey(avaliação de atividades e resultados) • Metodologias qualitativas • Grupos focais (avaliação de atividades e resultados) • Entrevistas em profundidades (avaliação de atividades e resultados) • Estudos de caso (avaliação de atividades e resultados) • Outros? • Metodologias mistas

16. Estudo de caso: Abordagens qualitativas e quantitativas de pesquisa de avaliação de programas sociais Estratégia de pesquisa sobre os conhecimentos, atitudes e práticas financeiras das famílias inscritas no Cadastro Único para Programas Sociais

17. CONTEXTO • A fim de promover o uso responsável dos serviços e produtos disponibilizados por meio da abertura das contas, o MDS pretende implementar, em âmbito nacional, uma série de ações de educação financeira voltadas para as famílias de baixa renda – assim consideradas as famílias que atendem aos requisitos para inclusão no Cadastro Único para Programas Sociais (CadÚnico)

18. QUESTÃO • Escassez de literatura e conhecimento a respeito das práticas financeiras de famílias de baixa renda, insuficiência que compromete a capacidade de desenvolver ações eficazes para a educação financeira desse público.

19. QUESTÃO METODOLÓGICA • Como se aproximar da temática com suficiente profundidade e abrangência para dar lugar a uma estratégica de educação financeira nacional? • Exercício: • Ideias para construir a estratégia de pesquisa?

20. ESTRATÉGIAS DE PESQUISA 1. Realização de cinco grupos focais com pessoas inscritas no CadÚnico, visando uma primeira aproximação com o tema, bem como a obtenção de subsídios para elaboração de um questionário para pesquisa nacional sobre os conhecimentos, atitudes e práticas das famílias inscritas no CadÚnico em relação às suas finanças, aos seus orçamentos familiares e ao seu relacionamento com o sistema financeiro formal e informal;

21. ESTRATÉGIAS DE PESQUISA 2. Análise dos resultados dos grupos focais para definição dos blocos temáticos explorados na pesquisa nacional e delineamento de questões. O questionário decorrente dessa análise foi estruturado nos seguintes blocos: composição e administração do orçamento familiar; planejamento e decisões financeiras; acesso ao sistema financeiro e uso de serviços e produtos; percepções e interesses relativos a ações de educação financeira;

22. ESTRATÉGIAS DE PESQUISA 3. Aplicação de questionário na pesquisa nacional, que compreende entrevistas em 8.807 domicílios de famílias inscritas no CadÚnico, distribuídas entre 265 municípios. Estão sendo entrevistados o responsável familiar identificado no CadÚnico bem como seu cônjuge, caso este resida no mesmo domicílio;

23. ESTRATÉGIAS DE PESQUISA 4. Análise dos dados coletados na pesquisa nacional com vistas à proposição de ações de educação financeira para as famílias de baixa renda.

24. Abordagem qualitativa • Por que realizar? Que tipo de aproximação se esperava? • Aspectos relativos à logística e recrutamento • Realização de grupos focais com pessoas inscritas no CadÚnico em cinco municípios, distribuídos nas cinco grandes regiões do país • Critérios de seleção dos municípios

25. Abordagem quantitativa • Por que realizar? • Aspectos relativos ao planejamento amostral • Construção do instrumento • Aplicação potencial de mais de 16 mil questionários (responsáveis pelo domicílio e seus cônjuges) em 265 municípios do país • Tratamento e análise dos dados • Utilização de resultados Além da construção da ação, • Caráter inovador da iniciativa como e quando disseminar?

26. Nem tudo são flores…

27. Gargalos institucionais • Necessidade de nivelamento das unidades clientes em relação aos conceitos de M&A • Dificuldades relacionadas à priorização de demandas • Timing diverge entre a unidade implementadora e a avaliadora: o tempo da gestão e o tempo da avaliação • Necessidade de maior integração entre a dimensão Monitoramento e Avaliação Morosidade dos processos de contratação • Rotatividade e precariedade das relações de trabalho • Insuficiência de quadros em habilidades especificas • Equipamentos insuficientes e/ou inadequados para o atendimento de certas demandas • Dificuldades relacionadas à obtenção das bases de dados com o universo das pesquisas • Necessidade de consenso sobre a disponibilização pública dos dados

28. Necessidade de esforço continuado…

29. Para que a avaliação e monitoramento deixe de constituir inovação e efetivamente se incorpore à cultura – às crenças e práticas – do campo das políticas, é preciso garantir sua continuidade. • Fonte: VAITSMAN, RODRIGUES e PAES-SOUSA - 2006

30. Síntese de experiências e habilidades presentes/necessárias • Experiência anterior no serviço público e junto a órgãos do sistema ONU • Experiência de docência • Experiência com comunidades tradicionais e populações específicas • Experiência em análises de dados à luz de perspectiva teórica incluindo os eixos étnico/racial e de gênero • Conhecimentos e experiência no uso de metodologias qualitativas e quantitativas de coleta e análise de dados, além de técnicas de análise demográfica • Elaboração de projetos de pesquisa • Conhecimentos sobre legislação e experiência na condução e acompanhamento de processos licitatórios • Conhecimento e condução de processos administrativos • Experiências com softwares qualitativos, quantitativos e de goerreferenciamento • Conhecimento e atuação anterior nas políticas, programas, serviços e ações afetas ao MDS (segurança alimentar, assistência social e transferência de renda) • Conhecimento e experiência em análise de bases de dados sociais (IBGE, MDS e outras) • Experiência na redação de conteúdo técnico, inclusive com a publicação de livros e artigos científicos • Experiência em processos de formação, capacitação e multiplicação • Experiência na construção de ferramentas informacionais • Conhecimento de línguas estrangeiras

31. Grata pela atenção!Contatos: (61) 3433 1538quilombolas@mds.gov.br marina.pereira@mds.gov.br