Fátima Beatriz Fortes Pesquisadora da Fundação João Pinheiro (FJP)

1. II SEMINÁRIO DA REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO CONSTRUÇÃO DE METODOLOGIAS E DE INSTRUMENTOS PARA AVALIAÇÃO E MONITORAMENTO Fátima Beatriz Fortes Pesquisadora da Fundação João Pinheiro (FJP)

2. AVALIAÇÕES EM CURSO NA FJP 1) Programa de Fortalecimento e Melhoria da Qualidade dos Hospitais do SUS/MG (PRO-HOSP) – SES/MG; 2) Programa Viva Vida – SES/MG; 3) Programa Minas Sem Fome – Emater/MG; 4) Programa de Integração das Polícias Civil e Militar- Sedes/MG.

3. STATUS DAS AVALIAÇÕES

4. CONTEXTO DAS AVALIAÇÕES 1) Avaliações foram solicitadas pela Vice-governadoria do estado de Minas Gerais – Programa Estado para Resultados (EpR). 2) Houve várias discussões com os órgãos responsáveis pela formulação dos programas. 3) Contamos com o apoio do pessoal do EpR e do Bird.

5. CONTEXTO DAS AVALIAÇÕES 3) Os programas não foram desenhados de modo a favorecer sua avaliação: não foi feita uma linha de base, o cadastro dos beneficiários é incompleto e não obedece a um padrão, informações dispersas e difíceis de serem acessadas. 4) Com exceção do Pro-Hosp, não há monitoramento.

6. ESCOLHAS METODOLÓGICAS - AV. IMPACTO 1) Todos os programas contemplam várias ações e/ou buscam alterar vários indicadores: foi escolhida uma ação (no caso do Viva Vida e MSF) e um leque restrito de indicadores (Pro-Hosp e Integração das polícias) para a avaliação de impacto. 2) Metodologia: verificar o impacto por meio da comparação entre o grupo de tratados e o grupo de controle.

7. AVALIAÇÃO DO VIVA VIDA E MSF 1) Método: escore de propensão (para escolher grupo de controle o mais parecido com grupo de tratados). 2) Pesquisa tem caráter transversal, considerando apenas um ponto no tempo. 3) Dados: pesquisa de campo e dados secundários. Informações detalhadas que permitem controlar melhor as características individuais e dos domicílios.

8. AVAL DO PRO-HOSPEDA INT. DAS POLÍCIAS • Método: Diferenças em diferenças (DIF-DIF). Compara a variação no indicador antes e depois da intervenção para o grupo de tratamento (que sofreu a intervenção) com a variação observada para o grupo de controle (sem a intervenção). • 2) Modelo estimado considerando dados em painel. • 3) Dados secundários.

9. AVALIAÇÃO DO PRO-HOSP OBJETIVO DO PROGRAMA: Melhorar a qualidade dos hospitais de modo a garantir o acesso à assistência hospitalar, o mais próximo possível da residência do cidadão, fortalecendo a regionalização da atenção à saúde em MG. COMO? Por meio de um termo de compromisso entre a SES/MG, hospitais e SMS. OBJETIVO DA AVALIAÇÃO: Verificar o impacto do Pro-Hosp em alguns indicadores de desempenho hospitalar.

10. AVALIAÇÃO DO PRO-HOSP: Definição doGrupo de controle ●Hospitais semelhantes de estados limítrofes: ES, RJ, SP, BA e GO. ●Método de seleção desses hospitais: por meio do pareamento as informações baseado no PSM, considerando junho de 2002 como ano-base. ●Variáveis hospitalares incluídas no PSM: número de internações, valor médio das internações, número de internações em UTI dos tipos 1, 2 e 3, internações por condições sensíveis à atenção ambulatorial, proporção de leitos contratados pelo SUS além dos indicadores de desempenho selecionados para a avaliação. ●Variáveis demográficas e socioeconômicas usadas no PSM (dos municípios de localização dos hospitais): IDH, tamanho populacional, L-Theil e proporção de pobres - Medidas em 2000.

11. AVALIAÇÃO DO VIVA VIDA OBJETIVO DO PROGRAMA: Reduzir Mortalidade Materna e Infantil COMO?: a) Distribuição de kits (2004/2005): Atenção básica, Maternidade Risco Habitual e UTI Neonatal e b) Construção de Centros Viva Vida (a partir de 2006). OBJETIVO DA AVALIAÇÃO: Impacto do Centro Viva Vida UNIDADE DE ANÁLISE: Domicílios. MÉTODO: Escore de propensão. FONTE DE DADOS: Pesquisa de campo - julho de 2010.

12. AVALIAÇÃO DO VIVA VIDA GRUPO DE TRATAMENTO: Domicílios que tiveram gestantes de alto risco entre jan/08 a jun/09 e situados em municípios atendidos por CVV inaugurado até 31/12/07 (65 municípios / 6 micros); GRUPO DE CONTROLE: Domicílios que tiveram gestantes de alto risco entre jan/08 a jun/09de municípios não atendidos por CVV, mas com projeto de construção aprovado. Os municípios das micros que irão compor grupo de controle foram selecionados utilizando-se PSM. Amostra: GAR que já tiveram os seus bebês ou que estariam entrando no último mês da gestação no momento da entrevista.

13. AVALIAÇÃO DO MINAS SEM FOME (MSF) • OBJETIVO DO PROGRAMA: Reduzir a pobreza e favorecer a inclusão produtiva de agricultores familiares. • Como? Por meio de diversas ações como a distribuição de sementes, a capacitação de agricultores e de projetos de agregação de valor. • OBJETIVO DA AVALIAÇÃO: Impacto da distribuição de sementes de milho, feijão, arroz ou sorgo sobre: a redução da pobreza rural, a melhoria na segurança alimentar e o fortalecimento associativismo.

14. AVALIAÇÃO DO MSF GRUPO DE TRATAMENTO: Beneficiários do programa que receberam benef. de lavoura no período 2004 a 2008. GRUPO DE CONTROLE: Beneficiários do programa que receberam benefícios de lavoura pela primeira vez em 2009. 769 municipios foram beneficiados pelo programa (32 regionais da Emater). Em cada regional foi feita seleção aleatória de 3 municipios. Amostra aleatória de 40 beneficiários (20 tratamento e 20 controle) em cada um dos 96 municipios amostrados.

15. AVAL. DA INTEGRAÇÃO DAS POLÍCIAS CIVIL E MILITAR OBJETIVO DO PROGRAMA: Combater a violência OBJETIVO DA AVALIAÇÃO: impacto da integração das polícias civil e militar (início das reuniões do Igesp - “Integração e Gestão da Segurança Pública) nas taxas de criminalidade (crimes violentos contra pessoa, crimes violentos contra o patrimônio, homicídios). GRUPO DE TRATAMENTO: áreas nas quais tiveram início as reuniões do Igesp. GRUPO DE CONTROLE: áreas nas quais não tiveram início as reuniões do Igesp.