Os dilemas para o uso da avaliação no contexto do SUS

1. Os dilemas para o uso da avaliação no contexto do SUS Ideias centrais e conceitos Tensões para os usos da avaliação Condições para os usos da avaliação Ana Cláudia Figueiró (GEAS-IMIP) Rio de Janeiro, dezembro 2012

2. Ideias centrais “…evaluation's most important purpose is not to prove, but to improve.” … o propósito mais importante da avaliação não é provar, mas sim melhorar (Stufflebeam. CIPP Model, 1999) “All evaluations have a cost but not necessarily a value. Their value does not depend on their cost but on their use.” Todas as avaliações têm um custo, mas não necessariamente um valor. Seu valor não depende do seu custo, mas do seu uso (Feinstein, 2002:433)

3. Ideias centrais • Suposição inicial: evidências científicas, produzidas por pesquisas rigorosamente conduzidas a cerca do sucesso ou fracasso de programas, seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando os estudos à implementação de ações de qualidade e aos resultados esperados • Entendimento atual: variados e legítimos aspectos (interesses, valores, motivações, recursos) estão implicados nas decisões políticas e nos usos das avaliações para tomada de decisões (WEISS, 1993; WEISS, 1999; CHAMPAGNE, 1999; BRAGA; ALBUQUERQUE; MORAIS, 2004; CHAMPAGNE; CONTANDRIOPOULOS; TANON, 2005)

4. Pressupostos Avaliação não se traduz automaticamente em ações; como qualquer política ou intervenção, deve ser questionada em relação aos seus objetivos, inserção institucional, custos e conseqüências (positivas e negativas) pelos interessados e envolvidos na intervenção e na avaliação A avaliação sendo uma intervenção tal como políticas e programas, deve ela mesma ser objeto de avaliação – Meta-avaliação

5. Meta-avaliação • Utilidade: atende as necessidades de informação dos usuários • Factibilidade: realista e moderada nos custos de modo a justificar a sua realização • Propriedade: conduzida eticamente, com respeito ao bem-estar dos envolvidos • Precisão ou acurácia: informa sobre o valor ou mérito dos programas avaliados com a devida validade • Especificidade: adequada ao tratamento da “especificidade das intervenções” (CDC, 1999; 2004; STUFFLEBEAM, 2001; HARTZ, 2006; HARTZ; GOLDBERG; FIGUEIRÓ; POTVIN, 2008; FIGUEIRÓ; HARTZ; THULER; DIAS, 2008)

6. Conceitos: usos e influência da avaliação • Modelos de uso (LEVITON; HUGHES, 1981; WEISS, 2005): • uso instrumental, para orientar a política e a prática • conceitual, para gerar novas idéias ou conceitos que sejam úteis para prover de sentido o cenário político • simbólico ou político, para justificar preferências e ações preexistentes • Níveis de influência (KIRKHART, 2000; HENRY E JUNE, 2003): • Três dimensões relacionadas a: fonte, intencionalidade e tempo • Três níveis de influência: individual, interpessoal e coletivas

7. Expectativa do avaliador • Uso instrumental: uso dos resultados da avaliação para informar a tomada de decisão, preferencialmente no curto prazo (AMARA ET AL, 2004) • Isso acontece?? • “O avaliador tem que aceitar que mesmo quando existe comprometimento dos gestores e administradores, conduz o estudo dentro dos propósitos da instituição e de forma metodologicamente competente, finaliza e entrega os resultados dentro do prazo previsto para as decisões e dissemina os achados; ainda assim seus resultados são [podem ser] ignorados” (WEISS, 1998)

8. Tensões para o uso da avaliação Os diferentes mundos em que parecem viver: (INNVÆR, 2002) • gestores, coordenadores de políticas e programas desconfiam dos pesquisadores e vêma simesmocomoresponsáveis, orientadosparaação e pragmáticos • pesquisadores sociais (inclui os avaliadores) desconfiam dos gestores e vêm a simesmocomoracionais, objetivos e abertos à novasidéias

9. Tensões para o uso da avaliação Responsáveispelosprogramaspodemver a avaliaçãocomo: • meioparamudança no status quo; • acarretarperda de poder e controle; • afetar a auto-imagempelaidentificação do julgamento da intervenção com um julgamentopessoal(TAUT AND BRAUNS, 2003)

10. Tensões para o uso da avaliação Podem referir-se a: (WEISS, 1993; POUVOURVILLE,1999; TROSTLE, 1999) • Questões de qualidade da pesquisa ou da apresentação do conteúdo, com ênfase nos problemas de linguagem • Dificuldade na interação entre os atores: diferentes formações técnicas e culturas políticas geram confronto de experiência e informação científica • Canal de comunicação nos contextos políticos e organizacionais, reforçando o necessário desenvolvimento de capacidade para criar interesses e a competência em estabelecer elos Dificuldade na condução e tradução das avaliações que tragam respostas para as necessidades dos tomadores de decisão e contribuam efetivamente para as melhorias sociais

11. Redefinindo Uso(Patton, 2007) • Uso é um processo e não um evento • Uso envolve preparação e capacitação, não apenas apresentação dos resultados • Uso envolve acompanhamento e facilitação, não apenas elaboração de relatórios

12. Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004) • Envolvimento efetivo dos interessados (stakeholders) na avaliação • Ampliarosusos da avaliaçãorequer o envolvimento dos interessadosnadefinição das perguntas, nasestratégias de pesquisa e nacontínuacomunicação dos resultados • A participação favorece o uso processual, indicado pelas mudanças individuais, de pensamento, comportamento, programáticas ou organizacionais nas práticas e cultura como resultado da aprendizagem que se realiza no processo avaliativo

13. Para utilizar as avaliações(PRESKILL; CARACELLI, 1997; FLEISCHER; CHRISTIE, 2009; PATTON, 1997, 2005; WEISS, 1999; MARK; HENRY, 2004): • O uso das avaliações não só não acontece naturalmente como precisa ser facilitado, e facilitar o uso é parte fundamental do trabalho do avaliador (PATTON, 1997; WEISS, 1999; MARK; HENRY, 2004)

14. Para utilizar as avaliações(TRIPODI; EPSTEIN; MacMURRAY, 1970; THOENIG, 2000; TROSTLE 1999; GARCIA, 2001; HANNEY; GONZALEZ-BLOCK; BUXTON; KOGAN, 2003; TORRES; PRESKILL, 2001; TAUT, 2007; FELISBERTO et al, 2009) • Condições requeridas para utilização das avaliações no contexto organizacional: • capacidade de produzir as informações demandadas pela gestão • legitimação institucional da avaliação pelo avaliado: acesso dos avaliadores às lideranças influentes na organização • credibilidade dos avaliadores e qualidade dos estudos • comprometimento dos avaliadores com a continuidade do aprendizado organizacional • tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais

15. Condições para utilização das avaliações Capacidade de produzir as informações demandadas pela gestão • Qual o estágio em que se encontra o programa? para cada estágio, a necessidade de informação e questão de pesquisa serão diferentes, mas em todos os eles a mesma pergunta é pertinente: o programa deveria ser modificado, substituído ou abolido? (TRIPODI; EPSTEIN; MacMURRAY, 1970) • Estágio inicial tem foco no planejamento do programa: identificação clara do problema, desenho do programa, seleção de recursos materiais, profissionais, tecnologia, clientela… • Estágio de desenvolvimento e oferta dos serviços pelos profissionais à clientela: obstáculos à realização e oferta dos serviços; relevância dos serviços para os clientes; que outros recursos ou serviços locais poderiam ajudar, impedir ou substituir os serviços ofertados • Programa estruturado: reconhecer se está alcançando os resultados esperados

16. Condições para utilização das avaliações Legitimação institucional da avaliação pelo avaliado acesso dos avaliadores as lideranças influentes na organização • A quem se destina a avaliação? Diferentes grupos envolvidos com o programa e a avaliação terão diferentes interesses e discrepantes valores quanto aos objetivos do programa e da avaliação • aos financiadores interessam a gestão eficiente; aos usuários, o acesso e a qualidade dos serviços; aos gestores, o alcance dos resultados e os ganhos políticos • necessita-se reconhecer o contexto socio-político em que a avaliação tem lugar para que os interesses e valores sejam negociados: quem são os potenciais usuários da avaliação; quais os maiores interessados e potenciais ‘inimigos’ do programa; que representantes dos interessados no programa será envolvido para entendimento sobre os objetivos e critérios da avaliação • Avaliação tem um custo: Primário (monetário); Secundário (tempo e esforço do staff do programa despendido na avaliação)

17. Diferentes interesses e valores entre os envolvidos… “Algum dia esperamos ter um banco de dados nacional contendo registros médicos de todos as pessoas e que possa ser tão prontamente acessível quanto um hospital, Johnny” “Eu espero apenas um pouco mais de privacidade”

18. Condições para utilização das avaliações Credibilidade dos avaliadores e qualidade dos estudos • Quem deveria conduzir a avaliação? qual a competência requerida para realizar avaliações rigorosas? os avaliadores estão disponíveis e interessados em realizar a avaliação? • Requer identificar os interesses e motivações dos avaliadores: • quais os valores (ou preferências ) dos avaliadores em relação ao programa? eles estão comprometidos com os gestores? • qual a expertise (metodológica) do avaliador? “Diferentes desenhos de avaliação são, em parte, função dos valores dos avaliadores”(TRIPODI; EPSTEIN; MacMURRAY, 1970 p.854)

19. Condições para utilização das avaliações • Comprometimento dos avaliadores com a continuidade do aprendizado organizacional • Tempo para reflexão, exames do temas retratados e diálogo entre avaliadores, staff dos programas e lideranças organizacionais

20. Envolve Preparação Feedback Acompanhamento Disseminação comunicação que ocorre entre todos os envolvidos na avaliação estar pronto para usar os achados da avaliação suporte necessário aos usuários quando receberem os resultados da avaliação e começarem a checar e a justificar suas conclusões comunicação dos processos de avaliação ou lições aprendidas ao público relevante de modo imparcial e consistente

21. Envolve:

22. Oportunidade • Os achados podem e devem ser apresentados a medida que as evidências se apresentam – relatórios preliminares: ajuda a construir confiança entre os envolvidos e favorece a construção de capacidade avaliativa • Utilizar diferentes formas de apresentação dos resultados: ilustrações e exemplos; primar pela qualidade gráfica, com uso de imagens, gráficos e cores • Apresentar o conjunto das respostas às perguntas inicialmente formuladas no relatório final • Atender os prazos acordados no TDR do estudo

23. Comunicações efetivas Produza mensagem voltadas para audiência Evite jargões e termos técnicos Seja claro, conciso Use voz ativa Seja preciso, equilibrado, imparcial Seja oportuno Use gráficos, citações, fotografias, histórias reais (Consulte um especialista de comunicação) Verifique a redação, gramática Escreva – reescreva – reescreva Building Capacity in Evaluating Outcomes Unit 7: Using your evaluation − Communicating, reporting, improving

24. Mitos Um relatórioé suficiente Pessoas lêm relatórios escritos Análises complexas e belas palavrasimpressionam as pessoas Relatórios oraistêm o mesmo efeito que relatórios escritos Descrever as limitações do estudoenfraquece o relatório Tudodeveria ser relatado A audiência saber o porquê ela está recebendo o relatório Building Capacity in Evaluating Outcomes Unit 7: Using your evaluation − Communicating, reporting, improving

25. Obrigada!

26. Configurando o debate sobre a utilização da avaliação

27. Desafios para o uso da avaliação • Embora osproblemas de traduçãoou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras… pontes deveriam ser construidas… mas está sempre faltando conhecimento sobreonde…como, ou por quem(TROSTLE, 1999 p.103;112). • “Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência” (LATOUR 2001, p.31)

28. A circulação dos eventos da avaliação configurando seus usos • Num processo de aprendizado social pesquisadores, implementadores e usuários aprendem a partir de experiências e interações • Princípios da teoria da tradução poderão facilitar uma melhor compreensão dos elementos, elos e pontes entre esses vários mundos, em sua dinâmica mútua e contínua (HARTZ, 2008) O elemento central é a redesociotécnica: teia de atuantes(humanos e não humanos) ligados entre si numa cadeia onde interagem conhecimento, aparatos e capacidade técnica, mediações, ações (CALLON; LATOUR, 1991 apud POTVIN, 2007; LATTOUR, 2006)

29. A circulação dos eventos da avaliação configurando seus usos No interior das redes sociotécnicas processam-se as traduçõesentre fatos científicos e ações • As traduções ocorrem por meio de negociações entre os atuantes • Produz-se um novo conhecimento a partir do entendimento entre diferentes perspectivas e argumentos • Emergem novas proposições para ação, fruto do alinhamento de interesses e objetivos que integram e dialogam com as divergências (CALLON; LATOUR, 1991 apud POTVIN, 2007)

30. Circulação dos fatos da avaliação Na perspectiva de circulação dos fatos científicos, os usos da avaliação se inserem num processo de tradução: • As cadeias de tradução se referem ao trabalho pelo qual os atores modificam, deslocam e traduzem os seus interesses diversos e contraditórios • A referência circulante, produzida com os deslocamentos de atuantes, qualifica a cadeia de transformações: problematizam, interessam, envolvem e mobilizam • Quando as controvérsias entram em cena, o resultado é um entendimento maior e mais amplo para os programas de ação e minimização de reações

31. COMPONENTES ENVOLVIDOS NOS USOS DA AVALIAÇÃO AVALIAÇÃO COM FOCO NA UTILIDADE TIPOS DE INFLUÊNCIA Fontes Processos Resultados Intenção Prevista Inesperada Momento Imediato Ciclos Longo prazo NÍVEIS DE INFLUÊNCIA Individual Atitudes Habilidades Condutas Circulação dos fatos da avaliação 3.Alianças (aliados) Coletivo Agenda Política Aprendizagem Organizacional 5.Nós e vínculos 2.Autonomização (colegas) 4.Representação pública 1.Mobilização (instrumentos) Interpessoal Persuasão Lideranças Opiniões Normas sociais Melhorias sociais Historicidade (Contexto-Tempo): múltiplas linhas de evidências Kirkhart, 2000; Henry & Mark,2003; Patton,1997; Weiss, 1999; CDC,1999

32. A metáfora de um sistema circulatório dos fatos científicos,progressivamente articulados emobilizados (referência circulante) em processos de aprendizagem social deinstitucionalização e politização(alianças e representações públicas), alimenta os circuitos vitais do sistema com o conhecimento e inovações desejáveis (HARTZ, 2008)

33. Na prática...

34. HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos, influências e conseqüências da avaliação do PNCD Momento Imediato Múltiplas fontes de evidências Momento de médio prazo Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto Realização do 1º Seminário Internacional de Avaliação do PNCD Elaboração do Projeto de Avaliação Análise Lógica do PNCD Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa Revisão e Síntese da literatura Sistematização dos achados Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão Apresentação e discussão dos achados com os envolvidos no PNCD Painel de experts: apreciação de lacunas e avanços no programa e avaliação Revisão das iniciativas de capacitação de médicos SES (Estado 1) Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço Ficha síntese de produção técnica e científica Uso dos óbitos investigados como casos clínicos p/ capacitação de médicos Elaboração de material instrucional Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela 5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade

35. HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD 2007 2008 2008 2007 Análise Lógica do PNCD Elaboração do Projeto de Avaliação Realização do 1º Seminário Internacional de Avaliação do PNCD Sistematização dos achados Revisão e Síntese da literatura Revisão do Modelo Lógico do programa para os 3 âmbitos de gestão (MEDIADOR) Painel de experts: lacunas e avanços no programa e avaliação Apresentação e discussão dos achados com os envolvidos no PNCD Ficha síntese de produção técnica e científica 5 Eixos para avaliação do PNCD: Mortalidade / Letalidade; Gestão descentralizada; Ações de Controle do Vetor; Mobilização e Comunicação; Custo- efetividade Proposição do Curso Básico de Avaliação em Saúde – EAD para responsáveis pelo PNCD nos três âmbitos de gestão do SUS

36. HISTORICIDADE E LINHAS DE EVIDÊNCIA: Eventos e conseqüências da avaliação do PNCD 2008 Avaliação da Qualidade da Assistência prestada aos pacientes de dengue: Estudo Piloto Teste do instrumento de investigação de óbito pelo NEPI de Hospital Geral: validação operacional Teste do instrumento de investigação de óbito da SVS-MS para uso na pesquisa Apresentação e discussão com chefias e profissionais dos setores relacionados aos óbitos investigados, com encaminhamentos de mudança de condutas no serviço Revisão das iniciativas de capacitação de supervisores e gestores – SVS/MS Revisão das iniciativas de capacitação de médicos SES (Estado 1) Discussão e recomendações para os diversos envolvidos: profissionais, gerentes, coordenadores da SES – avaliação do Projeto Unidade Sentinela Uso dos óbitos investigados como casos clínicos p/ capacitação de médicos Elaboração de material instrucional Uso do material educativo elaborado e distribuído aos médicos pela SVS/MS

37. Resultados

39. Obrigada!