Institucionalização da Avaliação em Saúde Suplementar: um “complemento” indispensável*

1. Institucionalização da Avaliação em Saúde Suplementar: um “complemento” indispensável* *Houaiss,2001:complementar (se), concluir (se), aperfeiçoar (ant. de “iniciar”)

2. Mesa Redonda 4 - Avaliação em Saúde “Processos de avaliação em saúde se inscrevem como uma das estratégias de Qualificação da Atenção à Saúde, e no Brasil, também no setor da saúde suplementar”... “deve contemplar dois(três)eixos de análise que são complementares e podem ser assim compreendidos: O primeiro,Avaliação de Sistemas de Saúde, considerando sua estrutura, seus processos e resultados... O segundo,Avaliação de Serviços de Saúde, diz respeito à aferição das operadoras de planos de saúde quanto à gestão do cuidado à saúde aos seus beneficiários”...

3. O terceiro, Institucionalização da Avaliação, comosistema organizado de ação (similar a programas, sistemas, serviços etc), visando, através deprocessos avaliatórios (Auditoria, Monitoramento, Pesquisa),modificar/melhorar uma situação-problema (influência, utilidade, consequências, efetividade ou eficiência da avaliação em saúde).

4. A AVALIAÇÃO ENQUANTO SISTEMA ORGANIZADO DE AÇÃO Contexto Trajetória previsível de um problema Efeitos Tomada de decisão Trajetória desejada Utilidade potencial dos resultados da avaliação Informações e julgamentos Práticas Práticas Atores Atores Estrutura simbólica Estrutura Organizacional Processos Estrutura física Recursos Adaptado de Contandriopoulos et al . 2000

5. Institucionalização da Avaliação (processos avaliatórios) Monitoramento Auditoria Pesquisa

6. Distinguindo monitoramento x “avaliação”: periódico x episódico; foco nos produtos e resultados imediatos x efetividade e impacto (efeitos esperados e imprevistos de ações compartilhadas e/ou competitivas, com maior alcance populacional, espacial e temporal); avaliadores internos x presença necessária de avaliadores externos, com incorporação de dados que extrapolam as informações de rotina para incluir outros estudos e investigações. Monitoramento x vigilância: foco nas intervenções x danos e riscos.

7. Auditoria –Contrôle (OECD/DAC- 2002) Atividade de controle destinada a valorizar e melhorar as operações de uma organização, ajudando a organização a atingir seus objetivos, proporcionando uma abordagem sistemática e disciplinada para avaliar e melhorar a eficácia da gestão de riscos, o controle e os processos de governo. Deve-se distinguirauditoria reguladora (financeira), centrada no cumprimento dos estatutos e regulações aplicáveis, da auditoria de desempenho,que se preocupa também com a pertinência, a economia, a eficiência e a eficácia (às vezes similar à apreciação ou avaliação da performance).

8. Pesquisa Avaliativa-- julgamento ex-post de uma intervenção, usando métodos científicos, geralmente (?) para a tomada de decisão(Contandriopoulos et al. 1997 e 2001).Pesquisa - forma de comunicação estruturada para compartilhar conhecimento - combinando dados e teoria, que se distingue do monitoramento (produção de informação; não de conhecimento). Trostle,1999.

9. Institucionalização da avaliação pressupõe: • Alinhamento entre monitoramento, auditoria e pesquisa; • O conhecimento e o respeito às normas profissionais (código de ética dos avaliadores e gestores); • O uso imperativo dos padrões de qualidade em avaliação; • A análise contextualizada das intervenções complexas; • e) O necessário diálogo entre o (inter)nacional e o nível local; • f) Intercâmbio de conhecimentos entre « comunidades de práticas » (avaliativas e gerenciais) • g) Foco na Utilidade

10. FOCO na Utilidade Como as informações produzidas pela avaliação mudam a prática dos atores ? Como os atores podem, com as informações fornecidas pela avaliação, elaborar um julgamento sobre uma situação, da qual eles fazem parte, e o que seria necessário para sair do statu quo ?

11. AVALIANDO A AVALIAÇÃO (exemplo) SITUAÇÃO PROBLEMÁTICA Melhorar a eficiência do sistema de cuidados Pertinência dos objetivos Impacto EFEITOS Mudança no processo de decisão dos atores OBJETIVOS Melhorar as decisões dos atores na alocação de recursos Efetividade Eficiência Pertinência e coerência do dispositivo de avaliação Informações sobre os custos e vantagens das ações avaliadas Credibilidade dos resultados Credibilidade do processo Credibilidade do dispositivo de avaliação DISPOSITIVO DE AVALIAÇÃO ECONÔMICA Recursos, cronograma, orçamento, participacipação dos atores e pilotagem Implantação CONTEXTO Contandriopoulos, 2006

12. Exemplo de TR com “Foco na utilidade”* Objetivo Geral : maximizar o potencial local na sua capacidade de realizar.. as investigações necessárias à melhoria da qualidade dos serviços prestados... realçando o papel do grupo de avaliadores internos, cuja participação vai do delineamento das questões à utilização das informações produzidas e... que vêm na avaliação um instrumento de Educação Continuada. Objetivos Específicos... • qualificar o coordenador do grupo avaliador local com a formação metodológica requerida para sua função; • exemplificar concretamente para o corpo técnico-administrativo qual a importância da avaliação para incorporação e o uso do conhecimento científico na maior efetividade dos serviços de saúde; • elaborar, sempre com o apoio do grupo local, o relatório final do estudo com as cnclusões e recomendações julgadas pertinentes à uma estratégia de desenvolvimento... coerente com sua missão institucional. *Perspectiva privilegiada pelo Centro de Pesquisas para o Desenvolvimento Internacional, do Canadá, como fomento à linha de investigação em Sistemas e Serviços de Saúde (CRDI,1990).

13. Ex. Caminhos da influência de uma agência (HTA*) RESULTADOS (Des)Incentivos • Relatórios • Demanda/interesse • Mensagem • Incerteza • Controvérsia Macro: Política de saúde Meso: Gerenciamento da organização PRODUTOS Micro: Prática clínica • Agência • Mandato • Recursos • Estrutura • Gerenciamento • Ambiente institucional • Órgãos regulatórios • Escola [ou órgão colegiado?] de médicos/enfermeiros • Sindicatos de fornecedores de cuidados com a saúde • Grupos de pacientes e consumidores • Atividades • Disseminação • Produtos intermediários • Relacionamentos • Discussão de problemas Usuários • Outros “inputs” da tomada de decisões • Informação/conhecimento/crenças • Retenções/interesses • Necessidades/preferências *Health Technology Assessment -Lehoux et al. 2000

14. Diretrizes gerais para Institucionalizar a Avaliação • Unidade de avaliação capaz de coordenar e apoiar projetos, em colaboração com os atores das ações avaliadas e instituições acadêmicas, o que demandaria: • designação de um “coordenador” responsável por garantir o uso complementar das informações de auditoria, monitoramento e pesquisas; • uma equipe encarregada de compartilhar as informações com os diversos interessados; • designação de um pequeno grupo interdisciplinar de pesquisadores-consultores, que dê assistência permanente ao processo de gestão; • um esforço de capacitação, do nível central ao local, em diferentes graus de complexidade, que permita aostaff dos programas se familiarizar com os principais métodos de pesquisa e dê aos pesquisadores uma orientação das abordagens de gestão, conhecendo ambos seus papéis.

15. Exemplo de gestão da avaliação Agência HTA Relatórios Atividades Que efeitos são gerados a partir de nossos relatórios ? A nossa agência promove uma cultura da avaliação? Dossiês *Ferramentas de monitoramento (disseminação, coleta de dados e feedback) 1. Visão dos atores3. Maturação de questões 2. Configuração sócio-política *Web site; relatório sobre influências ( tb as não observadas); diário de dossiês; Delphi sobre uso de informações; (des)incentivos; atualizações de relatórios etc

16. Como fazer uma avaliação “utilizável e utilizada” (Influente) são tópicos familiares e preocupações perenes para os avaliadores em geral (particularmente ligados às avaliacões de tecnologias e cuidados desaúde) mas devemos considerar os desafios e limites desta pretensão se não tentarmos continuamente responder, também como questões de pesquisaavaliativa, às seguintes indagações*: *“As consequências da avaliação” (Conferência AEA ,2006 -20° aniversário)

17. Entre as possíveis consequências da avaliação quais (e em que circunstâncias) nós estamos buscando- e por quê? • Que evidências existem sobre as atuais consequências de nosso trabalho? • Quais são os efeitos inesperados (não intencionais) ou “externalidades” de nossos estudos (por exemplo, certos programas ou serviços apresentam maiores riscos, ou vantagens, por terem sido avaliados)? • Quais são as consequências das avaliações passadas sobre nossa prática atual e/ou futura de avaliadores? • Como as consequências das avaliações encomendadas e já concluidas vêm se refletindo na nossa cultura organizacional?

18. Influências da avaliação(Ex. foco no desenvolvimento organisacional) Não-intencionais Intencionais Processo Resultados Processo Resultados Imediatas Mútua compreensão dos participantes, atitude positiva em relação à avaliação, interesse de pessoas relevantes em ampliar seu conhecimento Criação de um mapa do processo, definição de indicadores de eficácia, argumentos para solicitar recursos, produção de planejamento interno e de documentos de treinamento, mudança de sistemas gerenciais (planejamento estratégico, gerenciamento de qualidade, escalas de satisfação) Abordagens “participativas” Crescimento do conhecimento dos participantes Fim de ciclo Catálogo de recomendações para atingir melhorias, revisão das linhas-mestras da auto-avaliação Consciência das falhas gerenciais Avaliações seguintes são mais bem-feitas Longoprazo Rebolloso et al. 2005

19. Conhecimento não é suficiente; nós devemos aplicar Conscientização não é suficiente; nós devemos realizar. ( Goethe; In Evaluation Handbook – Kellog’s – 2000) Zulmira M. A. Hartz:Professora –Pesquisadora convidada do Departamento de Medicina Social e Preventiva e Groupe de Recherche Interdisciplinaire en Santé (DMSP-GRIS) da Universidade de Montreal; consultora do CAA/DAB Min. da Saúde (zulmira.hartz@umontreal.ca)