Efetividade da Avaliação

1. Efetividade da Avaliação De que modo as informações produzidas na avaliação influenciam* as práticas dos atores, favorecendo o controle das endemias? Como documentaressas consequências ou evidências em diferentes contextos? *“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um ‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.

2. Knowledge into action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices.Hartz ZMA; Denis J-L; Santos, EM; Matida A* Programação e avaliação em promoção da saúde. Louise Potvin,L & Silvie Gendron. (Seminário Avançado ACDI/GEAS/IMIP; ENSP/Fiocruz e ISC/UFB). Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. Hartz, ZMA, Santos EM e Matida A** Do Quê ao Pra Quê da Meta-Avaliação em Saúde Zulmira Maria de Araujo Hartz e André-Pierre Contandriopoulos** *David V. McQueen & Potvin L (eds)Health Promotion Evaluation Practice in the Americas: Values and Research. New York: Springer (no prelo-2008). **Hartz ZMA, Vieira da Silva LM e Felisberto (orgs) .Meta-avaliação da atenção básica em Saúde: teoria e prática. Rio de Janeiro:Ed. Fiocruz (no prelo-2008)

3. Pressuposto Avaliação, como qualquer política ou intervenção social,visa através de suas práticas(Auditoria, Monitoramento,Pesquisa), modificar um problema (ex.‘util’ para aumentar a ‘efetividade dos programas’ nas melhorias da saúde), devendo portanto serquestionada em relação aos seus objetivos, institucionalidade, custos e conseqüências (positivas e negativas) . Plano da apresentação 1- Utilidade e contextos na (meta) avaliação: abordagem normativa x reflexiva 2- Modelo‘traduzido’ das conseqüências da avaliação na aprendizagem organizacional (circuito das inovações) 3- Da teoria à prática: monitoramento epesquisa da avaliação que possam dar visibilidade a influência

4. Meta-avaliação Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”),nos “textos” produzidos pelos diversos atores e seus significados. Bezzi, 2006 “Evaluation Pragmatics” (Inter)Nacional-Local Programas Tempo Avaliação Contextos A meta-avaliação,refere-se ao questionamento reflexivo do processo da avaliação, e de seus resultados, enquanto inovações implementadas no “espaço social dos programas” (Potvin, 2006), através das operações de tradução/interpretação naaprendizagem política e organizacional.

5. Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são apenas textos.O programa e sua lógica... técnicas de todos os tipos; as descobertas da avaliação (sejam tabelas numéricas ou conjuntos de recomendações) estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas. Bezzi,2006

6. Como conciliar as demandas (muitas vezes contraditórias) do (inter)nacional-local-comunitário? “...o governo central estará interessado em dados agregados para descobrir tendências e resultados globais... Avaliações que são mais válidas do ponto de vista de governos descentralizados podem ser vistas como sendo de pouco valor em nível central... nem todos os atores entenderão determinada avaliação como igualmente relevante e utilizável. Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interaçõesde atores desempenham um papel não somente na produção de resultados, mas também na geração de procedimentos de aprendizado como conseqüência da avaliação. Van der Meer&Edelenbos,2006

7. Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras…pontes deveriam serconstruidas…mas está sempre faltando conhecimento sobre onde…como, ou por quem.(Trostle, 1999 p.103;112). “Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência”Latour 2001, p.31.

9. Utilidade e influência da avaliação em Sáude Politização Melhorias em Saúde Institucionalização Foco na Utilidade InteressaEnvolve Teoria da Tradução Problematiza Mobiliza Historicidade (Contexto-Tempo) Latour,2001

10. “A ação intencional e a intencionalidade ...não são propriedades de humanos. São propriedades de instituições, de aparatos, daquilo que Foucault chama de dispositifs.Somente pessoas jurídicas estão aptas a observar a proliferação de mediadores, a regular sua expressão, a redistribuir habilidades... a obscurecer-se e fechar-se”. Latour, 2001 (Caixa de PandoraPag. 211

11. ...“a literatura empírica sobre a influência da avaliação é escassa, sendo limitado o número de pesquisas acerca da influência da avaliação sobre o aprimoramento do programa, da política e dos participantes” (Christie, 2007). As operações de translação/tradução, transformando as questões políticas em questões de técnica e vice-versa, juntamente com a metáfora de um sistema circulatório capaz de “manter vivos os fatos científicos”, permitem repensar e potencializar o uso ou influência da (meta)avaliação como ‘prática científica’ multiplicando os mediadores que a produzem coletivamente e orientar seus projetos de pesquisa

12. MUITO OBRIGADA Zulmira M. A. Hartz- Pesq. titular do depto de Epidemiologia daEnsp-Fiocruz (aposentada); Grupos de pesquisa do CNPq: “Avaliação da situação de processos endêmicos e programas de contrôle” (LASER/Ensp-Fiocruz) e “Estudos de Gestão e Avaliação em Saúde”(GEAS- IMIP); Pesquisadora associada à CACIS- Cátedra em Abordagens Comunitárias e Iniqüidades em Saúde/Univ. de Montréal. zulmirah@terra.com.br