…e a Efetividade da Avaliação em P.S.?

1. …e a Efetividade da Avaliação em P.S.? A defasagem entre produção científica e sua concreta tradução na melhoria da qualidade de vida das pessoas é bem conhecida”.(Berghmans & Potvin, 2005) De que modo as informações produzidas na avaliação podem influenciar* as práticas dos atores e favorecer as melhorias sociais? Como mapear e documentar essas consequências (ou evidências) em diferentes contextos? *“Uso/influência” têm sido utilizados como equivalentes no campo da avaliação mas o termo “influência” é mais amplo que “uso” e está mais relacionado a um ‘uso’ multi-direcional, incremental e involuntário do que meramente instrumental.

2. Knowledge into action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices.Hartz ZMA; Denis J-L; Santos, EM; Matida A* PROGRAMAÇÃO E AVALIAÇÃO EM PROMOÇÃO DA SAÚDE. Louise Potvin,L & Silvie Gendron. ( Recife-2006: GEAS/IMIP; ENSP/Fiocruz e ISC/UFB). Apresentação 1- Utilidade e contextos na meta-avaliação: abordagem normativa x reflexiva 2- Modelo ‘traduzido’ das conseqüências da avaliação e circuitos das inovações 3- Da teoria à prática: questões depesquisa que permitem dar visibilidade sobre as consequências da avaliação *Health Promotion Evaluation Practice in the Americas: Values and Research (forthcoming). New York: Springer.

3. Meta-avaliação 1-Para ser útil, a avaliação deve ter foco no contexto (i.e. “on the texts”),nos “textos” produzidos pelos diversos atores e seus significados. Bezzi, 2006 “Evaluation Pragmatics” (Inter)Nacional-Local Programas Tempo Avaliação Contextos A meta-avaliação deve ser umquestionamento reflexivo do processo da avaliação, e de seus resultados, enquanto inovações implementadas no “espaço social dos programas” (Potvin et al., 2006), através das operações de tradução/interpretação naaprendizagem política e organizacional.

4. 1.1-Os itens discutidos pelos avaliadores (o avaliando, sua eficácia, teoria do programa, etc.) são apenas textos. O programa e sua lógica... técnicas de todos os tipos; as descobertas da avaliação (sejam tabelas numéricas ou conjuntos de recomendações) estão condicionados pela maneira como foram compreendidos e interpretados por cada ator (incluindo o avaliador), de acordo com suas restrições formais, morais e normativas. Bezzi,2006

5. 1.2-Como conciliar as demandas (muitas vezes contraditórias) do (inter)nacional-local-comunitário? “...o governo central estará interessado em dados agregados para descobrir tendências e resultados globais... Avaliações que são mais válidas do ponto de vista de governos descentralizados podem ser vistas como sendo de pouco valor em nível central... nem todos os atores entenderão determinada avaliação como igualmente relevante e utilizável. Para que os atores aprendam com a avaliação, a análise deve fazer sentido da perspectiva dos atores envolvidos. Interpretações e interaçõesde atores desempenham um papel não somente na produção de resultados, mas também na geração de procedimentos de aprendizado como conseqüência da avaliação. Van der Meer&Edelenbos,2006

6. 2- Modelo dos estudos de utilidade/influência da avaliação (como efetuar uma análise sistemática de efetividade da avaliação) Melhorias Sociais *A avaliação é análoga a uma intervenção ou um programa... tem consequências que podem ser boas, más neutras...Uma teoria da avaliação deve estar centrada no subconjunto de conseqüências plausíveis de conduzir ou não ao desenvolvimento social. Foco na Utilidade - Patton,1997; Weiss,CDC1999 Níveis/mecanismos de Influência- Kirkhart (2000), Henry & Mark(2003)*

7. Se a importância da influência das pesquisas nas políticas de saúde…vêm sendo descritas há, pelo menos 20 anos, um quadro geral de sub-utilização é reconhecido(Hanney,2003; Almeida&Boscolo, 2006) Embora os problemas de tradução ou aplicação da pesquisa na formulação das políticas sejam inúmeros as soluções são raras…pontes deveriam ser construidas…mas está sempre faltando conhecimento sobre onde…como, ou por quem.(Trostle, 1999 p.103;112). “Há muitas razões para pensar que a relação entre tomador de decisões e os investigadores são muito difíceis, freqüentemente conflitadas e, às vezes, impossível...há uma necessidade de um agente, ou uma função, que atue como um mediador entre os dois mundos...eles devem ser capazes de traduzir a pesquisa em decisão, mas também questões dos decisores em pesquisa” Pouvourville (1999, p. 894).

8. “Os cientistas estão sempre a arengar sobre a necessidade de ‘lançar uma ponte entre as duas culturas’ mas quando os leigos começam de fato a construir esta ponte eles recuam horrorizados e tentam impor a maior das censuras à livre expressão, desde Sócrates: só cientistas podem falar de ciência”Latour 2001 O termo ‘mediação’, em contraste com ‘intermediário’, que é totalmente medido por seus insumos e produtos, sempre excede as condições previsíveis. Isto faz uma grande diferença entre os que identificam conjuntos de ‘práticas’, como meros intermediários, e aqueles que vêem nas mediações verdadeiros autores ou ‘eventos’ (substituindo a noção de ‘descoberta’-qualquer experiência ou ação com conseqüências para a historicidade dos componentes:rede s-t contínua espaço-tempo).

9. Utilidade e influência da avaliação em Promoção da Saúde(2) Politização Melhorias Sociais Institucionalização Foco na Utilidade InteressaEnvolve Teoria da Tradução Problematiza Mobiliza Historicidade (Contexto-Tempo) Latour,2001

10. Instituição refere-se a um lugar, leis, pessoas e costumes que são contínuos no tempo. Em sociologia tradicional o termo ‘institucionalizado’é empregado como uma crítica à baixa qualidade da ciência ‘rotineira’...Aqui o significado é positivo, uma vez que as instituições são vistas como responsáveis pelas mediações necessárias para apoiar os ‘atores’. “A ação intencional e a intencionalidade ...não são propriedades de humanos. São propriedades de instituições, de aparatos, daquilo que Foucault chama de dispositivos.Somente pessoas jurídicas estão aptas a observar a proliferação de mediadores, a regular sua expressão, a redistribuir habilidades... a obscurecer-se e fechar-se”. Latour, 2001

11. 3- Da teoria à prática: ...“a literatura empírica sobre a influência da avaliação é escassa, sendo limitado o número de pesquisas acerca da influência da avaliação sobre o aprimoramento do programa, da política e dos participantes” (Christie, 2007). Como fazer uma avaliação “utilizável e utilizada” (Influente) são tópicos familiares e preocupações perenes para os avaliadores em geral (particularmente ligados às avaliacões de tecnologias e cuidados desaúde) mas devemos considerar os desafios e limites desta pretensão se não tentarmos continuamente responder, também como questões de pesquisaavaliativa, às seguintes indagações*: *“As consequências da avaliação” (Conferência AEA ,2006 -20° aniversário)

12. Entre as possíveis consequências da avaliaçãoquaisnós estamos buscando, em que contextos, e por quê? • Quais são os efeitos inesperados (não intencionais) ou “externalidades” de nossos estudos? • Quais são as consequências das avaliações passadas sobre nossa prática atual e/ou futura de avaliadores? • Como as consequências das avaliações já concluídas se refletem nas políticas e práticas da promoção da saúde?

13. As operações de translação/tradução,transformando as questões políticas em questões de técnica e vice-versa, juntamente com a metáfora de um sistema circulatório capaz de “manter vivos os fatos científicos”, permitem repensar e potencializar o uso ou influência da (meta)avaliação como ‘prática científica’ em promoção da saúde, multiplicando os mediadores que a produzem coletivamente e orientar seus projetos de pesquisa MUITO OBRIGADA zulmirah@terra.com.br