Sistemas de Avaliação: Promovendo o Encontro entre Oferta e Demanda

1. Sistemas de Avaliação: Promovendo o Encontro entre Oferta e Demanda Ricardo Barros Karina Bugarin Diana Grosner Adriana Mascarenhas Rio de Janeiro, 15 de agosto de 2012

2. Avaliação – Utilização • Uso interno: • Uso da avaliação para aprimorar o desenho ou a forma de gestão e funcionamento do próprio programa avaliado. • Uso externo: • Uso da avaliação de um programa para aprimorar o desenho ou a forma de gestão e funcionamento de outros programas.

3. Avaliação – Experiência • Histórico: • Aprendendo com os próprios erros e acertos. • Melhores práticas: • Aprendendo com os erros e acertos dos outros.

4. Federalismo – Experimentação • Diversidade: • O federalismo com política social descentralizada permite elevada dose de experimentação. • Documentação: • Experimentação sem documentação não leva a ganhos de efetividade.

5. Federalismo – Experimentação • Avaliação: • Não basta acumular informação sobre os programas utilizados. Para que ganhos de efetividade sejam alcançados é necessário que cada uma dessas experiências seja avaliada. • Compartilhamento: • Para que ganhos de efetividade sejam alcançados é necessário que os resultados das avaliações sejam compartilhados.

6. Avaliação – Compartilhando • Acesso Formal • Disponibilidade: Programas avaliados precisam disponibilizar suas avaliações. • Repositório: Avaliações disponíveis precisam ser armazenadas em um mesmo ambiente (possivelmente virtual).

7. Avaliação – Compartilhando • Acesso Efetivo • Classificação:Avaliações precisam ser catalogadas e classificadas quanto à natureza do programa avaliado e ao tipo de avaliação realizada.

8. Avaliação – Compartilhando • Acesso Efetivo • Sumário Executivo: Necessário que cada avaliação tenha um sumário executivo padronizado que facilite a busca. • Meta-análise: Necessário que existam resenhas e meta-análises periódicas que facilitem a comparação dos resultados das avaliações existentes.

9. 1. Explorando a diversidade de políticas públicas produzidas em um país federativo - Quatro Questões Fundamentais -

10. 1ª Questão: • Que países, blocos de países (OECD, EU, etc.) ou organismos internacionais (Banco Mundial, PNUD, BID, etc.) desenvolveram sistemas que permitem, facilitam e promovem o compartilhamento de informações sobre o desenho e a eficácia das intervenções? • Que países federados desenvolveram sistemas eficazes para compartilhar experiências locais bem sucedidas? • Como esses sistemas funcionam?

11. 2ª Questão: Como estabelecer um marco legal capaz de incentivar gestores a disponibilizar publicamente os desenhos e os resultados das avaliações das intervenções das quais são responsáveis? O todo ou algum componente desse marco legal já foi ou vem sendo utilizado na prática? Quais os resultados alcançados (mostraram-se eficazes)?

12. 3ª Questão: Que esquema de incentivos poderia ser implementado para que a obrigatoriedade de disponibilizar publicamente avaliações não funcione como um mecanismo de desincentivo para os gestores não avaliarem seus programas? Algum desses esquemas já foi efetivamente utilizado na prática? Quais os resultados alcançados (mostraram-se eficazes)?

13. 4ª Questão: É importante reunir as avaliações em um único lugar? Em caso afirmativo, qual o perfil do órgão nacional incumbido de buscar e reunir as experiências?

14. 2. Tornando a utilização dos resultados das avaliações mais efetiva - Cinco Questões Fundamentais -

15. 1ª Questão: • É necessário o desenvolvimento de um sistema classificatório ou basta a utilização de um sistema com software de busca ativa eficiente?

16. 2ª Questão: Existe algum esforço para criar um sistema classificatório de políticas públicas? O todo ou algum componente desse marco legal já foi ou vem sendo utilizado na prática? Se existe que sistema é esse? Como classifica as políticas públicas? Quão refinado (quantas categorias considera) e quão estruturado (em quantos níveis a classificação pode ser realizada) é esse sistema?

17. 3ª Questão: Existe algum tipo de sistema que permita classificar as avaliações por tipo? Se existe que sistema é esse? Como classifica as avaliações? Quão refinado (quantas categorias considera) e quão estruturado (em quantos níveis a classificação pode ser realizada) é esse sistema?

18. 4ª Questão: Qual a importância da elaboração de meta-análises e resenhas para tornar a utilização das avaliações mais efetiva? Como estimulá-las?

19. 5ª Questão: Como tornar as avaliações mais amigáveis (o papel de sumários executivos e padronização: a importância, a possibilidade de realização e experiências existentes)?