O monitoramento da Pós-Graduação: questões, desafios, perspectivas

1. IV Congresso Norte-Nordeste de Psicologia O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES Salvador, maio de 2005

2. Roteiro • A CAPES e a avaliação da pós-graduação • Avaliação da pós-graduação: comparando áreas • Questões acerca da avaliação da pós-graduação

3. A CAPES e a avaliação da pós-graduação

4. CAPES • Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: criada como “campanha” em 11 de julho de 1951 • 1965: CAPES classifica os 38 cursos existentes (27 de mestrado; 11 de doutorado) • 1976: início do processo de avaliação sistemática da PG • Primeiras tentativas: desenvolvimento de sistemas de indicadores objetivos quantificáveis que gerassem uma classificação • Sistema atual: avaliação trienal (desde 1998), com acompanhamento anual, por comissões por área de conhecimento

5. Avaliação da pós-graduação: objetivos A avaliação da PG deve permitir • tomar decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais) • estabelecer padrões de qualidade visando a certificação dos programas que compõem o sistema • aprimorar dos próprios programas, pela identificação de fragilidades • registrar a memória do sistema

6. Representação e Comissões de Área • Representação: • consulta à comunidade, construção de lista tríplice (CS), indicação da Direção • Comissão de Área: • indicação conjunta representação/direção • 2005: Comissão ad hoc e “núcleo duro” • Critérios para composição da Comissão: • diversificação regional • representação de sub-áreas • reconhecimento da comunidade* • * CAPES: Pesquisadores CNPq (1)/Programas acima de 4 • Não são (necessariamente) especialistas em avaliação

7. Comissões de Área: Avaliação 2004 • Grandes Áreas: 8 (44 áreas) • CiênciasHumanas: 8 áreas • CiênciasSociais Aplicadas: 7 áreas • Ciências Agrárias: 4 áreas • Saúde: 8 áreas • Ciências Biológicas: 4 áreas • Engenharias: 4 áreas • Ciências Exatas e da Terra: 5 áreas • Letras, Lingüística e Artes: 2 áreas • Multidisciplinar e Ensino: 2 áreas • Consultores: • Consultores: 547

8. Avaliação da pós-graduação: comparando áreas

9. Grande Área C. Humanas C. Sociais Aplicadas C. Biológicas Saúde Engenharias C. Exatas e da Terra Área Psicologia Educação Sociologia Direito C. Biológicas II Medicina II Engenharias II Química Áreas comparadas

10. Comparando áreas: conceitos na Avaliação 2004

11. Avaliação: etapas • Fase preparatória: • definição de critérios e de procedimentos • elaboração de documentos • elaboração/atualização do Qualis da área • Fase de execução da Avaliação: • avaliação dos Programas pelas Comissões de Área • análise dos resultados pelas Grandes Áreas (2004) • deliberação sobre os resultados pelo CTC • comunicação dos resultados • avaliação de recursos pelas Comissões de Área • deliberação final sobre os recursos pelo CTC • Fase de homologação dos resultados (CNE)

12. Critérios: a Ficha de Avaliação • Sete quesitos (ponderados): • Proposta do Programa • Corpo Docente • Atividade de Pesquisa • Atividade de Formação • Corpo Discente • Teses e Dissertações • Produção Intelectual • Subdivisão de cada quesito em itens (4-6) • Possibilidade de inclusão de itens e de ponderação pelas áreas

13. Comparando áreas: pesos dos quesitos

14. Procedimentos Atualização do Qualis periódicos* Reunião para definir critérios** Distribuição dos Programas pelos avaliadores (2 Programas para cada dupla) Elaboração de análise preliminar Preparação de análise de produção intelectual Reunião: dia 1- ajuste de critérios Trabalho em duplas (variáveis) Discussão grupo todo (busca de consenso) Revisão das Fichas (grupo menor) Critérios Documento de Critérios: descrição das características que correspondem às avaliações (ex.) Atividades de formação: “Quando todos os docentes atuam lecionando disciplinas (ainda que isso não ocorra em todos os anos do triênio), quando todos orientam, quando não há dependência de docentes colaboradores, quando os alunos estão bem distribuídos entre os orientadores, quando a maior parte dos docentes atua também na graduação, além de orientar alunos em iniciação científica, e quando as ementas e a bibliografia das disciplinas mostram-se pertinentes e atualizadas, o quesito é avaliado como “muito bom”.” Psicologia

15. Psicologia • % de artigos em relação ao total de itens de produção • % de artigos com autoria exclusivamente discente • % de artigos publicados em periódicos estrangeiros • % de artigos concentrados em um mesmo periódico • % de docentes sem artigos publicados no triênio • total de itens de produção (artigos + capítulos + livros + trabalhos completos) por docente, por ano • total de artigos por docente, por ano • total de artigos por docente, por ano, considerando a qualificação dos periódicos • total de itens de produção por docente, por ano, considerando a qualificação dos periódicos no caso dos artigos

16. Procedimentos Elaboração do Qualis (eventos, periódicos, livros) Reunião para afinar critérios Definição de critérios para Programas 6 e 7 Distribuição dos Programas pelos avaliadores (2 a 5 Programas) Elaboração de pareceres preliminares (individualmente/correio eletrônico) Reunião: dia 1- ajuste de critérios Discussão das fichas Indicação para Programas 6 e 7 Revisão das Fichas (grupo menor) Critérios Definidos critérios quantitativos para cada quesito e item (ex.:) Corpo docente: Abrangência e especialização do NRD6 Tabela 4: MB=+75; B=65-74; R=55-64; F=45-54; D=-45 Educação

17. Procedimentos Visita a todos os Programas Busca de homogeneidade: tomada de decisões por consenso 4 reuniões com coordenadores no triênio Entrega dos CDs Reunião prévia de 5 membros para qualificar livros e coletâneas (+200 livros em 2 dias...) Produção de síntese dos indicadores de cada Programa Primeiro dia: consenso sobre padrões de qualidade Trabalho em duplas (pelo menos 1 dos visitantes) Leitura em voz alta das avaliações Critérios Descrição dos critérios por quesito/item (Ex.) Teses e dissertações: Tempo médio de titulação - O tempo médio de titulação para a menção Muito Bom deve observar dois critérios: 1) o tempo ideal proposto pela Capes, e 2) a série histórica do programa. Tempo elevado em instituições consolidadas há bastante tempo, mas que têm se esforçado para a redução do TMT, com resultados visíveis, é aceitável. Produção intelectual: Qualidade dos veículos - Muito bom implica publicar boa parte dos resultados de pesquisa em periódicos nacionais e internacionais de níveis A e B classificados no Qualis da Sociologia. ... Sociologia

18. Procedimentos Distribuição dos Relatórios na reunião preliminar Divisão da Comissão em subgrupos para relato Análise coletiva, a partir dos relatos dos subgrupos Avaliadores relataram Programas diferentes dos da Avaliação Continuada Discussão ampla antes de definir conceito final Discussão do Programa do avaliador sem a sua presença Avaliação predominantemente qualitativa Critérios Produção intelectual Adequação (25): MB (Entre 80 e 100% da produção de publicações originárias de autores-docentes e autores-discentes, com adequação à proposta do Programa e vinculada às Áreas de Concentração, Linhas e Projetos de Pesquisa) ... Qualidade (25): MB (70% e 100% de sua produção intelectual veiculada em publicações distribuídas de acordo com o perfil das respectivas áreas de concentração e publicadas por editoras de reconhecida expressão nacional ou internacional para a área do Direito)... Direito

19. Procedimentos Elaboração de tabela-síntese com 51 indicadores (total de docentes, pesquisadores com bolsa, publicações cf. Qualis, publicações por orientador, somatório do índice de impacto por orientador, etc.) Avaliação pelo conjunto dos itens contemplados Ex.: Conceito 5: Produção de pelo menos 3 artigos completos publicados em revistas classificadas como categoria "A" do Qualis da área por 50% dos orientadores do programa no triênio. Regularidade da produção científica individual, indicando adequada contribuição coletiva dos orientadores para o desempenho do programa. Somatório do índice de impacto das revistas. Relação índice de impacto por orientador. Número de publicações categoria "A" do Qualis da área por discentes. Total de dissertações e teses defendidas. Relação entre as publicações categoria "A" do Qualis da área com discente sobre número de dissertações e teses defendidas. Baixa dependência de orientadores externos. Tempo médio de titulação dos mestres e doutores. Baixo índice de evasão. Ciências Biológicas II

20. Procedimentos Atualização do Qualis Distribuição do CD (avaliação por pares) Reunião para uniformização de critérios Análise detalhada dos casos limites Análise por subáreas (Química, Materiais, Metalúrgica, Minas e Nuclear) Definição de procedimentos/planilhas por Grande Área Critérios Produção intelectual: M=fração computada por item IA, IB, CLI, LI, PI Qualidade dos produtos do NRD6 (15%): M=M1/NRD6 onde M1 =IA+0,5 IB+ xCLI + yLI + zPI (MB=1 M; B=0,75  M  1...) Qualidade dos produtos no Programa (10%): M=M2/n docentes M2= IA+0,5 IB+ xCLI + yLI + zPI ... Engenharia II

21. Procedimentos Seguiu critérios definidos pela Grande Área Publicações: Qualis (definido em reunião anterior da Comissão) Critérios Quantificação de todos os quesitos/itens. Ex.: Corpo Discente: Dimensão do corpo discente com relação ao NRD6: MB=até 5 alunos; B=5-6; R=6-7; F=7-8; D=+8 Teses e dissertações: Tempo médio de titulação (M): MB=24 meses; B=25-30; R=31-36; F=37-42; D=+42 Produção bibliográfica: Adequação dos veículos: MB=80% NDR6 3 Qualis Nac A + 1 In A ou B/doc no triênio; B= 80% NDR6 3 Qualis Nac B + 1 In C/doc no triênio; R= 80% NDR6 3 Qualis Nac C + 0,5 In C/doc no triênio Produção científica: Qualis In A: fator de impacto (fi) 1 In B: 1 fi  0 In C: sem fi, mas no Medline Nac A: Scielo Nac B: Lilacs Nac C: demais Medicina II*

22. Procedimentos Análise prévia dos Programas (duplas) Preenchimento de planilha com indicadores definidos na reunião de preparação Reunião: construção de planilha única Revisão dos dados (falhas detectadas nos documentos) Critérios Produção intelectual: JCR: 0,007-0,499 (IC) JCR: 0,5-0,999 (IB) JCR: 1 (IA) Equiparação de tipos de produção (livros=artigos; capítulos i/n=art. nacional ...) Química

23. Questões acerca da avaliação da pós-graduação

24. Questões e perspectivas • O que é avaliado: o relatório ou o Programa? • Modelo comum às 44 áreas • Caráter declaratório • Visitas como alternativa • Mudanças no Coleta e na Ficha de Avaliação • A produção científica é adequadamente avaliada? • Qualis Periódicos: classificação da Comissão CAPES-ANPEPP • Classificação das demais áreas aceita • Livros e capítulos de livros: Qualis? • Qualis livros e indicação de melhor produção

25. Questões • O processo de avaliação é cuidadoso? • A questão do tempo destinado à preparação e à avaliação propriamente dita • A análise do CTC (diante do volume de processos) • O material é adequado? • Meta-avaliação (Spagnolo e Souza, 2005) • A avaliação é objetiva? • Subjetividade da Comissão (escolha de membros; definição de critérios e pesos; seleção, análise e interpretação dos dados; compromissos e tendenciosidade) • A base de dados

26. Questões • Como articular (a) padrões gerais do SNPG, (b) quadro evolutivo da área e (c) proposta do Programa? • O significado do “padrão médio da área” • Avaliar processo ou estabilidade? • Avaliação como indutor (de qualidade ou de padrão comum?) • Padronizar ou inovar? • Flexibilização do tempo de titulação + Portaria 68 • Ênfase na produção científica • Pressuposto: uma formação adequada só pode ser assegurada por um corpo docente qualificado • Formação de recursos humanos como missão da CAPES • A questão do egresso