Qualidade e “rankings ”: Alinhamento ou desalinhamento

1. XII Encontro de Reitores Grupo de Tordesilhas Universidade de Lisboa, 17-18 Novembro 2011 Qualidade e “rankings”:Alinhamento ou desalinhamento Pedro Lourtie Instituto Superior Técnico, UTL, Portugal

2. Tópicos Qualidade e “rankings”: Alinhamento ou desalinhamento • Introdução • Criatividade e diversidade • Processo de ensino-aprendizagem • Analogia (Educação / Garantia da Qualidade) • Qualidade • Missões, objectivos e recompensas • Rankings • Conclusão

3. Introdução Qualidade e “rankings”: Alinhamento ou desalinhamento • Ponto de partida: • Pedro Lourtie, ‘Quality assurance alignment’, in Creativity and diversity: Challenges for quality assurance beyond 2010, EUA Case Studies 2010 • Selecção de artigos do 4th European Quality Assurance Forum, Novembro de 2009 • Também publicado como: П. ЛОУРТИ, ‘ОБЕСПЕЧЕНИЕКАЧЕСТВАДОЛЖНОБЬІТЬПРИВЕДЕНОВСООТВЕТСТВИЕСМИССИЕЙУЧЕБНОГОЗАВЕДЕНИЯ’, in The Bologna Process: resume of the decade, Ministry of Education and Science of the Russian Federation, 2011 • Mais desenvolvimento sobre rankings

4. Introdução Qualidade e “rankings”: Alinhamento ou desalinhamento • Garantia da Qualidade: • Que critérios e procedimentos de avaliação? • Que consequências e sistema de recompensas? • Objectivo: Instituições de Ensino Superior de qualidade, criativas e diversas • Diversidade de contextos: • Ambiente (legal, cultural, ...) • Públicos (jovens, menos jovens, com percursos de vida diversos, ...) • Missões

5. Introdução Qualidade e “rankings”: Alinhamento ou desalinhamento • Promoção de IES criativas: • Risco do sistema de garantia de qualidade abafar a criatividade e normalizar a diversidade • Alinhamento do sistema de garantia da qualidade com a missão institucional • Recompensas do sistema de garantia da qualidade pela criatividade e diversidade • Analogia entre ensino-aprendizagem e garantia da qualidade • Rankings: • Avaliação com critérios estandardizados/limitados • Desalinhamento entre critérios e missões institucionais

6. Criatividade e diversidade Qualidade e “rankings”: Alinhamento ou desalinhamento • Projecto de criatividade (EUA, 2007): • Definição difícil: o que não é criatividade • Progresso depende da criatividade • Finalidades do Ensino Superior (Comunicado de Londres, Processo de Bolonha, 2007): • Preparar cidadãos para vida numa sociedade democrática • Preparar carreiras futuras e desenvolvimento pessoal • Manter base alargada e avançada de conhecimento • Estimular investigação e inovação

7. Criatividade e diversidade Qualidade e “rankings”: Alinhamento ou desalinhamento • O que se pede ao ensino superior: • Novas/melhores soluções • Educação de aprendentes com antecedentes e objectivos diversos • Qualidade e criatividade • Qualidade: • Implica respostas adequadas • Requer criatividade e diversidade

8. Processo de ensino-aprendizagem Qualidade e “rankings”: Alinhamento ou desalinhamento • John Biggs, Teaching for Quality Learning at University • Alinhamento construtivo na formação implica coerência entre: • Objectivos de aprendizagem • Processo de ensino-aprendizagem • Avaliação dos aprendentes • Motivação dos estudantes: • Aprender: motivação intrínseca • Aprovação/diploma (motivação extrínseca, mais frequente)

9. Processo de ensino-aprendizagem Qualidade e “rankings”: Alinhamento ou desalinhamento • Bons resultados implica atingir objectivos implícitos na avaliação • Bons resultados com alinhamento construtivo, significa atingir os objectivos • Nem todas as formas de avaliação são adequadas para os objectivos de aprendizagem: • Avaliação descontextualizada (exp. exames escritos) serve conhecimento declarativo • Avaliação de desempenho (exp. projectos) para competências várias

10. Analogia Qualidade e “rankings”: Alinhamento ou desalinhamento

11. Qualidade Qualidade e “rankings”: Alinhamento ou desalinhamento • Robert Pirsig, Zen and the Art of Motorcycle Maintenance, An inquiry into Values (1974): • “Because definitions are a product of rigid, formal thinking, quality cannot be defined.” • “But even though Quality cannot be defined, you know what Quality is!” • “If we do define it we are defining something less than Quality itself.”

12. Missões, objectivos e recompensas Qualidade e “rankings”: Alinhamento ou desalinhamento • Quem define a missão e os objectivos? • Não apenas a instituição (padrões comuns) • Não apenas externamente (para criatividade e diversidade) • Diversidade das missões institucionais implica critérios que não sejam só indicadores fixos e quantitativos

13. Missões, objectivos e recompensas Qualidade e “rankings”: Alinhamento ou desalinhamento • Sistema de recompensas: • Acreditação • Reconhecimento público ou por pares, prestígio • Financiamento (?) • Pressão para satisfazer critérios • Avaliação e recompensas devem considerar e valorizar todas as missões institucionais

14. Rankings Qualidade e “rankings”: Alinhamento ou desalinhamento • Rankings são uma forma de avaliação: • Baseada indicadores limitados, largamente disponíveis • Supõe uma IES esquemática/caricatural • Sistema de recompensa dos rankings: • Oferece reconhecimento público ou de pares • Depende da credibilidade do promotor • Supõe resultados plausíveis • Os rankings põem em causa a diversidade e a criatividade

15. Rankings Qualidade e “rankings”: Alinhamento ou desalinhamento • Rankings: critérios fixos/seriação • Ranking de Xangai (Academic Ranking of World Universities) • Times Higher Education World University Ranking • Multirankings: escolha de critérios pelo utilizador • CHE/die Zeit University Ranking (Centre for Higher Education), desde 1998 • U-Multirank (European Multidimensional University Ranking System), Projecto/estudo de viabilidade, 2011

16. Rankings Qualidade e “rankings”: Alinhamento ou desalinhamento • Global Forum, Rankings and Accountability in Higher Education: Uses and misuses, UNESCO / OCDE (IMHE) / Banco Mundial, Paris, Maio 2011 • Notícia do World News Report: International rankings of higher education institutions are here to stay, but classifications should evolve to give information that is more relevant to the needs of users such as universities, students and policy-makers, fits local situations and contributes to the growth of world-class higher education systems rather than a few world-class universities.

17. Rankings Qualidade e “rankings”: Alinhamento ou desalinhamento • Global Forum (cont.) • Notícia do Nouvel Observateur: • Título: Attention, l’abus de palmarès nuit gravement a l’université! • Convite da UNESCO a jornalistas, após o fórum, com o objectivo de “tocar a campainha de alarme nos meios ‘bem informados’ e tentar organizar um contra-fogo à explosão dos rankings internacionais e aos seus efeitos nocivos”

18. Rankings Qualidade e “rankings”: Alinhamento ou desalinhamento • Andrejs Rauhvargers, Global University Rankings and their Impact, EUA, 2011: • Rankings so far cover only some university missions. • “There is no such thing as an objective indicator” (…). The lack of suitable indicators is most apparent when measuring university teaching performance (…) • At present, it would be difficult to argue that the benefits (…) are greater than the negative effects (…) • Higher education policy decisions should not be based solely on rankings data.

19. Conclusão Qualidade e “rankings”: Alinhamento ou desalinhamento • Diversidade de missões e objectivos das universidades para adequação a contextos diferentes • Avaliação e sistema de recompensas devem valorizar criatividade e diversidade • Alinhamento da Garantia da Qualidade: • Missões e objectivos • Organização e procedimentos • Avaliações e sistema de recompensa

20. Conclusão Qualidade e “rankings”: Alinhamento ou desalinhamento • Dificuldade em definir qualidade • But even though Quality cannot be defined, you know what Quality is! • Rankings devem ser usados com cuidado • Attention, l’abus de palmarès nuit gravement a l’université! • Nova geração de multirankings? • O meu neto mais velho, à procura de ranking • Avô, o que é maior, o elefante ou a girafa?

21. Qualidade e “rankings”: Alinhamento ou desalinhamento Obrigado pela atenção!