Promovendo a qualidade na ESE

1. Promovendo a qualidade na ESE Bianor Valente, Carlos Pires, Cristina Loureiro, Nuno Melo, Ana Caseiro Alexandra Barros, Ana Cartaxo 11 dezembro 2013

2. Promovendo a qualidade na ESE 1. Apresentação 2. GGQ-ESE 3. Resultados 4. Melhoria

3. Melhoria — Clarificar o conhecimento do Sistema de Garantia da Qualidade do IPL e reforçar o envolvimento dos professores para a implementação deste sistema. — Sensibilizar os professores para o seu papel junto dos alunos no que respeita à implementação deste sistema. — Apresentar o relatório de aplicação dos questionários relativo a 2012-13. — Apresentar alguns dados resultantes do trabalho de melhoria do sistema que o GGQ está a realizar. Resultados GGQ-ESELx Apresentação

4. Melhoria • Lei 38/2007 – novo sistema de avaliação das instituições e dos ciclos de estudo • a) Proporcionar a melhoria da qualidade das IES; • b) Prestar informação fundamentada à sociedade sobre o desempenho das instituições de ensino superior; • c) Desenvolver uma cultura institucional interna de garantia de qualidade. • Decreto Lei 369/2007 – criação do organismo destinado à coordenação do novo sistema de avaliação (A3ES) • “exigência de concretização, pelas instituições de ensino superior, de sistemas próprios de garantia da qualidade, passíveis de certificação” Resultados GGQ-ESELx Apresentação

5. Melhoria Sistema Interno da Garantia da Qualidade do IPL Gabinete de Gestão da Qualidade do IPL (GGQ-IPL) Resultados Departamento de Gestão da Qualidade (DGQ-IPL) Conselho de Gestão da Qualidade do IPL (CGQ-IPL) GGQ-ESELx Gabinete de Gestão da Qualidade das UO (GGQ-UO) Apresentação Gabinete de Gestão da Qualidade da ESELx

6. Melhoria Sistema Interno da Garantia da Qualidade do IPL Gabinete de Gestão da Qualidade da ESELx Resultados Órgão consultivo Órgão executivo GGQ-ESELx Presidente da ESE 4 docentes Ana Caseiro, Bianor Valente, Carlos Pires, Nuno Melo 2 funcionários Alexandra Barros, Ana Cartaxo Presidente da ESE Presidente do CR, CTC e CP Diretora de serviços 2 representantes dos alunos 1 parceiro externo Apresentação

7. 2009 - 10 2010 - 11 2011 - 12 2012 - 13 2013 - 14 2014 - 15 2015 - 16 Avaliação Interna (ESE) 1º Relatório Criação do GGQ-ESE 1º Regulamento ESE Aplicação on-line de Questionários 1º Relatório Global Melhoria do SIGQ-ESE Avaliação Interna (IPL) Criação do GGQ-IPL Visitas às UOs 1º Regulamento IPL Acreditação do SIGQ-IPL Melhoria do SIGQ-IPL Avaliação Externa (A3Es) Processo de Acreditação de todos os Cursos (16) Avaliação do curso de ASC Avaliação dos 4 cursos de Educação Avaliação de 2 Licenciaturas 7 Mestrados Avaliação de 1 Mestrados

8. 2009 - 10 2010 - 11 2011 - 12 2012 - 13 2013 - 14 2014 - 15 2015 - 16 Avaliação Interna (ESE) 1º Relatório Criação do GGQ-ESE 1º Regulamento ESE Aplicação on-line de Questionários 1º Relatório Global Melhoria do SIGQ-ESE Avaliação Interna (IPL) Criação do GGQ-IPL Visitas às UOs 1º Regulamento IPL Acreditação do SIGQ-IPL Melhoria do SIGQ-IPL Avaliação Externa (A3Es) Processo de Acreditação de todos os Cursos(16) Avaliação do curso de ASC Avaliação dos 4 cursos de Educação Avaliação de 2 Licenciaturas 7 Mestrados Avaliação de 1 Mestrados

9. Melhoria Relatório de aplicação dos questionários relativo a 2010-13 • • Avaliação individual enviada aos professores em Outubro 2013 • • Avaliação dos cursos e das UCs Resultados Relatório global relativo a 2010-13 A investigação — CTC Os cursos — CP A relação com a comunidade Internacionalização Funcionamento GGQ-ESELx Apresentação

10. Objetivos Melhoria Resultados • Estudo de natureza qualitativa que visa: • - Caracterizar a experiência dos estudantes na avaliação da ESELx • - Contribuir para a melhoria dos questionários (Ucs e docentes) que se pretendem conceptual e empiricamente mais consistentes GGQ-ESELx Apresentação

11. Recolha de dados | Participantes Melhoria • - Focus group (guião semi-estruturado): • Avaliação global da experiência dos estudantes • Análise do questionário sobre as Ucs • Análise do questionário sobre os docentes • Sete delegados de turma da Licenciatura em Educação Básica e do Mestrado em Educação Pré-escolar • Análise de conteúdo (Nvivo) Resultados GGQ-ESELx Apresentação

12. Envolvimento dos estudantes na avaliação Melhoria • Na perspetiva dos estudantes o seu envolvimento na avaliação ocorre durante: • o preenchimento dos questionários sobre o grau de satisfação dos estudantes relativamente às Ucs e docentes; • as reuniões com a coordenação de curso; • o balanço final da Uc com o docente que a leciona. Resultados GGQ-ESELx Apresentação

13. Envolvimento dos estudantes na avaliação Melhoria • Ausência de divulgação dos resultados da avaliação • “teríamos mais interesse em responder algo se depois soubéssemos quando é que ia ser divulgado e tínhamos interesse de ir ver para saber se também estava de acordo com com aquilo que pensávamos e tudo o mais, se calhar essa divulgação ia ajudar um bocadinho” (P3, LEB) • “nós nunca tivemos acesso a nenhuma avaliação, nós estamos a avaliar o professor e queremos saber se foi só a minha opinião, se é só a minha turma, e se é a nível geral porque é que não é feito nada para ser modificado, essa divulgação nunca chegou” (P5, MEPE) Resultados GGQ-ESELx Apresentação

14. Impacto da avaliação Melhoria • - Alterações ao nível do curso • “pelos menos as alterações todas que foram feitas ao plano de estudos, quem esteve nas reuniões todas, percebia que foram feitas essas alterações porque outros alunos falaram” (P5, MEPE) • “antes nós fizemos o estágio mesmo no fim, havia trabalhos durante o estágio, no 3º ano da licenciatura nós já não passámos por isso” (P5, MEPE) • - As alterações são mais visíveis quando a avaliação é reportada à coordenação de curso ou diretamente ao professor da UC Resultados GGQ-ESELx Apresentação

15. Impacto da avaliação Melhoria • - Reduzidas alterações relativamente ao comportamento de alguns professores • “há professores que durante todos os anos as queixas são as mesmas e nós não entendemos como é que isso é possível e, lá está” (P4, LEB) Resultados GGQ-ESELx Apresentação

16. Questionário da Uc • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       • Carga horária presencial da Uc • Relação entre o nº total de ECTS e o nº de horas de trabalho exigido pela Uc • Dimensão da turma para esta Uc • Ligação com outras Ucs do curso • Qualidade e interesse da matéria lecionada • Qualidade do material de apoio • Coordenação entre a componente T/P/L • Itens pouco informativos ao nível da interpretação dos resultados • “posso dizer que estou muito insatisfeito com a carga presencial mas depois ninguém vai saber se eu estou insatisfeita pois é muita ou pouca” (P3, LEB)

17. Questionário da Uc • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       • Carga horária presencial da Uc • Relação entre o nº total de ECTS e o nº de horas de trabalho exigido pela Uc • Dimensão da turma para esta Uc • Ligação com outras Ucs do curso • Qualidade e interesse da matéria lecionada • Qualidade do material de apoio • Coordenação entre a componente T/P/L • Dificuldades em compreender o conceito de ECTS • “ou altera-se a pergunta (…) ou a ESE tem que tentar fazer uma sensibilização maior aos alunos sobre o que é que é isto dos créditos, nós chegamos à faculdade e passamos a ter créditos mas na verdade não percebemos” (P3, LEB)

18. Questionário da Uc • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       • Carga horária presencial da Uc • Relação entre o nº total de ECTS e o nº de horas de trabalho exigido pela Uc • Dimensão da turma para esta Uc • Ligação com outras Ucs do curso • Qualidade e interesse da matéria lecionada • Qualidade do material de apoio • Coordenação entre a componente T/P/L • Pouca “utilidade” dos ECTS • “de que é que nos serve estar a avaliar, se fosse por créditos, porque a média não foi avaliada por créditos, no final” (P1, LEB)

19. Questionário da Uc • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       • Carga horária presencial da Uc • Relação entre o nº total de ECTS e o nº de horas de trabalho exigido pela Uc • Dimensão da turma para esta Uc • Ligação com outras Ucs do curso • Qualidade e interesse da matéria lecionada • Qualidade do material de apoio • Coordenação entre a componente T/P/L • Reduzido nº de Ucs abrangidas por este item • “a parte prática e laboratorial é mais para as ciências” (P1, LEB)

20. Questionário da Uc • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       •       • Carga horária presencial da Uc • Relação entre o nº total de ECTS e o nº de horas de trabalho exigido pela Uc • Dimensão da turma para esta Uc • Ligação com outras Ucs do curso • Qualidade e interesse da matéria lecionada • Qualidade do material de apoio • Coordenação entre a componente T/P/L • Métodos de avaliação da Uc

21. Questionário docente • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       •       •       • Grau de exigência do docente • Assiduidade e pontualidade do docente • Capacidade do docente relacionar a Uc com os objetivos do curso • Explicitação das regras de avaliação • Clareza de exposição • Preparação científica manifestada • Disponibilidade e apoio do docente fora das aulas • Relação do docente com os seus alunos • Qualidade geral da atuação do docente • Itens pouco informativos ao nível da interpretação

22. Questionário docente • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       •       •       • Grau de exigência do docente • Assiduidade e pontualidade do docente • Capacidade do docente relacionar a Uc com os objetivos do curso • Explicitação das regras de avaliação • Clareza de exposição • Preparação científica manifestada • Disponibilidade e apoio do docente fora das aulas • Relação do docente com os seus alunos • Qualidade geral da atuação do docente • Desconhecimento dos objetivos do curso • “a este nível eu gostava de referir que os objetivos do curso por vezes não são conhecidos pelos alunos e nem pelos professores” (P3, LEB)

23. Questionário docente • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       •       •       • Grau de exigência do docente • Assiduidade e pontualidade do docente • Capacidade do docente relacionar a Uc com os objetivos do curso • Explicitação das regras de avaliação • Clareza de exposição • Preparação científica manifestada • Disponibilidade e apoio do docente fora das aulas • Relação do docente com os seus alunos • Qualidade geral da atuação do docente • Dificuldade (revelada por alguns estudantes) em avaliar este item

24. Questionário docente • MS S Ind Ins MI Ns/Na •      •       •       •       •       •       •       •       •       •       • Grau de exigência do docente • Assiduidade e pontualidade do docente • Capacidade do docente relacionar a Uc com os objetivos do curso • Explicitação das regras de avaliação • Clareza de exposição • Preparação científica manifestada • Disponibilidade e apoio do docente fora das aulas • Relação do docente com os seus alunos • Qualidade geral da atuação do docente • Estratégias e metodologias adotadas

25. Melhoria • Impacto da avaliação • Existem áreas onde o impacto da avaliação é mais reconhecido pelos estudantes (curso versus docentes) • As estratégias que se baseiam numa interação “face-a-face” são mais geradoras desse impacto Resultados GGQ-ESELx Apresentação

26. Melhoria • Envolvimento dos estudantes • Reduzido conhecimento quanto aos momentos e processos em que os estudantes se podem envolver na avaliação da instituição. • Forte associação entre o reduzido envolvimento dos estudantes e a fraca divulgação dos resultados da avaliação (em especial nos questionários). • Divulgar de forma sistemática os resultados • Fomentar uma cultura de avaliação através da sensibilização de docentes e estudantes sobre a importância e propósitos da avaliação • (In)formar os estudantes sobre os momentos e processos de implementação da avaliação Resultados GGQ-ESELx Apresentação

27. Melhoria • Questionários • Pouca clarificação de alguns conceitos presentes nos itens • Limitação quanto à interpretação de alguns dados obtidos • Existem áreas relevantes que não são contempladas • Complementar os questionários com formas alternativas de recolha de informação (quando se diagnosticam situações relevantes) • Definir estratégias para informar os estudantes sobre os conceitos mais “problemáticos” • Reformular os questionários Resultados GGQ-ESELx Apresentação

28. Melhoria Obrigados Resultados GGQ-ESELx Apresentação

29. 2009 - 10 • Questionários já elaborados centralmente • Questionários aplicados relativamente a 2008-09 • Relatório relativo aos questionários elaborado na ESE e apresentado em CTC 2010 - 11 • Aplicação de questionários relativos a 2009-10 (outubro 2010) • 1ª Visita Externa da Comissão do IPL (3 dezembro 2010), relatório recebido em janeiro 2011 (apresentado em CTC) • Relatório relativo aos questionários elaborado e apresentado em abril 2011 2011 - 12 • 2º Relatório de Avaliação da Comissão de Avaliação Externa do IPL, relativo a 2010-11, apresentado em CTC • Regulamento da Qualidade do IPL • Nova Organização do GGQ-ESE • Aplicação de questionários relativos a 2010-11, ainda em papel 2012 - 13 • Relatório relativo aos questionários elaborado e apresentado em janeiro 2013 • Aplicação de questionários on-line • Decisão de acreditação do SIGQ-IPL 2013 - 14 • Relatório relativo aos questionários elaborado • 1º Relatório da UO, conforme previsto no regulamento (CTC, CP, Diretor de Serviços e Presidente da UO) • Apresentação do relatório relativo aos questionários (dezembro 2013) • Processo de acreditação do SIGQ