Universidade Federal do Rio Grande do Sul – UFRGS Secretaria de Avaliação Institucional – SAI

1. Enade 2010 - A Prova de Medicina Universidade Federal do Rio Grande do Sul – UFRGS Secretaria de Avaliação Institucional – SAI

2. Apresentar informações de interesse à comunidade acadêmica sobre o Exame de Nacional de Desempenho de Estudantes – Enade Divulgar informações sobre a realização das provas das áreas que participam do Enade 2010 Discussão sobre a natureza da avaliação dos cursos através do Enade Objetivos da Apresentação

3. Trata-se de uma obrigação de Estado implicitamente prevista na Constituição, pois é função do mesmo zelar pela Qualidade da Educação É também um compromisso de Estado, assumido pelo país diante de organismos internacionais (ONU), atividade afeta ao Sistema Educacional do país Não se trata, portanto, de imposição de Programa de Governo Aplica-se a todos os níveis de Ensino Educação envolve Ensino, Pesquisa e Extensão Os instrumentos de avaliação são definidos em legislação Por que o governo avalia a Educação ?

4. Para as instituições e estudantes abrangidos pelo Sistema Federal de Educação, através do SINAES - Sistema Nacional de Avaliação da Educação Superior Lei Federal nº 10.861/04 Sistema Federal de Educação Superior: compõe-se das instituições públicas federais e de todas as instituições privadas (estaduais não fazem parte) Foco no subsídio à captação de informações para geração de políticas educacionais. Respeito à diversidade das instituições atuantes em educação superior (IES). Integração da Avaliação da Educação Superior em todos os seus níveis (graduação e e pós-graduação). Como é feita esta avaliação na Educação Superior ?

5. Formas de avaliação da Educação Superior no SINAES: Avaliação institucional Auto-avaliação institucional Avaliação institucional externa (avaliadores Inep) Avaliação da Graduação: ACG - avaliação externa de cursos de graduação (avaliadores Inep) ENADE(avalia os cursos indiretamente, através da avaliação direta dos alunos) Avaliação da Pós-Graduação: Avaliação de Programas de Pós-Graduação (avaliadores CAPES) Quais os instrumentos de avaliação do SINAES ?

6. Legislação: O ENADE está previsto na própria lei do SINAES Anualmente, são editadas portarias regulatórias específicas do exame daquele ano, estabelecendo prescrições sobre itens tais como os seguintes: Procedimentos que o MEC/Inep adotará para a prova do ano Definição das áreas que serão examinadas no ano Estabelecimento das comissões de assessoramento das diversas áreas que prestarão o exame ENADE - Fundamentos

7. Legislação (portarias / continuação): Estabelecimento das comissões de assessoramento das diversas áreas que prestarão o exame Essas comissões, por sua vez, estabelecem as prescrições da prova de cada área, a qual será, depois, elaborada por uma empresa contratada para esta finalidade e também responsável pela sua aplicação em todo o país Observação importante: As comissões de assessoramento somente têm acesso à prova após a sua aplicação aos estudantes Até esta aplicação, as comissões vêem apenas algumas “questões-espelho” ENADE - Fundamentos

8. Diferenças entre os princípios de avaliação do ENADE e do ENC (Provão): ENADE avaliação dinâmica: avalia o processo (e o produto) é mais justo com a IES que recebe alunos menos qualificados permite avaliar um número bem maior de cursos, em menos tempo ENC (Provão) avaliava somente o produto (avaliação estática) é mais favorável à IES que recebe o estudante de nível médio mais bem preparado ENADE - Fundamentos

9. Componente pedagógica: Avaliação doganho de valor(“análise de mudança”)obtido pela exposição do estudante à Educação provida pela IES Tem de ser avaliado o mesmo grupo de estudantes na condição inicial de ingressantes e na condição final de concluintes Avaliação do processo e do produto final Componente psicométrica: Provas têm de ser pautadas pelo princípio da comparabilidade Necessidade de avaliar a entrada e a saída do processo Intervalo de tempo padrão: 3 anos ENADE- nova proposta de avaliação por exame

10. Ingressantes 2007 Concluintes 2010 ENADE – “Análise de Mudança” Desenvolvimento de Habilidades Processo de Aprendizado Aquisição de Competências Ação da IES ? Qual a efetiva influência da educação recebida pelo estudante no processo de aprendizado ?

11. O Enade provê os seguintes resultados: Nota do estudante: é secreta e é fornecida apenas ao estudante, mediante senha, não sendo divulgada publicamente ou utilizada para qualquer finalidade Nota do curso, calculada de forma relativa (ao desempenho geral de todos os participantes da prova num determinado tipo de curso) Esta nota é transformada num conceito, numa escala de 1 a 5 (Conceito do Curso) Projeção esperada para a nota do curso, calculada através de um índice, o IDD Este IDD é transformado, também, num conceito, numa escala de 1 a 5 (Conceito-IDD) Avaliação do questionário sócio-econômico para o curso Avaliação do questionário preenchido pelo coordenador do curso ENADE – resultados

12. O conceito foi dado pela classificação assim estabelecida (prevista na lei do SINAES): ENADE – Resultados: o conceito do curso

13. O Índice de Diferença entre os Desempenhos Observado e Esperado (IDD) foi introduzido no Enade 2005 pelo Inep Este índice é avaliado por área de conhecimento (ou por grupo de cursos, no caso das Engenharias) Este índice toma por base os estudantes de melhor nível de desempenho, sendo menos suscetível à “contaminação” pelos fator ausência à prova (ou ao fator boicote – seja parcial ou integral) Um conceito IDD maior significa que o curso atingiu um resultado mais compatível com a projeção esperada de resultados para o perfil dos estudantes do curso ENADE – Índice IDD

14. Como é feita a avaliação do desempenho esperado dos estudantes (e dos seus cursos) ? Através da projeção dos resultados esperados para os concluintes a partir... ... do desempenho dos ingressantes do curso ... do grau de instrução de seus pais (ambas as variáveis apresentaram, nas séries históricas, inclusive, ENC [Provão], alta correlação com os resultados de estudantes concluintes) ENADE – Índice IDD

15. Estudantes de final de primeiro ano dos cursos (ingressantes): aqueles que até o dia 1º/ago/2010 haviam concluído entre 7% e 22% da carga horária mínima do currículo do curso Estudantes de último ano dos cursos (concluintes): aqueles que até o dia 1º/ago/2010 haviam concluído pelo menos 80% da carga horária mínima do currículo do curso ou que sejam formandos no segundo semestre de 2010 ENADE – Quem deve prestar o exame

16. O mesmo exame é aplicado tanto aos ingressantes, como aos concluintes de cada curso São 40 questões, a resolver em 4h00min. Há uma parte da prova (primeiras 10 questões), comum a todos os estudantes que prestam o exame, independentemente do seu curso: esta parte é uma avaliação de formação geral, tendo peso de 25% sobre a nota ENADE – Detalhes da Prova

17. Há tanto questões discursivas, quanto de múltipla escolha, podendo ambas serem de grau baixo,médioouelevadode dificuldade. Para cada questão, são especificados conteúdos, habilidades e competências a serem examinados. O peso relativo de cada tipo de questão na prova varia de acordo com a deliberação de cada comissão de assessoramento, não podendo, porém, ultrapassar os 5% por questão. ENADE – Elementos do desenho da Prova

18. O comparecimento do estudante selecionado é obrigatório para que a prova tenha validade estatística, já que a nota é relativa (e não, absoluta) Por isso, a lei obriga ao comparecimento (para estudantes selecionados)! Por outro lado, estudantes que realizarem voluntariamente o Enade (sem terem sido selecionados), não contam para os índices do seu curso... ENADE – Comparecimento à Prova

19. E se o estudante não comparecer ? O estudante fica com situação irregular junto ao Inep, pois o Enade é um componente curricular obrigatório de todos os cursos superiores, hoje, no país! Sem realizar algum componente curricular, o curso do estudante não estará completo, e ele, portanto, não poderá ser diplomado! ENADE – Comparecimento à Prova

20. ENADE 2010: Cursos (áreas) participantes Agronomia Biomedicina Educação Física Enfermagem Farmácia Fisioterapia Fonoaudiologia Medicina Medicina Veterinária Nutrição Odontologia Serviço Social Terapia Ocupacional Zootecnia

21. ENADE 2010: Cursos (áreas) participantes Cursos Superiores de Tecnologia (Tecnólogos): Agroindústria Agronegócios Gestão Ambiental Gestão Hospitalar Radiologia

22. Enade – Fundamentos Psicopedagógicos O Enade é baseado nas Diretrizes Curriculares Nacionais (DCN) dos cursos (inclusive, para efeito de divisão das áreas em que são realizadas as diferentes provas) As DCN estão baseadas em conceitos da Psicopedagogia A atividade docente é baseada no ato de avalizar o processo cognitivo por parte do estudante, isto é, em se “garantir que o estudante, efetivamente, aprendeu” Aprender, aqui, significa desenvolver atitudes, habilidades e competências no eventual contexto da assimilação de conteúdos

23. Enade – Fundamentos Psicopedagógicos Por isso, é necessário conhecer algumas definições subjacentes à prova, advindas da Psicopedagogia: Atitude– predisposição à execução de alguma atividade com determinado padrão de recorrência. Habilidade – domínio do uso do intelecto (eventualmente, agregado à destreza) de modo a executar tarefas específicas. Competência– capacidade de execução de atividades compostas pela execução de várias tarefas (requerendo, portanto, a presença de múltiplas habilidades).

24. Enade – Fundamentos Psicopedagógicos Observações: O desenvolvimento das habilidades supõe, em algum grau, o envolvimento emocional e está relacionado com a freqüência e a intensidade de treinamento. É condicionante do aprendizado e da formação da competência. A aquisição da competência está baseada no desenvolvimento das habilidades e relaciona-se com o domínio de métodos e técnicas efetivamente aprendidas pelo estudante. O desempenho da competência está associado à presença da atitude. Obs.: as atitudes, habilidades e competências a serem desenvolvidas nos cursos de graduação são habilidades acadêmicas, e não habilidades profissionais, as quais derivam do exercício profissional.

25. Enade – Fundamentos Psicopedagógicos Então, como devem ser elaboradas as questões da prova do Enade de modo a se examinar se esse objetivo central do processo de aprendizado foi atingido ? O conjunto das questões da prova é elaborado de modo a que todo o conjunto de habilidades e competências que se espera desenvolver nos egressos da área (previstas nas DCN) sejam cobertos Os conteúdos de formação da área devem ser utilizados, pela banca que elabora a prova, na verdade, como um contexto do exame das habilidades e competências a ser efetuado.

26. A formação da competência supõe a assimilação de saberes e requer a existência de habilidades e a presença de atitudes previamente desenvolvidas Enade – Fundamentos psicopedagógicos Assimilação de Conhecimento + + Habilidade Atitude = Formação da Competência

27. Todas as provas, de todas as áreas, têm as mesmas 10 questões de Formação Geral (FG), com mesmo peso relativo sobre a nota final de estudantes e cursos de todas as áreas O componente específico (CE) compõe as últimas 30 questões da prova de cada área, e sua configuração é deliberada pela comissão de assessoramento de cada área, dentro de regras pré-estabelecidas pelo Inep Por exemplo, o número de questões discursivas ou o seu peso relativo sobre a nota do CE é pré-estabelecido pelo Inep Enade - A estrutura das diversas provas

28. Itens que são definidos pela comissão de cada área: Grau de dificuldade de cada questão Conjunto de atitudes-habilidades-competências-conteúdos que serão examinados em cada questão da prova (restrito ao previsto pelas Diretrizes Curriculares Nacionais dos cursos da área) Forma das questões que deverão ser elaboradas pela banca (ex.: escolha múltipla, asserção-razão, etc.) Distribuição de conteúdos a serem examinados por partes do CE (ex.: grupo de últimas 5 questões diferenciadas por subárea dentro da área) Enade - a estrutura das diversas provas

29. Tipo de questões respondidas pelos estudantes que realizarão as provas da Área de Medicina e da Formação Geral do Enade: Formação Geral: comum aos cursos de todas as áreas 10 (dez) questões, discursivas e de múltipla escolha, que abordarão situações-problema, estudos de caso, simulações e interpretação de textos, imagens, gráficos e tabelas. Componente Específico da área de Medicina: 30 (trinta) questões, sendo 3 (três) discursivas e 27 (vinte e sete) de múltipla escolha, envolvendo situações-problema e apresentação de casos Enade – A Prova de Medicina

30. Conteúdos comuns a todos os cursos participantes do ENADE 2010(inclusive, cursos de Medicina): 10 questões referentes à formação geral Conteúdos abordados: sociodiversidade: multiculturalismo e inclusão; exclusão e minorias; biodiversidade; ecologia; novos mapas sócio e geopolíticos; globalização; arte e filosofia; políticas públicas: educação, habitação, saúde e segurança; redes sociais e responsabilidade: setor público, privado, terceiro setor; relações interpessoais (respeitar, cuidar, considerar e conviver); vida urbana e rural; inclusão/exclusão digital; cidadania; violência; terrorismo, avanços tecnológicos, relações de trabalho. Enade – A Prova de Medicina

31. Enade – A Prova de Medicina Forma de abordagem: situações-problema, estudos de caso, simulações e interpretação de textos, imagens, gráficos e tabelas Habilidades a serem examinadas:analisar, sintetizar, criticar, deduzir, construir hipóteses, estabelecer relações, fazer comparações, detectar contradições, decidir, organizar, trabalhar em equipe e administrar conflitos. Competências a serem examinadas: ética profissional e compromisso com a sociedade Competências a serem examinadas nas questões discursivas:(construção de texto com)clareza, coerência, coesão, estratégias argumentativas, adequação de vocabulário e correção gramatical.

32. A prova do Enade 2010 tomará como referência o perfil do graduando em Medicina como: Médico com formação generalista, humanista, crítica e reflexiva, capacitado a atuar, pautado em princípios éticos, no processo de saúde-doença em seus diferentes níveis de atenção, com ações de promoção, prevenção, recuperação e reabilitação à saúde, na perspectiva da integralidade da assistência, com senso de responsabilidade social e compromisso com a cidadania, como promotor da saúde integral do ser humano. Enade – A Prova de Medicina

33. Habilidades & Competências examinadas no contexto da área de Medicina pela prova do ENADE 2010. EIXO INTEGRADOR I: a) aplicar os princípios morais e éticos com responsabilidades legais inerentes à profissão; b) aplicar para a tomada de decisão os aspectos morais, éticos, legais da profissão; c) capacidade de lidar com paciente terminal e aplicar princípios de tratamento paliativo; d) utilizar linguagem adequada sobre o processo saúde-doença que permita ao paciente e familiares tomada de decisões compartilhadas; e) comunicar-se ética e eficazmente com colegas, instituições, comunidade e mídia; f) valorizar a interação com outros profissionais envolvidos nos cuidados com o paciente, por meio de trabalho em equipe; g) interpretar textos em línguas estrangeiras: espanhol e inglês. Enade – A Prova de Medicina

34. Habilidades & Competências examinadas no contexto da área de Medicina pela prova do ENADE 2010. EIXO INTEGRADOR II: a) compreender bases moleculares e celulares dos processos normais e alterados, estrutura e função dos tecidos, órgãos, sistemas aplicados à prática médica; b) utilizar os fundamentos da estrutura e funções do corpo humano na avaliação clínica e complementar; c) explicar as alterações mais prevalentes do funcionamento mental e do comportamento humano; d) avaliar determinantes e fatores de risco relacionados aos agravos da saúde e sua interação com o ambiente físico e social; e) aplicar os conhecimentos dos princípios da ação e uso dos medicamentos. Enade – A Prova de Medicina

35. Habilidades & Competências examinadas no contexto da área de Medicina pela prova do ENADE 2010. EIXO INTEGRADOR III: a) interpretar dados de anamnese valorizando aspectos econômicos, sociais e ocupacionais; b) analisar dados de exame físico geral e especial, incluindo o estado mental; c) aplicar os procedimentos diagnósticos, clínicos e complementares, para definir a natureza do problema; d) executar estratégias diagnósticas e terapêuticas apropriadas para promoção da saúde, utilizando os princípios da medicina baseada em evidências. Enade – A Prova de Medicina

36. Análise dos Resultados Quantitativos • Especial atenção a eventuais resultados negativos na avaliação do Enade devem ser dados a cursos mantidos por departamentos ou unidades que se destacam noutros modos de avaliação (ACG, avaliações da CAPES, etc.). • É possível que esteja sendo descuidada a atenção com o ensino de graduação em detrimento de outras atividades, como a pesquisa, requerendo ações corretivas, em especial, da parte dos coordenadores de cursos e dos diretores de unidades. • Há casos em que a ausência de estudantes em grande número ou, inclusive, o boicote prejudicaram as avaliações. Mas esses casos são de conhecimento do Inep e é dado tratamento especial a eles na avaliação geral do SINAES.

37. Análise dos Resultados Quantitativos • Especial atenção deve ser dada à leitura dos relatórios do desempenho do curso no tocante a conteúdos em que os estudantes apresentaram maiores dificuldades na prova. • Ainda, deve-se ler com atenção o resumo técnico geral, que faz um apanhado geral do que foi o Enade, em todas as áreas do conhecimento, trazendo dados importantes também sobre o perfil sócio-econômico dos estudantes • Deve-se examinar também os relatórios de desempenho de área, que resumem a leitura do desempenho dos estudantes em cada área de conhecimento avaliada pelo Enade.

38. O MEC disponibiliza 3 índices para acompanhamento da Qualidade da Educação Superior pela sociedade: Graduação:Conceito Preliminar de Curso de graduação (CPC),divulgado peloInep, e composto por 3 parcelas: Conceito-geral do Enade Conceito-IDD do Enade “Insumos” ofertados pelo curso Pós-Graduação: Conceito dos Programas de Pós-Graduação (divulgado pela CAPES). Institucional:Índice Geral de Cursos (IGC), referente à IES, consolidado e divulgado peloInep, e calculado como a média entre a média dos CPC’s de seus cursos de graduação e a média dos conceitos dos seus programas de pós-graduação. Como o MEC utiliza a avaliação do ENADE ?

39. O Conceito Preliminar de Curso – CPC é gerado para cada curso da IES, a partir dos 3 índices abaixo, com a seguinte ponderação: Nota do Enade (peso 15%); IDD do Enade (peso 30%); IDD das condições de oferta do curso - “Insumos” (peso 55%) Parte dos dados referentes a esses “insumos” advém do Questionário Sócio-Econômico aplicados aos estudantes que prestam o Enade. O CPC também é transformado em “Conceito”, numa escala de valores de 1 a 5 Geração do CPC

40. Portanto, o preenchimento do Questionário Sócio-Econômico (QSE), pelo estudante, é uma parte fundamental da avaliação do Enade, ao lado da execução da prova em si. Neste QSE, o estudante irá informar ao Inep dados sobre a sua condição familiar e estudantil, mas também iráavaliar elementos importantes do seu curso e da sua IES O QSE é preenchido através do próprio sítio do Enade (www.inep.gov.br), em período de cerca de 30 dias antes da data de aplicação do exame Geração do CPC

41. O Índice Geral de Cursos – IGC de uma IES é gerado a partir de 2 índices, com a seguinte ponderação: Índice referente ao valor médio dos CPC dos cursos de graduação da IES, denominado “conceito médio da graduação” Índice referente ao valor médio das notas dos programas de pós-graduação Ambos os índices são ponderados pelo número de estudantes em cada curso de graduação ou programa de pós-graduação. Também este índice IGC é convertido em “conceito” conforme a classificação numa escala de valores de 1 a 5. Geração do IGC

42. Primeiramente, verificar quais são as instituições ou quais de seus cursos necessitam melhorar urgentemente as suas condições de oferta, para atingirem um patamar minimamente aceitável. Em segundo lugar, oferecer à sociedade subsídios para melhor exercer o seu direito de escolha a cursos e instituições de melhor qualidade. A atribuição ao Estado da função de zelar pela Qualidade da Educação é definida pela própria Constituição Federal. Para poder exercer esta função constitucional, o Estado avalia e regula a Educação. Qual o propósito dos índices de avaliação CPC e IGC?

43. O que acontece com cursos e IES cujo desempenho não foi considerado satisfatório pelo MEC ? O MEC irá exigir que passem por um processo de melhoria, sob supervisão da SESu (órgão do MEC responsável pela regulação da Educação Superior), a fim de continuarem credenciados (IES) ou reconhecidos (cursos) oficialmente pelo Estado. Propósito básico do processo supervisório é suscitar a melhoria da qualidade !! (Fechar cursos e descredenciar IES não é o foco)! Como o Estado exerce a função de supervisão ?

44. O processo de supervisão baseia-se em... Assinatura de termo próprio entre o MEC e a IES pelo qual esta se compromete, dentro de um determinado prazo, a prover as melhorias que tenham sido apontadas pela comissão de avaliadores e que tenham sido acatadas pelo órgão regulador (SESu). Visita inicial de avaliadores dos órgãos que executam a avaliação pelo MEC para averiguação das condições de oferta in loco. Realização denova(s) visita(s)de comissão (comissões) de avaliadores paraverificação do cumprimentodo termo acordado. Como é efetuado o processo de supervisão ?

45. As informações de interesse geral sobre o Enade podem ser encontradas no Manual do Enade. O Inep disponibiliza este manual e as portarias referentes ao Enade pelo site www.inep.gov.br, bem como a atualização das informações de interesse geral mais importantes. Informações específicas sobre a inscrição e a seleção de estudantes para a prova são acessíveis através do siteenade.inep.gov.br. Normalmente, este último site requer senha própria para acesso. Enade: informações gerais

46. O estudante receberá, no endereço de domicílio, o seu cartão individual de informação, onde constará o local de prova e as indicações sobre o modo como o mesmo deverá se identificar aos fiscais de prova para a efetuação da mesma. O endereço domiciliar e as informações sobre o documento de identidade são aquelas constantes no Portal do Aluno da UFRGS. O Cartão de Informação do Estudante conterá instruções para a correção de dados pessoais. O estudante deverá preencher o formulário com as correções cadastrais e apresentá-lo ao fiscal de prova, no dia e local determinado para o Exame. Os fiscais de prova também fornecerão o instrumento apropriado à correção de dados pessoais, caso seja necessário. Enade: informações gerais

47. Os estudantes selecionados ou optantes pela participação no Enade serão distribuídos para a prova em obediência ao município de funcionamento do curso/habilitação, exceto para os casos previstos na Portaria Normativa regulatória do Enade, desde que a IES tenha informado ao Inep, em prazo hábil. Estudantes de mais de um curso de graduação: se o estudante concluinte ou ingressante de mais de um curso de graduação a ser avaliado pelo Enade 2010 for selecionado para mais de um curso, deverá optarpor uma das provas e comparecer ao local determinado no respectivo Cartão de Informação do Estudante. Após a realização da prova, o estudante deve enviar correspondência ao Inep detalhando os cursos e as IES que freqüentou, acompanhada de cópia dos respectivos Cartões de Informação do Estudante. Enade: informações gerais

48. O conjunto das informações obtidas pela realização do Enade deve servir como ponto de partida para verificação da qualidade dos cursos oferecidos pelas IES do Sistema Federal de Educação Superior A partir de seus resultados, espera-se que a comunidade acadêmica repense os fundamentos da Educação Superior em geral Para o Governo Federal, o Enade é um valioso instrumento de avaliação da Educação Superior, utilizado para o estabelecimento (e as correções cabíveis) das políticas públicas com relação à Educação em geral no país Conclusões Gerais

49. Conclusões Gerais • O conjunto das informações obtidas pela realização do Enade deve servir como ponto de partida para verificação da qualidade dos cursos oferecidos pelas IES do Sistema Federal de Educação Superior • A partir de seus resultados, espera-se que a comunidade acadêmica repense os fundamentos da Educação em geral • Para o Governo Federal, o Enade é um valioso instrumento de avaliação da Educação Superior, utilizado para o estabelecimento (e as correções cabíveis) das políticas públicas com relação à Educação em geral no país

50. Para informações mais específicas sobre o Enade, consulte a FAQ no sítiowww.ufrgs.br/sai_________________________BOA PROVA A TODOS !!!