Universidade Federal do Rio Grande do Sul - UFRGS Secretaria de Avaliação Institucional - SAI

1. Enade 2010- A Realização da Prova Universidade Federal do Rio Grande do Sul - UFRGS Secretaria de Avaliação Institucional - SAI secsai@sai.ufrgs.br secretaria@sai.ufrgs.br

2. Objetivos da Apresentação • Apresentar informações de interesse à comunidade acadêmica sobre o Exame de Nacional de Desempenho de Estudantes – Enade • Divulgar informações sobre a realização das provas das áreas que participam do Enade 2010 • Discussão sobre a natureza da avaliação dos cursos através do Enade

3. Por que o governo avalia a Educação ? • Trata-se de uma obrigação de Estado implicitamente prevista na Constituição, pois é função do mesmo zelar pela Qualidade da Educação • É também um compromisso de Estado, assumido pelo país diante de organismos internacionais (ONU), atividade afeta ao Sistema Educacional do país • Não se trata, portanto, de imposição de Programa de Governo • Aplica-se a todos os níveis de Ensino • Educação envolve Ensino, Pesquisa e Extensão • Os instrumentos de avaliação são definidos em legislação

4. Como é feita esta avaliação na Educação Superior ? • Para as instituições e estudantes abrangidos pelo Sistema Federal de Educação, através do SINAES - Sistema Nacional de Avaliação da Educação Superior • Lei Federal nº 10.861/04 • Sistema Federal de Educação Superior: compõe-se das instituições públicas federais e de todas as instituições privadas (estaduais não fazem parte) • Foco no subsídio à captação de informações para geração de políticas educacionais. • Respeito à diversidade das instituições atuantes em educação superior (IES). • Integração da Avaliação da Educação Superior em todos os seus níveis (graduação e e pós-graduação).

5. Quais os instrumentos de avaliação do SINAES ? • Formas de avaliação da Educação Superior no SINAES: • Avaliação institucional • Auto-avaliação institucional • Avaliação institucional externa (avaliadores Inep) • Avaliação da Graduação: • ACG - avaliação externa de cursos de graduação (avaliadores Inep) • ENADE(avalia os cursos indiretamente, através da avaliação direta dos alunos) • Avaliação da Pós-Graduação: • Avaliação de Programas de Pós-Graduação (avaliadores CAPES)

6. ENADE - Fundamentos • Legislação: • O ENADE está previsto na própria lei do SINAES • Anualmente, são editadas portarias regulatórias específicas do exame daquele ano, estabelecendo prescrições sobre itens tais como os seguintes: • Procedimentos que o MEC/Inep adotará para a prova do ano • Definição das áreas que serão examinadas no ano • Estabelecimento das comissões de assessoramento das diversas áreas que prestarão o exame

7. ENADE - Fundamentos • Legislação (portarias / continuação): • Estabelecimento das comissões de assessoramento das diversas áreas que prestarão o exame • Essas comissões, por sua vez, estabelecem as prescrições da prova de cada área, a qual será, depois, elaborada por uma empresa contratada para esta finalidade e também responsável pela sua aplicação em todo o país • Observação importante: • As comissões de assessoramento somente têm acesso à prova após a sua aplicação aos estudantes • Até esta aplicação, as comissões vêem apenas algumas “questões-espelho”

8. ENADE - Fundamentos • Diferenças entre os princípios de avaliação do ENADE e do ENC (Provão): • ENADE • avaliação dinâmica: avalia o processo (e o produto) • é mais justo com a IES que recebe alunos menos qualificados • permite avaliar um número bem maior de cursos, em menos tempo • ENC (Provão) • avaliava somente o produto (avaliação estática) • é mais favorável à IES que recebe o estudante de nível médio mais bem preparado

9. ENADE- nova proposta de avaliação por exame • Componente pedagógica: • Avaliação doganho de valor(“análise de mudança”)obtido pela exposição do estudante à Educação provida pela IES • Tem de ser avaliado o mesmo grupo de estudantes na condição inicial de ingressantes e na condição final de concluintes • Avaliação do processo e do produto final • Componente psicométrica: • Provas têm de ser pautadas pelo princípio da comparabilidade • Necessidade de avaliar a entrada e a saída do processo • Intervalo de tempo padrão: 3 anos

10. ENADE – “Análise de Mudança” Ingressantes 2007 Concluintes 2010 Desenvolvimento de Habilidades Processo de Aprendizado Aquisição de Competências Ação da IES ? Qual a efetiva influência da educação recebida pelo estudante no processo de aprendizado ?

11. ENADE – resultados • O Enade provê os seguintes resultados: • Nota do estudante: é secreta e é fornecida apenas ao estudante, mediante senha, não sendo divulgada publicamente ou utilizada para qualquer finalidade • Nota do curso, calculada de forma relativa (ao desempenho geral de todos os participantes da prova num determinado tipo de curso) • Esta nota é transformada num conceito, numa escala de 1 a 5 (Conceito do Curso) • Projeção esperada para a nota do curso, calculada através de um índice, o IDD • Este IDD é transformado, também, num conceito, numa escala de 1 a 5 (Conceito-IDD) • Avaliação do questionário sócio-econômico para o curso • Avaliação do questionário preenchido pelo coordenador do curso

12. ENADE – Resultados: o conceito do curso O conceito foi dado pela classificação assim estabelecida (prevista na lei do SINAES):

13. ENADE – Índice IDD • O Índice de Diferença entre os Desempenhos Observado e Esperado (IDD) foi introduzido no Enade 2005 pelo Inep • Este índice é avaliado por área de conhecimento (ou por grupo de cursos, no caso das Engenharias) • Este índice toma por base os estudantes de melhor nível de desempenho, sendo menos suscetível à “contaminação” pelos fator ausência à prova (ou ao fator boicote – seja parcial ou integral) • Um conceito IDD maior significa que o curso atingiu um resultado mais compatível com a projeção esperada de resultados para o perfil dos estudantes do curso

14. ENADE – Índice IDD • Como é feita a avaliação do desempenho esperado dos estudantes (e dos seus cursos) ? • Através da projeção dos resultados esperados para os concluintes a partir... • ... do desempenho dos ingressantes do curso • ... do grau de instrução de seus pais • (ambas as variáveis apresentaram, nas séries históricas, inclusive, ENC [Provão], alta correlação com os resultados de estudantes concluintes)

15. ENADE – Quem deve prestar o exame • Estudantes de final de primeiro ano dos cursos (ingressantes): • aqueles que até o dia 1º/ago/2010 haviam concluído entre 7% e 22% da carga horária mínima do currículo do curso • Estudantes de último ano dos cursos (concluintes): • aqueles que até o dia 1º/ago/2010 haviam concluído pelo menos 80% da carga horária mínima do currículo do curso ou que sejam formandos no segundo semestre de 2010

16. ENADE – Detalhes da Prova • O mesmo exame é aplicado tanto aos ingressantes, como aos concluintes de cada curso • São 40 questões, a resolver em 4h00min. • Há uma parte da prova (primeiras 10 questões), comum a todos os estudantes que prestam o exame, independentemente do seu curso: esta parte é uma avaliação de formação geral, tendo peso de 25% sobre a nota

17. Há tanto questões discursivas, quanto de múltipla escolha, podendo ambas serem de grau baixo,médioouelevadode dificuldade. Para cada questão, são especificados conteúdos, habilidades e competências a serem examinados. O peso relativo de cada tipo de questão na prova varia de acordo com a deliberação de cada comissão de assessoramento, não podendo, porém, ultrapassar os 5% por questão. ENADE – Elementos do desenho da Prova

18. ENADE – Comparecimento à Prova • O comparecimento do estudante selecionado é obrigatório para que a prova tenha validade estatística, já que a nota é relativa (e não, absoluta) • Por isso, a lei obriga ao comparecimento (para estudantes selecionados)! • Por outro lado, estudantes que realizarem voluntariamente o Enade (sem terem sido selecionados), não contam para os índices do seu curso...

19. E se o estudante não comparecer ? O estudante fica com situação irregular junto ao Inep, pois o Enade é um componente curricular obrigatório de todos os cursos superiores, hoje, no país! Sem realizar algum componente curricular, o curso do estudante não estará completo, e ele, portanto, não poderá ser diplomado! ENADE – Comparecimento à Prova

20. ENADE 2010: Cursos (áreas) participantes Agronomia Biomedicina Educação Física Enfermagem Farmácia Fisioterapia Fonoaudiologia Medicina Medicina Veterinária Nutrição Odontologia Serviço Social Terapia Ocupacional Zootecnia

21. ENADE 2010: Cursos (áreas) participantes Cursos Superiores de Tecnologia (Tecnólogos): Agroindústria Agronegócios Gestão Ambiental Gestão Hospitalar Radiologia

22. Enade – Fundamentos Psicopedagógicos • O Enade é baseado nas Diretrizes Curriculares Nacionais (DCN) dos cursos (inclusive, para efeito de divisão das áreas em que são realizadas as diferentes provas) • As DCN estão baseadas em conceitos da Psicopedagogia • A atividade docente é baseada no ato de avalizar o processo cognitivo por parte do estudante, isto é, em se “garantir que o estudante, efetivamente, aprendeu” • Aprender, aqui, significa desenvolver atitudes, habilidades e competências no eventual contexto da assimilação de conteúdos

23. Enade – Fundamentos Psicopedagógicos • Por isso, é necessário conhecer algumas definições subjacentes à prova, advindas da Psicopedagogia: • Atitude– predisposição à execução de alguma atividade com determinado padrão de recorrência. • Habilidade – domínio do uso do intelecto (eventualmente, agregado à destreza) de modo a executar tarefas específicas. • Competência– capacidade de execução de atividades compostas pela execução de várias tarefas (requerendo, portanto, a presença de múltiplas habilidades).

24. Enade – Fundamentos Psicopedagógicos Observações: • O desenvolvimento das habilidades supõe, em algum grau, o envolvimento emocional e está relacionado com a freqüência e a intensidade de treinamento. • É condicionante do aprendizado e da formação da competência. • A aquisição da competência está baseada no desenvolvimento das habilidades e relaciona-se com o domínio de métodos e técnicas efetivamente aprendidas pelo estudante. • O desempenho da competência está associado à presença da atitude. • Obs.: as atitudes, habilidades e competências a serem desenvolvidas nos cursos de graduação são habilidades acadêmicas, e não habilidades profissionais, as quais derivam do exercício profissional.

25. Enade – Fundamentos Psicopedagógicos • Então, como devem ser elaboradas as questões da prova do Enade de modo a se examinar se esse objetivo central do processo de aprendizado foi atingido ? • O conjunto das questões da prova é elaborado de modo a que todo o conjunto de habilidades e competências que se espera desenvolver nos egressos da área (previstas nas DCN) sejam cobertos • Os conteúdos de formação da área devem ser utilizados, pela banca que elabora a prova, na verdade, como um contexto do exame das habilidades e competências a ser efetuado.

26. Enade – Fundamentos psicopedagógicos A formação da competência supõe a assimilação de saberes e requer a existência de habilidades e a presença de atitudes previamente desenvolvidas Assimilação de Conhecimento + + Habilidade Atitude = Formação da Competência

27. Enade - A estrutura das diversas provas • Todas as provas, de todas as áreas, têm as mesmas 10 questões de Formação Geral (FG), com mesmo peso relativo sobre a nota final de estudantes e cursos de todas as áreas • O componente específico (CE) compõe as últimas 30 questões da prova de cada área, e sua configuração é deliberada pela comissão de assessoramento de cada área, dentro de regras pré-estabelecidas pelo Inep • Por exemplo, o número de questões discursivas ou o seu peso relativo sobre a nota do CE é pré-estabelecido pelo Inep

28. Enade - a estrutura das diversas provas • Itens que são definidos pela comissão de cada área: • Grau de dificuldade de cada questão • Conjunto de atitudes-habilidades-competências-conteúdos que serão examinados em cada questão da prova (restrito ao previsto pelas Diretrizes Curriculares Nacionais dos cursos da área) • Forma das questões que deverão ser elaboradas pela banca (ex.: escolha múltipla, asserção-razão, etc.) • Distribuição de conteúdos a serem examinados por partes do CE (ex.: grupo de últimas 5 questões diferenciadas por subárea dentro da área)

29. Análise dos Resultados Quantitativos • Especial atenção a eventuais resultados negativos na avaliação do Enade devem ser dados a cursos mantidos por departamentos ou unidades que se destacam noutros modos de avaliação (ACG, avaliações da CAPES, etc.). • É possível que esteja sendo descuidada a atenção com o ensino de graduação em detrimento de outras atividades, como a pesquisa, requerendo ações corretivas, em especial, da parte dos coordenadores de cursos e dos diretores de unidades. • Há casos em que a ausência de estudantes em grande número ou, inclusive, o boicote prejudicaram as avaliações. Mas esses casos são de conhecimento do Inep e é dado tratamento especial a eles na avaliação geral do SINAES.

30. Análise dos Resultados Quantitativos • Especial atenção deve ser dada à leitura dos relatórios do desempenho do curso no tocante a conteúdos em que os estudantes apresentaram maiores dificuldades na prova. • Ainda, deve-se ler com atenção o resumo técnico geral, que faz um apanhado geral do que foi o Enade, em todas as áreas do conhecimento, trazendo dados importantes também sobre o perfil sócio-econômico dos estudantes • Deve-se examinar também os relatórios de desempenho de área, que resumem a leitura do desempenho dos estudantes em cada área de conhecimento avaliada pelo Enade.

31. Como o MEC utiliza a avaliação do ENADE ? • O MEC disponibiliza 3 índices para acompanhamento da Qualidade da Educação Superior pela sociedade: • Graduação:Conceito Preliminar de Curso de graduação (CPC),divulgado peloInep, e composto por 3 parcelas: • Conceito-geral do Enade • Conceito-IDD do Enade • “Insumos” ofertados pelo curso • Pós-Graduação: Conceito dos Programas de Pós-Graduação (divulgado pela CAPES). • Institucional:Índice Geral de Cursos (IGC), referente à IES, consolidado e divulgado peloInep, e calculado como a média entre a média dos CPC’s de seus cursos de graduação e a média dos conceitos dos seus programas de pós-graduação.

32. Geração do CPC • O Conceito Preliminar de Curso – CPC é gerado para cada curso da IES, a partir dos 3 índices abaixo, com a seguinte ponderação: • Nota do Enade (peso 15%); • IDD do Enade (peso 30%); • IDD das condições de oferta do curso - “Insumos” (peso 55%) • Parte dos dados referentes a esses “insumos” advém do Questionário Sócio-Econômico aplicados aos estudantes que prestam o Enade. • O CPC também é transformado em “Conceito”, numa escala de valores de 1 a 5

33. Portanto, o preenchimento do Questionário Sócio-Econômico (QSE), pelo estudante, é uma parte fundamental da avaliação do Enade, ao lado da execução da prova em si. Neste QSE, o estudante irá informar ao Inep dados sobre a sua condição familiar e estudantil, mas também iráavaliar elementos importantes do seu curso e da sua IES O QSE é preenchido através do próprio sítio do Enade (www.inep.gov.br), em período de cerca de 30 dias antes da data de aplicação do exame Geração do CPC

34. Geração do IGC • O Índice Geral de Cursos – IGC de uma IES é gerado a partir de 2 índices, com a seguinte ponderação: • Índice referente ao valor médio dos CPC dos cursos de graduação da IES, denominado “conceito médio da graduação” • Índice referente ao valor médio das notas dos programas de pós-graduação • Ambos os índices são ponderados pelo número de estudantes em cada curso de graduação ou programa de pós-graduação. • Também este índice IGC é convertido em “conceito” conforme a classificação numa escala de valores de 1 a 5.

35. Qual o propósito dos índices de avaliação CPC e IGC? • Primeiramente, verificar quais são as instituições ou quais de seus cursos necessitam melhorar urgentemente as suas condições de oferta, para atingirem um patamar minimamente aceitável. • Em segundo lugar, oferecer à sociedade subsídios para melhor exercer o seu direito de escolha a cursos e instituições de melhor qualidade. • A atribuição ao Estado da função de zelar pela Qualidade da Educação é definida pela própria Constituição Federal. • Para poder exercer esta função constitucional, o Estado avalia e regula a Educação.

36. Como o Estado exerce a função de supervisão ? • O que acontece com cursos e IES cujo desempenho não foi considerado satisfatório pelo MEC ? • O MEC irá exigir que passem por um processo de melhoria, sob supervisão da SESu (órgão do MEC responsável pela regulação da Educação Superior), a fim de continuarem credenciados (IES) ou reconhecidos (cursos) oficialmente pelo Estado. • Propósito básico do processo supervisório é suscitar a melhoria da qualidade !! (Fechar cursos e descredenciar IES não é o foco)!

37. Como é efetuado o processo de supervisão ? • O processo de supervisão baseia-se em... • Assinatura de termo próprio entre o MEC e a IES pelo qual esta se compromete, dentro de um determinado prazo, a prover as melhorias que tenham sido apontadas pela comissão de avaliadores e que tenham sido acatadas pelo órgão regulador (SESu). • Visita inicial de avaliadores dos órgãos que executam a avaliação pelo MEC para averiguação das condições de oferta in loco. • Realização denova(s) visita(s)de comissão (comissões) de avaliadores paraverificação do cumprimentodo termo acordado.

38. Enade: informações gerais • As informações de interesse geral sobre o Enade podem ser encontradas no Manual do Enade. • O Inep disponibiliza este manual e as portarias referentes ao Enade pelo site www.inep.gov.br, bem como a atualização das informações de interesse geral mais importantes. • Informações específicas sobre a inscrição e a seleção de estudantes para a prova são acessíveis através do siteenade.inep.gov.br. • Normalmente, este último site requer senha própria para acesso.

39. Enade: informações gerais • O estudante receberá, no endereço de domicílio, o seu cartão individual de informação, onde constará o local de prova e as indicações sobre o modo como o mesmo deverá se identificar aos fiscais de prova para a efetuação da mesma. • O endereço domiciliar e as informações sobre o documento de identidade são aquelas constantes no Portal do Aluno da UFRGS. • O Cartão de Informação do Estudante conterá instruções para a correção de dados pessoais. O estudante deverá preencher o formulário com as correções cadastrais e apresentá-lo ao fiscal de prova, no dia e local determinado para o Exame. • Os fiscais de prova também fornecerão o instrumento apropriado à correção de dados pessoais, caso seja necessário.

40. Enade: informações gerais • Os estudantes selecionados ou optantes pela participação no Enade serão distribuídos para a prova em obediência ao município de funcionamento do curso/habilitação, exceto para os casos previstos na Portaria Normativa regulatória do Enade, desde que a IES tenha informado ao Inep, em prazo hábil. • Estudantes de mais de um curso de graduação: se o estudante concluinte ou ingressante de mais de um curso de graduação a ser avaliado pelo Enade 2010 for selecionado para mais de um curso, deverá optarpor uma das provas e comparecer ao local determinado no respectivo Cartão de Informação do Estudante. • Após a realização da prova, o estudante deve enviar correspondência ao Inep detalhando os cursos e as IES que freqüentou, acompanhada de cópia dos respectivos Cartões de Informação do Estudante.

41. Conclusões Gerais • O conjunto das informações obtidas pela realização do Enade deve servir como ponto de partida para verificação da qualidade dos cursos oferecidos pelas IES do Sistema Federal de Educação Superior • A partir de seus resultados, espera-se que a comunidade acadêmica repense os fundamentos da Educação Superior em geral • Para o Governo Federal, o Enade é um valioso instrumento de avaliação da Educação Superior, utilizado para o estabelecimento (e as correções cabíveis) das políticas públicas com relação à Educação em geral no país

42. Conclusões Gerais • O conjunto das informações obtidas pela realização do Enade deve servir como ponto de partida para verificação da qualidade dos cursos oferecidos pelas IES do Sistema Federal de Educação Superior • A partir de seus resultados, espera-se que a comunidade acadêmica repense os fundamentos da Educação em geral • Para o Governo Federal, o Enade é um valioso instrumento de avaliação da Educação Superior, utilizado para o estabelecimento (e as correções cabíveis) das políticas públicas com relação à Educação em geral no país

43. Para informações mais específicas sobre o Enade, consulte a FAQ no sítiowww.ufrgs.br/sai_________________________BOA PROVA A TODOS !!!