Propostas e Programas de Avaliação da Educação Básica

1. Propostas e Programas de Avaliação da Educação Básica Luiza Massae Uema Inep/MEC Fórum Permanente de Desafios do Magistério Campinas, setembro de 2006

2. Objetivo • O que tem sido feito no campo da avaliação da educação básica • Avaliação em larga escala – uma perspectiva • Reflexão sobre o uso de resultados – alcance e limitações

3. Perspectiva da Avaliação nas Escola Em sala de aula • Os estudantes são avaliados com base em exames preparados por seus professores • Os professores utilizam tais exames para determinar aqueles que possuem condições de avançar no sistema • O baixo desempenho do estudante é, freqüentemente, considerado de responsabilidade do estudante e de suas famílias

4. Outra perspectiva - avaliações em larga escala • Externas, com foco nos alunos, nas escolas, nas redes ou nos sistemas • Metodologia e testes padronizados • População de grande porte (em larga escala), representada por amostra, sub-populações • Proporciona estudos que produzem macro informações Coleman (1966)

5. As Avaliações em Larga Escala • Brasil: especialmente nas décadas de 90 e atual – proliferação de avaliações em larga escala. • Vários tipos de avaliação e objetivos: • Auto avaliação • Credenciamento • Certificação • Diagnóstico • Accountability

6. As Avaliações em Larga Escala Auto Avaliação Conhecer a situação da própria aprendizagem, possibilitando também, o posicionamento com relação a outros participantes do exame

7. Avaliações em larga escala Exemplo: Exame Nacional do Ensino Médio - ENEM Em 2005 • Dos 2.199.637 participantes, 1,1 milhão são concluintes (52% dos concluintes do ensino médio) • Das 22.918 escolas de ensino médio que constam do Censo Escolar, 22.014 tiveram ao menos um aluno concluinte que participou do exame (96,05%)

8. Avaliações em larga escala Credenciamento Avaliação de resultados com vistas à classificação para seleção visando ao ingresso no mercado de trabalho ou em instituições ensino superior Exemplo: ENEM • 490instituições de ensino superior usam o resultado do Enem no critério de seleção de candidatos a seus cursos de graduação • - ProUni

9. Avaliações em larga escala Certificação Instrumento que visa a formalizar, conforme a legislação educacional vigente, as competências e habilidades individuais desenvolvidas Exemplo: Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos – ENCCEJA Objetivo:aferir conhecimentos e habilidades referentes à conclusão do ensino fundamental e médio

10. Avaliações em larga escala Diagnóstico Levantamento da situação em determinado momento com vistas à formulação, implementação e avaliação de processos ou políticas educacionais Exemplo: • Sistema Nacional de Avaliação da Educação Básica – SAEB • Avaliação Nacional do Rendimento Escolar - Prova Brasil

11. Avaliações em larga escala Diagnóstico • Brasil: Surgimento entre meados das décadas de 80. • O MEC inicia as discussões sobre uma política de suporte à melhoria da qualidade do ensino. • Promove algumas experiências piloto de avaliação dando ensejo para a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.

12. SAEB • Dois pressupostos básicos: • O rendimento dos alunos reflete a qualidade do ensino ministrado; • Diferentes fatores “explicam” a qualidade do ensino. • Avaliação do SAEB mais do que um teste sobre os alunos é a conjugação de testes de rendimento com questionários sobre fatores associados

13. SAEB • Instrumentos padronizados e de caráter amostral. • Serve para acompanhar a evolução do desempenho dos estudantes ao longo tempo. • Possibilita a comparação do desempenho médio dos estudantes entre diferentes estratos • Proporciona estudos que buscam identificar os determinantes do desempenho dos estudantes. Relatório Coleman (1966)

14. A Institucionalização do SAEB • Com redemocratização – reflexos na educação • Forte ampliação do acesso à escola, porém ao longo do processo: • a impressão de que os resultados que estavam sendo gerados não pareciam ser exatamente o que se desejava. • O País faz um grande esforço mas ainda é necessário investir em qualidade. Mas o que isto significa exatamente ? • sistema nacional de avaliação poderia trazer informações úteis sobre o que estaria sendo gerado no sistema educacional e o que seria responsável pelos resultados obtidos

15. A Institucionalização do SAEB • No governo federal, ao final da década de 80, o MEC • inicia as discussões sobre uma política de avaliação do ensino fundamental, • promove algumas experiências pilotos, • motivando a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992. • Apesar de algumas dificuldades: • Os preconceitos em relação a métodos e técnicas de avaliação de aprendizagem, especialmente os em larga escala. • O escasso domínio de competência e raras oportunidades de formação acadêmica neste campo.

16. Evolução Após mais de uma década • Foram realizados sete ciclos de avaliação • Avanços metodológicos importantes, como a introdução da TRI • Teoria que permite comparabilidade • Desenvolveram-se planos amostrais que conferem maior validade aos resultados • O SAEB consolida-se como um instrumento que garante qualidade e a confiabilidade das avaliações realizadas.

17. Forma dos Resultados Público alvo: governantes e pesquisadores • Publicações com caráter muito técnico, o que inviabilizava a apropriação dos resultados no contexto do quotidiano das escolas • Na ausência de uma proposta curricular completa e objetiva: utilização das matrizes de referência do SAEB como grade curricular • Demanda por resultados das escolas e dos alunos individualmente

18. Avaliações em larga escala - SAEB Proficiência Média por Série e Disciplina– SAEB/INEP Língua Portuguesa

19. Avaliações em larga escala - SAEB Proficiência Média por Série e Disciplina– SAEB/INEP Matemática

20. Alcance • Para além dos números • Desempenho – variável dependente • Fatores associados • Efeito escola • Instrumento de gestão

21. Contribuição • Avaliação evoluiu favoravelmente nos últimos anos • Percebe-se a consolidação de uma importante cultura depois das resistências ocorridas nos momentos iniciais • Dissemina-se a compreensão dos alcances, limites e complementaridade entre os diferentes tipos de avaliação em larga escala • debate iniciado nos últimos anos é dar um salto, agregando à perspectiva da avaliação em larga escala o estabelecimento de padrões mínimos de desempenho a fim de que a informação se torne mais útil e atinja mais a fundo os aspectos pedagógicos do desempenho.

22. Limites • Não perfeito, vários aperfeiçoamentos possíveis e muitas limitações analíticas (o que é avaliado) • Não poderia responder a todas as necessidades de informação, porque não foi construído para • apreender toda a diversidade e singularidade das escolas e sistemas de ensino • todos os requisitos informacionais necessários para apurar a qualidade, ou a evolução da qualidade do(s) sistema(s) educacional(is)

23. Perspectivas • Com esse pano de fundo, dentro do INEP: i) Aprimoramento metodológico ii) Comparações Internacionais : PISA, SERCE iii) estimulo a difusão do SAEB e avaliação: Oficinas iv) criação e fortalecimento de sistemas próprios de avaliação – parcerias (metodologia, itens, aplicações etc.) e rede nacional de avaliação v) aprimoramento de pesquisas sobre fatores associados: Condições de oferta Gestão e processos pedagógicos, Condições de alfabetização etc.

24. Avaliações em larga escala Accountability • Avaliação universal com divulgação dos resultados por escolas (accountability) • O objetivo é tornar escolas, professores, dirigentes do sistema e estudantes responsáveis pelo desempenho dos alunos. • E, assim, mobilizar dirigentes educacionais, professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.

25. Avaliação universal com divulgação dos resultados por escolas (accountability) • Marco nos sistemas de accountability: Inglaterra (1988) • Centralização de currículo, • maior liberdade para escolha da escola, • maior liberdade para a escola gerir os recursos, • definição de critérios de desempenho nacional, • divulgação dos resultados.

26. Accountability nas Escolas • Um sistema de accountability envolve: • Exames padronizados em caráter universal • Ampla divulgação dos resultados • Pode ter, ou não, recompensas e sanções atreladas aos resultados. • Diferentes sistemas diferem • no tipo de exame utilizado, • na forma de divulgação dos resultados e • nos esquemas de prêmios/sanções subjacentes.

27. Accountability nas Escolas • Polêmica • Defensores: avaliação da eficiência melhora efetiva e rapidamente a qualidade do ensino. • Críticos: pode ter “efeitos” indesejáveis pela pressão demasiada sobre todos os segmentos envolvidos no processo de ensino.

28. Argumentos favoráveis • Ao tornar os resultados das escolas mais transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino. • Melhorar a qualidade de ensino pode exigir mudanças de práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança. • Maior transparência aumenta a pressão social pelas mudanças.

29. Argumentos favoráveis • A divulgação dos resultados pode desfazer certas percepções equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias. • Um sistema de prêmios/sanções pode aumentar os incentivos para a melhoria.

30. Argumentos contrários • Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. • Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. • No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. • No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

31. Argumentos contrários • Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. • Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. • No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. • No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

32. Argumentos contrários • Uma vez que as escolas são cobradas pelo desempenho dos alunos, elas podem buscar meios não desejados de aumentar a proficiência nos exames: • Estreitamento do currículo • Exclusão dos alunos de baixo rendimento

33. Avaliação e Rendição de Contas • Estudos mostram que: • Sistemas de rendição de contas em si levam a aumentos na proficiência de alunos • Sistemas de incentivo – dependem dos desenhos • Não evidencias conclusivas sobre exclusão • Por outro lado • Responsabilização • Envolvimento da sociedade no debate/definição políticas públicas • Transparência – A Informação é um direito do cidadão • diminuição de posicionamento paternalista

34. A Prova Brasil • Experiência Nova em termos de amplitude nacional: Prova Brasil (ANRESC) (existem experiências similares nos sistemas) • amplia o escopo da avaliação, deixa de ser o sistema e passa a ser unidade de ensino, • Possibilidade de mudar o foco: apesar de diagnóstico ainda ser ponto chave, a ele pode ser agregada uma nova e importante dimensão – rendição de contas (accountability) • Prova Brasil aplicada em 2005 • Universal (não amostral) – todas as escolas publicas, urbanas com mais de 30 alunos na serie • Metodologia igual a SAEB – comparabilidade. • Cada unidade recebe seu resultado de modo a ser possível se comparar com outras escolas • Questionário simplificado (só alunos)

35. Divulgação dos resultados • As escolas participantes recebem: • seus próprios resultados, com a média geral de proficiência de seus alunos e a distribuição dos alunos ao longo da escala • médias do próprio município, estado e do país, referente às escolas que participaram da Prova Brasil • livreto com informações técnicas sobre a Prova Brasil

36. Material de Divulgação • cartaz com informações gerais sobre o exame e a escala para avaliação dos resultados em conjunto com a comunidade escolar • informativo, com indicadores específicos da escola extraídos do Censo Escolar, e médias das demais escolas que participaram do Prova Brasil • Cada gestor municipal e estadual também recebe os mesmos dados