Isabel Ortigão Departamento de Educação LAED / PUC-Rio

1. O Programa Internacional de Avaliação de EstudantesQual sua Contribui para a Avaliação da Educação Brasileira? Isabel Ortigão  Departamento de Educação LAED / PUC-Rio

2. O que é o Pisa? Quem participa do PISA? • O que é avaliado no PISA? • Qual é o desenho de Avaliação do PISA? • Alguns resultados • Exemplo de itens

3. O que é o PISA e quem Participa • Projeto Internacional de Avaliação da Educação, desenvolvido pela Organização para Cooperação e Desenvolvimento Econômico (OCDE) • No ano de 2000 participaram 32 países: 28 países da OCDE • Em 2003: 40 países (30 da OCDE)

4. Países Participantes do PISA

5. O que é avaliado no PISA • O PISA avalia alunos com idade entre 15 anos e 3 meses e 16 anos e 2 meses • Aplica testes de Leitura, de Matemática e de Ciências • 2000  o foco principal foi em Leitura • 2003  foco principal foi em Matemática • 2006  foco principal será em Ciências

6. Até que ponto os alunos próximos do término da educação obrigatória adquiriram conhecimentos e habilidades essenciais para a participação efetiva na sociedade? • As escolas estão preparando os alunos para enfrentarem os desafios do futuro?

7. O PISA busca focalizar conhecimento em seu contexto social de uso • Visa medir o desempenho dos alunos além do currículo escolar nas áreas avaliadas • Nas três áreas, o termo “letramento” descreve um amplo espectro de capacidades. As áreas avaliadas são definidas nos seguintes termos: • o conteúdo ou estrutura de conhecimento que os alunos precisam adquirir; • os processos que devem ser utilizados e os contextos nos quais o conhecimento e as habilidades são aplicados

8. Leitura  Português ou Inglês ou Espanhol ou etc. • Leitura como habilidade básica de interpretação de textos • Diversidade Textual

9. O letramento em Leitura é a compreensão, o uso e a reflexão sobre textos escritos para alcançar objetivos pessoais, desenvolver o conhecimento e o potencial individuais e participar plenamente na vida em sociedade. O letramento em Matemática é a capacidade individual de identificar e compreender o papel da Matemática no mundo, de fazer julgamentos bem fundamentados e de se envolver com a Matemática de maneira a atender às suas necessidades atuais e futuras como um cidadão construtivo, consciente e reflexivo.

10. O letramento em Ciências é a capacidade de usar o conhecimento científico para identificar questões e tirar conclusões baseadas em evidências, de modo a compreender e a ajudar na tomada de decisões sobre o mundo natural e as mudanças ocasionadas pelas atividades humanas

11. Exemplo Leitura

12. Subescala: identificação/localização de informação no texto. Nível de Proficiência: 2 Objetivo da questão: desenvolver uma interpretação: integrar informações do texto e do gráfico Tipo de questão: múltipla escolha. O aluno deveria optar pela alternativa A: "Cerca de dois metros", que corresponde à profundidade atual do Lago Chade. Desempenho dos alunos brasileiros neste item: Alternativa A(correta): 25,27% Alternativa B: 7,70% Alternativa C: 14,20% Alternativa D: 15,64% Alternativa E: 29,96% Não respondeu: 6,86%

13. Exemplo - Ciências UNIDADE: DIÁRIO DE SEMMELWEIS ‘‘Julho de 1846. Na próxima semana, assumirei o cargo de médico-chefe na Ala 1 da Maternidade do Hospital Geral de Viena. Fiquei assustado quando soube sobre a percentagem de pacientes que morrem nesta clínica. Este mês não menos do que 36 das 208 mães morreram, todas de febre puerperal. Dar à luz uma criança é tão perigoso quanto ter uma pneumonia aguda." Estas linhas do diário de Ignaz Semmelweis (1818 -1865) ilustram os efeitos devastadores da febre puerperal, uma doença contagiosa que matava muitas mulheres depois do parto. Semmelweis coletou dados sobre o número de mortes devidas à febre puerperal na primeira e na segunda ala (veja o diagrama).

14. Critérios de Correção Suponha que você seja Semmelweis. Cite uma razão (baseada nos dados que Semmelweis coletou) que explique por que é improvável que a febre puerperal seja provocada por terremotos CRÉDITO TOTAL: Refere-se a diferença entre o número de mortes em ambas as guerras CRÉDITO PARCIAL: Refere-se ao fato de que terremotos não ocorrem frequentemente ou refere-se ao fato de que terremotos também afetam pessoas fora da guerra ou refere-se ao fato de quando terremotos ocorrem, os homens não contraem febre puerperal SEM CRÉDITO: Refere-se somente ao fato de que terremotos não causam febre ou refere-se à outras causas de febre

15. Análise Gráfica de Item dificuldade do item: 0.946 porcentagem de acertos dos membros da OCDE: 29

16. Febres difíceis de curar ainda são um problema nos hospitais. Muitas medidas rotineiras servem para controlar este problema. Dentre estas medidas está a lavagem de lençóis em alta temperatura.Explique por que a alta temperatura (na lavagem dos lençóis) ajuda a reduzir o risco de os pacientes contraírem a febre. dificuldade do item: -0.900 porcentagem de acertos dos membros da OCDE: 78.9

17. Muitas doenças podem ser curadas utilizando-se antibióticos. Entretanto, a eficácia de alguns antibióticos contra a febre puerperal diminuiu nesses últimos anos. Qual é a razão disso? dificuldade do item: -0.494 porcentagem de acertos dos membros da OCDE: 62.2

18. Desenho da Avaliação do PISA • Focaliza alunos de determinada faixa etária • Testa alunos desta faixa a cada três anos • Cada exercício de avaliação permite comparações de habilidades de alunos de diferentes países • Permite um retrato das habilidades de alunos de um país, dentro de um referencial internacional • Comparações dentro de um mesmo país ao longo do tempo indicam tendências

19. Estudantes brasileiros tiveram particular dificuldade com textos longos, textos não contínuos e linguagem figurada. • Viés cultural dos testes internacionais ou viés dos currículos brasileiro em relação ao que importa?

24. A Distribuição da Elite Econômica nos Níveis de proficiência em Leitura do PISA

25. Leitura, Matemática, Ciências e Gênero

26. Desempenho em leitura e indicadores econômicos

28. Qual o impacto das condições escolares nos desempenhos dos estudantes? Exemplo: Exploração sobre as diferenças na proficiência para alunos do ensino médio de nível socioeconômico e cultural (NSEC) distintos, freqüentando escolas com clima disciplinar degradado, médio e bom. A variável clima disciplinar foi construída a partir de informações coletadas sobre: a freqüência de interrupções nas aulas por questões disciplinares, o quanto a concentração dos alunos é prejudicada por atitudes de colegas, o respeito declarado pelos alunos a seus professores, com que freqüência os alunos declaram ‘matar aulas’ e a relação de alunos com álcool e drogas

29. 425 420 415 NSEC baixo 410 405 NSEC médio 400 NSEC alto 395 390 385 Clima Clima Clima disciplinar disciplinar disciplinar degradado médio bom Como podemos interpretar esse gráfico?

30. Conclusões • Situação social importa • Resultados brasileiros muito ruins, não só nas escolas com mais dificuldades de funcionamento • Escola importa • Currículo importa