Prof. Ailton Resende de Paula Analista de Instrumento de Avaliação

1. Oficina de Apropriação e Divulgação de Resultados Prof. Ailton Resende de Paula Analista de Instrumento de Avaliação

2. Objetivo geral Analisar e interpretar os resultados do SEAPE/2012 para (re)planejamento das ações pedagógicas implementadas em sala de aula. Objetivos específicos • Refletir sobre a avaliação externa; • Analisar a Matriz de Referência; • Apresentar e analisar exemplos de itens; • Apresentar e interpretar a Escala de Proficiência, considerando os Padrões de Desempenho; • Analisar e interpretar os resultados da avaliação de Língua Portuguesa.

3. DE OLHO NA AVALIAÇÃO Vídeo 1

4. Avaliar é refletir sobre uma determinada realidade, a partir de dados e informações, e emitir um julgamento que possibilite uma ação.

5. Tipos de avaliações Somativa Formativa Diagnóstica Interna (pequena escala) Externa (larga escala) SAERO

6. Avaliação Educacional Externa

7. Conceitos relacionados à Avaliação Educacional Externa • Os Testes de Proficiência têm como objetivo aferir habilidades que são esperadas dos estudantes em diferentes etapas de escolarização. • Essas habilidades são descritas por descritores. • Um conjunto de descritoresformam uma Matriz de Referência. • A Matriz de Referência apresenta o objeto de uma avaliação.

8. Matriz de Referência para Avaliação • Elemento base de origem dos testes utilizados no SEAPE. Garante legitimidade e transparência à avaliação. • É formada por um conjunto de descritores que, agrupados em tópicos/temas, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala. • Não abarca todo currículo escolar. Por isso, não pode ser confundida com parâmetros curriculares, nem com o conteúdo a ser trabalhado pelo professor em sala de aula.

9. Concepções que fundamentam a construção das matrizes de referência de Língua Portuguesa • Língua: interação entre sujeitos em contextos sociais específicos. • Letramento: práticas sociais de leitura e escrita que se constituem na interação entre sujeitos ou grupos de sujeitos. • Perspectiva dos tipos e gêneros textuais. • Papel da escola: instância de aprendizagem da escrita em seus aspectos gráficos e formais e de vivências de práticas de letramento. Como transpor concepções e conteúdos para a Matriz de Referência?

10. O que é avaliado? Competências e Habilidades • Segundo Perrenoud (1999), competências referem-se ao domínio prático de um tipo de tarefa ou situação. Tais domínios práticos só podem ser alcançados se junto com eles forem desenvolvidas as habilidades dos estudantes, as quais compreendem os conteúdos/conhecimentos que precisam ser acionados para que um determinado domínio/competência seja realizado. • Exemplo: • Para realizar procedimentos básicos de leitura o estudante precisa acionar diversas habilidades leitoras, tais como: localizar, identificar, inferir e distinguir elementos presentes na superfície textual ou sugeridas pelo texto. • O conjunto dessas habilidades constitui uma competência.

11. MATRIZ DE REFERÊNCIA Habilidades de leitura Conjunto de descritores Conteúdo programático da área de conhecimento a ser avaliada Nível de operação mental necessário para a aprendizagem Descritores originados do cruzamento entre conteúdos programáticos e as habilidades e competências cognitivas que lhes são próprias.

12. Atividade 1: Montando a Matriz de Referência

13. Analise os descritores/habilidades da Matriz de Referência que norteiam a elaboração dos itens que compõem os testes de Língua Portuguesa do SEAPE. • Encontre o tópico que agrupa a habilidade que você representa.

14. Tópicos que compõem a Matriz de Referência

17. A Matriz não esgota o conteúdo a ser trabalhado em sala de aula e, portanto, não pode ser confundida com propostas curriculares, estratégias de ensino ou diretrizes pedagógicas.

18. Matriz • Agrupa as habilidades passíveis de avaliação em um teste de proficiência. • Tema / Tópico • Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades. • Item • Avalia apenas uma única habilidade. • Descritor • Descreve cada uma das habilidades da Matriz . • Teste • Instrumento de Avaliação.

20. ENUNCIADO SUPORTE COMANDO DISTRATORES GABARITO Esse item avalia a habilidade de identificar efeitos de ironia ou humor (D16)

21. Item • É uma questão do teste em larga escala. • Avalia uma única habilidade, portanto o item é unidimensional. • Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele. • Todos os distratores devem ser plausíveis, para que indiquem hipóteses cognitivas levantadas pelos estudantes para a escolha de cada alternativa. • Na formulação de um item, deve-se considerar: Grau de Dificuldade (diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante) Discriminação (capacidade de o item de distinguir estudantes com diferentes níveis de habilidade)

22. Atividade 2: Conhecendo melhor o item.

23. Resolvam os itens. • Identifiquem a habilidade avaliada pelo item em análise. • Elaborem hipóteses cognitivas para os distratores.

24. Habilidades de leitura x realidade em sala de aula • Dentre essas habilidades, quais seriam as mais acertadas pelos estudantes? • E as menos acertadas?

25. Percentual de acerto por descritor Inferir sentido de palavra ou expressão Inferir sentido de palavra ou expressão Reconhecer posições distintas Identificar a tese de um texto.

26. Escala de Proficiência • A ESCALA DE PROFICIÊNCIA foi desenvolvida com o objetivo de traduzir medidas em diagnósticos qualitativos do desempenho escolar. • Ela orienta, por exemplo, o trabalho do professor com relação as competências que seus estudantes desenvolveram, apresentando os resultados em uma espécie de régua, onde os valores obtidos são ordenados e categorizados em intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de desempenho.

27. PADRÕES DE DESEMPENHO NÍVEIS DE PROFICIÊNCIA DOMÍNIOS E COMPETÊNCIAS RELAÇÃO ESCALA - MATRIZ A gradação das cores indica o grau de complexidade da tarefa.

28. Identificam o tema em textos menos familiares que exijam a realização de inferências. Esses estudantes já consolidaram essa habilidade. Começam a desenvolver a competência. Identificam o tema de textos curtos, de linguagem simples, cujo tema vem indicado no título. Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero familiares. Identificam o tema de um texto valendo-se de pistas textuais. Ainda não desenvolveram a habilidade. A gradação das cores indica o grau de complexidade da tarefa.

29. Padrões de Desempenho Estudantil Os Padrões de Desempenho são categorias definidas a partir de cortes numéricos que agrupam os níveis da Escala de Proficiência, com base nas metas educacionais estabelecidas pelo SAEPE Esses cortes dão origem a quatro Padrões de Desempenho – Abaixo do Básico, Básico, Adequado e Avançado – os quais apresentam o perfil de desempenho dos estudantes.

30. Padrões de Desempenho – 9º EF • Neste Padrão de Desempenho, os estudantes: • se limitam a realizar operações básicas de leitura, em textos do cotidiano, de estrutura simples; • localizam informações explícitas e realizam inferências menos complexas. • manifestam-se operações de retomada de informações, por meio de pronomes pessoais retos, por substituição lexical e por reconhecimento de relações lógico-discursivas básicas; • reconhecem expressões representativas da linguagem coloquial; • apresentam lacunas no processo de desenvolvimento da competência leitora.

32. Neste Padrão de Desempenho, os estudantes: • interagem com textos de temática menos familiar e de estrutura um pouco mais complexa. • distinguem fato de opinião e identificam a tese de alguns textos; • manifestam operações de retomada de informações, por meio de pronomes pessoais e, também, de indefinidos, por substituição lexical e por reconhecimento de relações lógico-discursivas no texto. • inferem o assunto de textos de temática do cotidiano e distinguem informação principal de secundária; • identificam interlocutores por meio das marcas linguísticas; • depreendem informações implícitas, o sentido de palavras ou expressões e o efeito do uso de pontuação e de situações de humor.

34. Neste Padrão de Desempenho, os estudantes: • demonstram uma autonomia de leitura em face das atividades cognitivas que lhes são exigidas e dos textos com os quais irão interagir. Já interagem com textos expositivos e argumentativos com temáticas conhecidas e são capazes de identificar informações parafraseadas e de distinguir a informação principal das secundárias; • manifestam operações de retomada de informações baseados na omissão de um item, elipse de uma palavra, um sintagma ou uma frase. • identificam expressões próprias de linguagem técnica e científica; • fazem a leitura comparativa de textos que tratam do mesmo tema; • reconhecem o tema do texto e efeitos de sentido; • conseguem identificar a tese e os argumentos que a sustentam; reconhecem a função social de textos fabulares e de outros com temática científica, identificando, ainda, sua finalidade.

36. Neste Padrão de Desempenho, os estudantes: • interagem com textos de tema e vocabulário complexos e não familiares; • reconhecem os efeitos de sentido do uso de recursos morfossintáticos diversos, de notações, de repetições, de escolha lexical, em gêneros de várias naturezas e temáticas; • realizam operações de retomadas com alta complexidade; • analisam, com profundidade, uma maior gama de textos argumentativos, narrativos, expositivos, instrucionais e de relato, observando diversas categorias ainda não atingidas anteriormente, tanto no interior do texto quanto na comparação entre eles. • em textos literários complexos, inferem o significado da metáfora e o efeito de sentido pretendido com seu uso. • estão próximos da manifestação de habilidades de leitura que os tornarão, efetivamente, leitores proficientes, ou seja, leitores que, de modo consciente ou não, conseguem perceber o ritmo do texto, firmando o pacto pretendido pelo autor ou criando um ritmo todo seu.

38. APROPRIAÇÃO DOS RESULTADOS Vídeo 2

39. Interpretação pedagógica dos resultados Língua Portuguesa

41. Os números na Escala de Proficiência Leitura dos resultados

42. ESCOLA Município Estado

43. SEAPE 2012 9º ano EF - Língua Portuguesa Percentual de alunos por nível de proficiência e padrão de desempenho

44. SEAPE 2012 9º ano EF - Língua Portuguesa Percentual de alunos por nível de proficiência e padrão de desempenho

45. SEAPE 2012 9º ano EF - Língua Portuguesa Percentual de alunos por nível de proficiência e padrão de desempenho

46. ATIVIDADE 3: • Lendo e interpretando os resultados • Compare a proficiência média da escola com as outras médias apresentadas. • Como você interpreta a posição da sua escola? • As ações implementadas a sua escola serão as mesmas de todas as outras? • E a participação? • De que forma você acha que a participação pode interferir nos resultados de nossa escola?

47. ATIVIDADE 4: • Lendo e interpretando os resultados • Calcule a quantidade de alunos da escola em cada padrão de desempenho. • Ex: quantidade de alunos no padrão Abaixo do básico (regra de 3) • 100% de participação = 29 estudantes • 27,6% Abaixo do básico = X estudantes • 100x = 29 . 27,6 • x = 800,4 / 100 • x = aproximadamente 8 alunos.

48. INTERPRETAÇÃO PEDAGÓGICA DOS RESULTADOS • Quais alunos estão nos padrões mais baixos? O que pode ser feito para diminuir o risco de evasão desses alunos? • Verificar as habilidades já desenvolvidas e quais ainda precisam ser trabalhadas? • Quais práticas pedagógicas podemos implementar em sala de aula para o desenvolvimento de habilidades nesses grupos de estudantes?

49. “As palavras só têm sentido se nos ajudam a ver o mundo melhor.Aprendemos palavras para melhorar os olhos.”Rubem Alves Obrigado! Ailton Resende de Paula ailtonresende@caed.ufjf.br