Oficina de Apropriação dos Resultados da Avaliação

1. Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises e Publicações - CAP

2. O que é avaliar? Tomar decisão em função de um objetivo que se deseja alcançar. Produzir algum julgamento sobre a realidade. Traçar estratégias de uma ação sobre o objeto avaliado. Dados e informações sobre determinada realidade.

3. Tipos de Avaliação Avaliação Diagnóstica Formativa Somativa Interna Escola Interna Escola Interna Escola Externa Sistemas Externa Sistemas Externa Sistemas Pequena escala Larga escala

4. Avaliação Educacional Avaliação Interna/Escola Avaliação Externa/Sistemas Desempenho dos alunos Processo da aprendizagem Provas abertas Provas objetivas Observação/Registro Portfólio Testes de proficiência Questionários contextuais TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM

5. Linha do tempo da Avaliação

6. SPAECE SADEAM SISPAE Sistema de Av. da Educ. da Paraíba SAEPI SAEPE SEAPE SAEMI SALTO AREAL SAERO AVALIE SAEGO SIMAVE AVALIA BH PAEBES SAEMS ALFABETIZA RIO SAERJ SAEP SARESP SAERS Sistemas próprios de Avaliação

7. Vantagens dos sistemas próprios de Avaliação Desenho próprio (definição de séries e áreas do conhecimento), adequado às necessidades da rede. Menor periodicidade entre os ciclos avaliados. Alinhamento entre currículo, ensino e avaliação.

8. Etapas básicas dos programas de avaliação

9. Como funciona a avaliação em larga escala?

10. O que é avaliado?

11. Matriz de Referência @@@@@ INSERIR TABELA COM CORTES DE PADRÕES @@@@@

12. Como os testes são montados? Distribuídos em vários cadernos Organizados em blocos Itens

13. O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

14. Como os testes são corrigidos? • Parâmetros da Teoria de Resposta ao Item – TRI –utilizada para correção dos testes aplicados pelo CAEd.

15. Uso da TRI na produção de medidas A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

16. Como os valores de proficiência são gerados? Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: • Você consegue guardar as malas no bagageiro interno de um ônibus? • Quando dorme à noite, seus pés ficam do lado de fora? • Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

17. Exemplo de escala para a altura de uma pessoa • Item 1 • Você consegue guardar as malas no bagageiro interno de um ônibus? • Item 2 • Você consegue subir ou descer dois degraus de cada vez em uma escada? • Item 3 • Para conversar com as pessoas, você precisa olhar para baixo?

18. Exemplo de escala para a altura de uma pessoa 1,6 1,8 1,9 1,5 1,7 Leonardo Carolina Priscila Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

19. Escala de ProficiênciaA nossa “régua” para o desempenho @@@@@ INSERIR CÓPIA DA ESCALA @@@@@

20. Como os valores de proficiência são gerados? A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades, segundo sua complexidade, e ordená-las nessa “régua” comum para estimar o desempenho.

21. O que a avaliação externa possibilita?

22. Possibilidades dos Sistemas próprios de Avaliação Estabelecimento de Padrões de Desempenho estudantis e metas educacionais Utilização dos resultados, com foco na identidade escolar. . Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas.

23. Possibilidades dos Sistemas próprios de Avaliação Estabelecimento de Padrões de Desempenho estudantis e metas educacionais Utilização dos resultados, com foco na identidade escolar. . Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas.

24. Evolução da Proficiência Média

25. Evolução da Distribuição por Padrão de Desempenho

26. Possibilidades dos Sistemas próprios de Avaliação Estabelecimento de Padrões de Desempenho estudantis e metas educacionais Utilização dos resultados, com foco na identidade escolar. . Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas.

27. Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada • Programa de cooperação, entre estado e municípios, implantado em 2005 com a finalidade de apoiar os municípios ,para alfabetizar os alunos da rede pública de ensino até o final do segundo ano do ensino fundamental. • Programa propõe uma intervenção sistêmica que é executada através de cinco eixos: • Alfabetização • Gestão Municipal • Educação Infantil • Avaliação Externa

28. Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

29. Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

30. Possibilidades dos Sistemas próprios de Avaliação Estabelecimento de Padrões de Desempenho estudantis e metas educacionais Utilização dos resultados, com foco na identidade escolar. . Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas.

31. Resultados Estaduais Transversais ou Longitudinais

32. Uso dos ResultadosGestor • da Rede • Planejamento e execução de políticas públicas. • Criação de metas de qualidade e equidade educacionais. • Implementação de medidas de responsabilização. • Políticas de incentivos diretos ou indiretos. • Ações de formação continuada de professores . • da Escola • Elaboração do projeto da escola. • Monitoramento da qualidade de ensino. • Subsídio para avaliação institucional.

33. Uso dos ResultadosProfessor • Projetos de intervenção pedagógica. • Elaboração de projetos especiais. • Foco nos alunos com dificuldades. • Ações de reforço escolar. • Planejamento das ações de sala de aula. • Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

34. Uso dos ResultadosAluno e família • Acompanhamento individual do desempenho escolar pelos alunos e seus familiares. • Informações sobre a qualidade dos serviços educacionais oferecidos.

35. Possibilidades dos Sistemas próprios de Avaliação Estabelecimento de Padrões de Desempenho estudantis e metas educacionais. Utilização dos resultados, com foco na identidade escolar. . Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas.

37. Descrição geral dos Padrões de Desempenho

38. Projetos de intervenção pedagógica a partir dos Padrões de Desempenho

39. Seape 2013 Gestão, desempenho escolar e cumprimento de normas

40. Fatores Associados ao Desempenho Fatores Intraescolares Fatores Extraescolares Fatores socioeconômicos Gestão e administração Prática pedagógica Fatores familiares Condições de infraestrutura Fatores individuais Qualificação dos profissionais

41. Em que consiste considerar os fatores associados ao Desempenho?

42. Análises Contextuais – Seape 2013 Dados considerados Questionários de alunos, professores e diretores aplicados no Seape 2012. Ênfases Dimensão normativa do clima escolar. Práticas de gestão.

43. ClimaEscolar • O clima escolar pode ser entendido como um conjunto de características sociais, culturais e psicológicas da escola, que, se relacionando continuamente influencia, substancialmente, a aprendizagem e o desempenho dos estudantes. • É composto por uma série de elementos estruturais, pessoais e organizativos da escola, que interagem através de um processo dinâmico. • O resultado das interações deste processo é o clima escolar, um ambiente próprio, uma espécie de estilo singular da escola, que influencia, significativamente, a forma como a escola desenvolve e conduz seus processos educativos.

44. Contextos do clima escolar O clima escolar pode ser decomposto em quatro contextos: • Contexto imaginativo: envolve a percepção do ambiente escolar no que diz respeito ao incentivo, à criatividade e à imaginação, percebendo ou não a escola como um local onde os agentes escolares se sentem estimulados a compreender e a experimentar o mundo a partir de suas próprias percepções e concepções. • Contexto instrucional: envolve as percepções dos atores acerca da orientação acadêmica no contexto da instrução do ensino. No caso dos estudantes, acerca de como eles percebem o interesse ou o desinteresse dos professores pela aprendizagem, e também se o ambiente é propício para atingir os objetivos educativos e adquirir habilidades.

45. Contextos do clima escolar • Contexto inter-relacional: este contexto está relacionado à percepção da qualidade e da frequência com que as relações, entre os atores, são estabelecidas no ambiente escolar, bem como a percepção acerca da preocupação, no nível dos estudantes, que professores e diretores têm diante de seus problemas e dificuldades. Ou seja, diz respeito ao contexto de qualidade interpessoal, de confiança e bem estar entre os agentes. • Contexto normativo: envolve as percepções acerca do nível de participação dos agentes no estabelecimento das regras que coordenarão suas ações, além da percepção sobre o efetivo cumprimento das normas na escola.

46. Clima Normativo e Desempenho O índice de percepção do contexto normativo foi construído com base nas seguintes questões: • os professores favorecem alguns alunos mais do que outros; • os alunos desconhecem as normas da escola; • os alunos são punidos frequentemente por ações que não fizeram; • as punições da escola são sempre justificadas; • os alunos são punidos por qualquer motivo; • perdemos muitas aulas porque o professor falta com frequência; • os professores têm dificuldade para fazer os alunos entrarem na sala para o início das aulas; • muitos alunos durante as aulas ficam do lado de fora da sala fazendo barulho; • por qualquer motivo, os alunos são colocados para fora da sala de aula.

47. Clima Normativo e Desempenho • Para facilitar a análise, as escolas foram divididas em três grupos, de acordo com o valor que agregaram a seus estudantes. • O valor agregado de cada escola foi estabelecido pela diferença entre o desempenho médio esperado para a escola, tendo em vista a condição socioeconômica média de seus alunos, e o desempenho de fato obtido pela escola.

48. Clima Normativo e Desempenho Os grupos de escolas por valor agregado são: • Escolas sem valor agregado: são aquelas cujo desempenho esperado é menor ou igual ao desempenho que elas, efetivamente, obtiveram nas avaliações. No gráfico a seguir, estão representadas pela cor azul. • Escolas com baixo valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que zero e menor do que 12,5 pontos de proficiência (um quarto do desvio padrão). No gráfico a seguir, estão representadas pela cor vermelha. • Escolas com alto valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que 12,5 pontos de proficiência (um quarto do desvio padrão).

49. Análises Contextuais Percepção do contexto imaginativo do clima escolar, segundo os alunos, e do valor agregado Fonte: Seape 2012

50. Clima Normativo e Desempenho • Entre as escolas que mais agregam valor a seus estudantes, o maior percentual se concentra no grupo de escolas que tiveram seu clima escolar avaliado como bom, por parte dos estudantes. • Estes resultados mostram a importância da efetivação das normas escolares para o desempenho dos alunos. • Como parte integrante do clima escolar, o contexto normativo pode ser um importante aliado da gestão da escola para que melhores resultados educacionais sejam alcançados. • O gestor não é o único responsável pelo estabelecimento de um bom clima escolar, mas, não resta dúvida, é figura central para que o mesmo seja constituído.