Oficina de Apropriação de Resultados – SISPAE

1. Oficina de Apropriação de Resultados – SISPAE Avaliação em Larga Escala: Conceitos

2. Como funciona a avaliação em larga escala?

3. O que é avaliado?

4. Matriz de Referência

5. Matriz de Referência • O conteúdo de uma avaliação é algo importante a ser definido. • Isso tem implicações para os instrumentos da avaliação. • A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.

6. Matriz de Referência • A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município). • Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.

7. Matriz de Referência • Então quer dizer que... • A Matriz é uma parte do Currículo. • Ela não substitui o Currículo, apenas o resume. • A Matriz contém apenas competências e habilidades essenciais que podem ser medidas em testes padronizados. • As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.

8. O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

9. A Medida de Desempenho • A produção da medida de desempenho dos estudantes pode ser feita de duas formas: • Teoria Clássica dos Testes (TCT). • Teoria de Resposta ao Item (TRI).

10. A Medida de Desempenho • Teoria Clássica dos Testes. • É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. • Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

11. A Medida de Desempenho • Teoria de Resposta ao Item: • Produz uma medida mais robusta do desempenho dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. • A TRI é, portanto, um conjunto de modelos estatísticos, capazes de determinar um valor/peso, diferenciado para cada item que o estudante respondeu no teste de proficiência.

12. Como os testes são corrigidos? • Parâmetros da Teoria de Resposta ao Item – TRI –utilizada para correção dos testes aplicados pelo CAEd

13. Como os testes são corrigidos? 2 + 2 2 x 3 2/7³ 2² x (√3)

14. Como os testes são corrigidos? http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/

15. Como são montados os testes Distribuídos em vários cadernos Organizados em blocos Itens

16. Como são montados os testes • Então quer dizer que... • Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. • Os Itens são independentes das características dos estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam. • Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.

17. Como os valores de proficiência são gerados? Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: • Você consegue guardar as malas no bagageiro interno de um ônibus? • Quando dorme à noite, seus pés ficam do lado de fora? • Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

18. Exemplo de escala para a altura de uma pessoa • Item 1 • Você consegue guardar as malas no bagageiro interno de um ônibus? • Item 2 • Você consegue subir ou descer dois degraus de cada vez em uma escada? • Item 3 • Para conversar com as pessoas, você precisa olhar para baixo?

19. Exemplo de escala para a altura de uma pessoa 1,6 1,8 1,9 1,5 1,7 Leonardo Carolina Priscila Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

21. Como os valores de proficiência são gerados? A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

22. Escala de Proficiência • Traduz as medidas em diagnósticos qualitativos do desempenho escolar. • Régua de ordenamento dos valores dos testes, relacionados simultaneamente, com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.

23. Padrões de Desempenho • Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência. • Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.

25. Projetos de intervenção pedagógica a partir dos Padrões de Desempenho

26. Escala de Proficiência e Padrões de Desempenho • Então quer dizer que... • Valores na Escala de Proficiência e Itens estão diretamente relacionados: cada item tem uma proficiência associada a ele. • Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica. • Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais e no planejamento pedagógico.

27. AspectosContextuais e Desempenho Escolar

28. Fatores Associados ao Desempenho • Fatores Intraescolares • Fatores Extraescolares Fatores socioeconômicos Gestão e administração Prática pedagógica Fatores familiares Condições de infraestrutura Fatores individuais Qualificação dos profissionais

29. Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação

30. Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação Informações de qualidade sobre os atores escolares e as características do sistema escolar são um importante subsídio para a formulação e verificação da efetividade de políticas públicas educacionais e de outras intervenções nos processos escolares.

31. Avaliação em larga escala: alcances e limites • Medida de desempenho dos estudantes: Proficiência. • Foco nos déficits e problemas da aprendizagem: competências e habilidades mínimas que podem ser medidas em testes padronizados. • Índice Socioeconômico (ISE) dos Estudantes. • Simplificação estratégica do currículo. • Limitada para múltiplas funções atribuídas à escola.

32. Avaliação Externa – Dimensões avaliadas

33. Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação Como as avaliações em larga escala podem nos ajudar a obter informações dessa natureza? • Através dos questionários socioeconômicos aplicados a estudantes, professores, gestores, coordenadores, pais de estudantes etc.

34. A Análise Contextual • O processo de ensino-aprendizagem é mediado por diversos fatores. • Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolarestêm sobre os resultados dos alunos dentro das escolas.

35. A Análise Contextual • Enfatizamos a importância do clima escolar, das disposições e práticas de gestão, das disposições e práticas pedagógicas, das expectativas em relação ao futuro e das condições de oferta do ensino. • A consideração dos fatores extraescolares servirá apenas para guiar comparações mais adequadas sobre os diferentes fatores intraescolares.

36. A Análise Contextual • São nos contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva. • Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes.

37. As dimensões • Condições socioeconômicas dos alunos. • Clima Escolar. • Atitudes e Práticas Pedagógicas. • Atitudes e Práticas de Gestão Democrática. • Expectativas de Alunos e Professores. • Condições de atendimento da escola.

38. As Cinco Dimensões Clima Escolar: • Questionário de estudantes • Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo e Discordo muito): • Tenho participado de atividades interessantes na escola. • Acho que vale a pena estudar nesta escola. • Estou sempre aprendendo atividades novas nesta escola.

39. As Cinco Dimensões Clima Escolar: • Questionário dos professores • Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • Gostaria de continuar lecionando nesta escola. • Sinto que sou valorizado(a) nesta escola. • Gosto de fazer parte da equipe desta escola.

40. As Cinco Dimensões Clima Escolar: • Questionário dos diretores • Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • Foi uma decisão acertada ter me candidatado a diretor(a) desta escola. • Considero meu trabalho importante para o desenvolvimento desta escola. • Ser diretor(a) de escola é gratificante.

41. Condições de Eficácia Escolar • Separamos em grupos as escolas com as melhores condições de clima escolar: • Desenvolvimento acadêmico/profissional no ambiente escolar. • Conforto e segurança na escola. • Pertencimento e inclusão na escola. • Satisfação e motivação nas atividades realizadas na escola. • Respeito e diálogo entre os atores escolares.

42. As Cinco Dimensões Atitudes e Práticas Pedagógicas: • Questionário de estudantes • Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • Nas aulas o(a) professor(a) ouve a opinião dos alunos. • O(A) professor(a) sempre esclarece minhas dúvidas. • Aprendo o conteúdo que o(a) professor(a) ensina.

43. As Cinco Dimensões Atitudes e Práticas Pedagógicas: • Questionário dos professores • Com base na sua experiência deste ano de 2014, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • Atenho-me ao que está programado independente da turma. • O aprendizado depende mais do estudante do que do professor. • Não importa o nível de conhecimento do estudante, o professor deve fazê-lo aprender.

44. Condições de Eficácia Escolar • Separamos em grupos as escolas com as melhores condições pedagógicas: • Atenção ao aluno. • Avaliação da aprendizagem. • Compromisso com a aprendizagem. • Condições e práticas de ensino.

45. As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: • Questionário dos professores • Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • O gestor desta escola só toma suas decisões depois de ouvir outros atores envolvidos com a escola. • O planejamento anual das atividades é feito coletivamente. • O diretor desta escola tem por hábito consultar o Colegiado da Escola e ouvir as pessoas interessadas pelas questões da escola.

46. As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: • Questionário do diretor • Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): • Tenho por norma consultar o Colegiado da Escola e ouvir as pessoas sobre as questões da escola. • O diálogo e a participação da comunidade é a melhor maneira de administrar e conduzir as atividades da escola. • Só tomo minhas decisões depois de ouvir outros atores envolvidos com a escola.

47. Condições de Eficácia Escolar • Criamos um índice de gestão contendo informações de professores e do gestor sobre: • Atitudes e comportamento com relação à centralização ou descentralização da gestão escolar (incluindo ou não a participação do conselho escolar). • A prestação de contas da gestão para a comunidade escolar. • Diversas dimensões da capacidade discricionária e de iniciativa do gestor frente a imprevistos e esferas superiores de decisão.

48. As Cinco Dimensões Expectativas de Alunos e Professores: • Questionário de estudantes • Com base nas suas expectativas, você acredita que irá (Sim, Provavelmente sim, Provavelmente não, Não): • Concluir o Ensino Médio. • Ingressar numa universidade pública. • Ingressar numa faculdade particular. • Ingressar no ensino profissional.

49. As Cinco Dimensões Expectativas de Alunos e Professores: • Questionário dos professores • Com base na experiência com suas turmas nesta escola, qual o percentual de alunos que você acredita que (Até 25% da turma, De 26% a 50% da turma, De 51% a 75% da turma, Mais de 75% da turma, Não se aplica): • Concluirá o Ensino Fundamental. • Concluirá o Ensino Médio. • Ingressará em uma universidade pública. • Ingressará em uma universidade particular. • Ingressará no ensino profissional.

50. Condições de Eficácia Escolar • Criamos um índice das expectativas: • dos alunos em relação ao seu futuro; • dos professores em relação ao futuro escolar e profissional dos seus alunos.