Métodos Estatísticos para Avaliação Educacional e Medida

1. Métodos Estatísticos para Avaliação Educacional e Medida Dalton F Andrade(INE/UFSC - dandrade@inf.ufsc.br) 39a. Regional da ABE – Belém, 06/12/05

2. Objetivos • Apresentar alguns métodos estatísticos utilizados em avaliações educacionais e medida • Planejamento de Experimento • Amostragem • Modelos Lineares Hierárquicos (ou Multiníveis) – MLH • Teoria da Resposta ao Item – TRI

3. SAEB – Avaliação da Educação Básica • Avaliar o sistema de ensino • Anos impares • Séries terminais (4a./8a. EF + 3a. EM) • Várias disciplinas (Português, Matemática, ...) • Amostra de alunos • Muitos itens (questões) • Medir a proficiência do aluno • Estudo de fatores associados

4. Blocos Incompletos Balanceados - BIB • Avaliar uma grande parte de um currículo de uma determinada disciplina e série: necessário apresentar um grande número de itens aos alunos, maior do que eles poderiam responder em 2 horas de prova. Por exemplo, 169 itens de matemática para a 3a. série do EM: 13 conjuntos de 13 itens cada Provas: Cadernos com 3 conjuntos cada 26 Provas, com conjuntos (itens) comuns Itens de outras séries e anos

5. Blocos Incompletos Balanceados - BIB

6. Amostragem complexa • Selecionar uma amostra de alunos satisfazendo certos critérios (região, dependência administrativa, período, ...) • Unidade de interesse: aluno • Não existe lista com todos os alunos • Usar lista de escolas para selecionar escolas (Censo Escolar do INEP/MEC): ano anterior

7. Amostragem complexa • Usar lista de alunos, das escolas selecionadas, para selecionar alunos • Amostragem por conglomerados em dois ou três estágios • Estratificação Heleno Bolfarine e Wilton O. Bussab (2005). Elementos de Amostragem. São Paulo: Edgard Blücher (ABE-Projeto Fisher)

8. Modelos Lineares Hierárquicos ou Multiníveis • Estudar como fatores de aluno, professor e escola estão associados com o desempenho dos alunos Modelos de Regressão com estrutura especial de dependência GOLDSTEIN, H. (1995). Multilevel Statistical Models. 2a ed. London: Edward Arnold. RAUDENBUSH, S. W. e BRYK, A. S. (2002). Hierarchical Linear Models. 2a ed. Newbury Park: Sage.

9. Modelos Lineares Hierárquicos ou Multiníveis • Modelo de regressão: Y = f(X1, ..., Xp, W1, ..., Wq) + Erro X: características de aluno (gênero, idade, escolaridade dos pais, tempo de estudo extra classe,...) W: características de escola (dependência administrativa, localização, recursos pedagógicos, práticas pedagógicas, capacitação da equipe técnica,...) Erro: independentes com distribuição normal

10. Modelos Lineares Hierárquicos ou Multiníveis • Modelo multinível X1: idade (em anos) W1: dependência administrativa (1=particular, 0=pública) Nível 1: aluno (8a. série) proficij =0j + 1j (X1ij –14) + eij Nível 2: escola 0j = 00 + 01W1j + u0j 1j = 10 + 11W1j + u1j

11. Modelos Lineares Hierárquicos (ou Multiníveis) • Resultados do SAEB 2001

12. Modelos Lineares Hierárquicos (ou Multiníveis) • Resultados do SAEB 2001: Matemática

13. Teoria da Resposta ao Item - TRI • Medir a proficiência dos alunos • Comparar os resultados entre séries (4a., 8a. EF e 3a. EM) • Comparar os resultados ao longo dos anos (SAEB realizado a cada dois anos) para uma mesma série • Realizar diferentes provas entre anos, entre séries e entre alunos de uma mesma série - BIB

14. Teoria da Resposta ao Item - TRI • Teoria Clássica de Medida - TCM: 1. Resultados dependem do particular conjunto de questões que compõem a prova e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos. 2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas ou, pelo menos, ao que se denomina de provas paralelas, quase sempre difíceis de serem construídas.

15. Teoria da Resposta ao Item • Teoria da Resposta ao Item – TRI: 1. Muda o foco de análise da prova como um todo para a análise de cada item (questão). 2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item 3. Traço latente: habilidade/proficiência em Matemática, Português, etc ...

16. Teoria da Resposta ao Item 4. A partir de respostas dadas por indivíduos a um conjunto de itens (prova) deseja-se : estimar os parâmetros dos itens(calibração) estimar a habilidade/proficiência do aluno estimar a proficiência média de um grupo de alunos 5. A probabilidade de resposta a um item é modelada comofunção da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens.

17. Teoria da Resposta ao Item 6.Quanto maior a proficiência do aluno, maior a probabilidade de ele acertar o item (modelo acumulativo). 7. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

18. Teoria da Resposta ao Item • Modelos: dependem do tipo de item • Itens corrigidos como certo/errado: múltipla • escolha ou abertos • Modelo Logístico (unidimensional) com 1, 2 ou 3 parâmetros

19. Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: probabilidade de acerto para indiv. com baixa habilidade

20. Teoria da Resposta ao Item • Modelo Nominal: considera todas as categorias de resposta

22. Teoria da Resposta ao Item • Modelo de Resposta Gradual: categorias ordinais

24. Teoria da Resposta ao Item • Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a • Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds • Modelo de Grupos Múltiplos (várias populações)

25. Teoria da Resposta ao Item • Resultados • Banco de Itens: itens calibrados na mesma escala • Estimativa dos rendimentos médios na mesma escala, para cada uma das séries e disciplinas ao longo dos anos

26. Teoria da Resposta ao Item

27. Teoria da Resposta ao Item • Resultados • Equalização entre avaliações estaduais e o SAEB • Estudo do funcionamento de itens (DIF) • Estudo do desgaste de itens (DRIFT)

28. Referências bibliográficas • ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. (2000). Teoria da Resposta ao Item: conceitos e aplicações. 14o SINAPE, Associação Brasileira de Estatística. (Disponível em www.inf.ufsc.br/~dandrade/tri) • BAKER, F. B., (1992). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker. • BOCK, R.D. & ZIMOWSKI, M.F. (1996). Multiple Group IRT, in Linden, W.J. van der & Hambleton, R.K. (eds). Handbook of Modern Item Response Theory, Springer.

29. Referências bibliográficas • KLEIN, R. (2003). Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.11, n.40, p.283-296, 2003. • LORD, F.M. (1980). Applications of item response theory to practical testing problems.Hillsdale:Lawrence Erlbaum Associates Inc. • Sistema Nacional de Avaliação da Educação Básica: SAEB 2001, Relatório Técnico. (2002). Consórcio Fundação Cesgranrio/Fundação Carlos Chagas, Rio de Janeiro..

30. Aplicação da TRI em Teste de Progresso • Avaliar o desempenho do aluno de curso de medicina Prova realizada uma vez por ano por todos os alunos (1a.-6a.) Comissão de avaliação do curso de medicina da UEL: Sakai, M., Mashima, D., Ferreira Filho, O.F., Matsuo, T.

31. Aplicações da TRI em outras áreas • Medir o grau de maturidade de uma empresa em relação a Gestão pela Qualidade • Alexandre, J.W.C., Andrade, D.F., Vasconcelos, A.P. e Araújo, A.M.S.(2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2,p.129-141. • Medir o Nível de Qualidade de Vida Mesbah, M., Cole, B.F. and Lee, M.L.T.(2002). Ed. Statistical methods for quality of life studies: design, measurements and analysis. Boston:Kluwer Academic Publishers

32. Aplicações da TRI em outras áreas • Medir o Grau de Insegurança Alimentar Parke E. Wilde, Gerald J. and Dorothy R. Friedman (2004). Differential Response Patterns Affect Food-Security Prevalence Estimates for Households with and without Children. J. Nutr.134: 1910–1915. Med. Prev. Unicamp: profa. Ana Maria Segall Corrêa • Medir a Competência Clínica de Médicos Jishnu Das, Jeffrey Hammer (2005). Which doctor? Combining vignettes and item response to measure clinical competence. Journal of Development Economics 78, 348-383.

33. Aplicações da TRI em outras áreas • Medir o Grau de Depressão Embretson, S. E. and Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers. Coleman, M. J., Matthysse, S., Levy, D. L., Cook, S., Lo, J. B. Y.,Rubin, D. B. and Holzman, P. S. (2002). Spatial and object working memory impairments in schizophrenia patients: a bayesian item-response theory analysis. Journal of Abnormal Psychology, 111, number 3, 425-435. Dissertação de doutorado em Estatística no IME/USP.

34. Aplicações da TRI em outras áreas • Medir o Grau de Satisfação do Consumidor Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8-16. Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC.

35. Aplicações da TRI em outras áreas • Medir o Grau de Depressão em Idosos Yesavage JA, Brink TL Rose TL et al. (1983). Development and validation of a geriatric depression screening scale: a preliminary report. J Psychiat Res, 17:37-49. UEL – Grupo de pesquisa em psiquiatria: Vargas, H.O., Matsuo, T., Blay, S., Andrade, D.F.

36. Aplicações da TRI em outras áreas • Genética: Medir a predisposição de um indivíduo em relação a uma certa doença Tavares, H. R.; Andrade, D. F.; Pereira, C.A. (2004) Detection of determinant genes and diagnostic via item response theory. Genetics and Molecular Biology, v. 27, n. 4, p. 679-685.