240 likes | 799 Views
Teoria Clássica dos Testes TCT. Dalton Francisco de Andrade INE/PPGEP-UFSC Adriano Ferreti Borgatto INE/-UFSC Florianópolis, SC – 25/06/2014. Teoria Clássica dos Testes (TCT). ● Índice de Dificuldade – Proporção de respostas corretas em cada item;
E N D
Teoria Clássica dos Testes TCT • Dalton Francisco de Andrade • INE/PPGEP-UFSC • Adriano Ferreti Borgatto • INE/-UFSC • Florianópolis, SC – 25/06/2014
TeoriaClássica dos Testes (TCT) ● Índice de Dificuldade – Proporção de respostascorretasemcada item; ● Índice de Discriminação – É a diferença entre a proporção de acertos dos participantes com maiorhabilidade (27% dos respondentes com pontuaçõesmaisaltas) daqueles com menorhabilidade (27% dos respondentes com pontuaçõesmaisbaixas); ● Coeficiente Ponto-bisserial – É a correlação de Pearson entre o desempenho no item dicotomizado, certoouerrado, e o desempenho no teste (emgeral o Escore); ● CoeficienteBisserial – É umatransformação no coeficiente Ponto-bisserial. Teoria Clássica dos Testes
Exemplo: Teste de matemática O teste de matemática foi retirado do “Exemplo1” do programa BILOG. O teste, constituído com 15 itens de múltipla escolha (5 alternativas cada), foi respondido por 1.000 alunos. Os itens não respondidos receberam o código 9 e serão tratados como errado na TCT. O gabarito dos itens é dado a seguir: Teoria Clássica dos Testes 3 4 1 4 2 1 3 2 3 4 4 1 4 1 3
Índice de Discriminação Teoria Clássica dos Testes
CoeficienteBisserial r é o coeficiente Ponto-Bisserial entre o Escore e cada uma das categorias de resposta do item (correlação de Pearson) p é a proporção de respostas para cada categoria do item (se for a categoria da resposta correta, p é o índice de dificuldade) h(p) é o valor da densidade da distribuição normal padrão no ponto em que a área da curva à esquerda deste ponto é igual a p Teoria Clássica dos Testes
Comentário: Espera-se que o coeficiente bisserial com uma alternativa errada seja negativo Determinando o valor de h(p) Teoria Clássica dos Testes p h(p) z
CoeficienteBisserial: um exemplo Teoria Clássica dos Testes
Software ITEMAN – Teste de matemática Teoria Clássica dos Testes
Consistência interna dos itens Teoria Clássica dos Testes
Alpha de Cronbach: Consistência Interna • Coeficiente Alfa de Cronbach n = número de itens Si2 = variância das respostas do item i ST2 = variância do total Coeficiente próximo de 1, existe padrão nas respostas, itens mais fáceis são acertadas por indivíduos com menos habilidade e mais habilidades (I6). Já itens mais difíceis (I1) são acertados por indivíduos com mais habilidade.
Coeficiente Alfa de Cronbach Coeficiente próximo de 0, padrão das respostas é aleatório (não existe consistência).
Teoria Clássica dos Testes (TCT) • TeoriaClássica dos Testes • As medidassãodependentes das características dos respondentes do teste • Testes diferentespara um mesmogrupo • É possívelcomparar testes diferentesatravés do Escore? • Testes diferentes, com dificuldades e discriminaçõesdiferentes, produzemestimativas das habilidadesdiferentes! • O “Erro” é o mesmoparatodososrespondentes
MEDIDAS DE HABILIDADE • Os coeficientes descritos levam em consideração o escore (número de acertos) do respondente. Entretanto, a utilização do escore para o cálculo destas medidas só será válida se os respondentes foram submetidos a mesma prova ou provas com o mesmo grau de dificuldade. • Provas com grau de dificuldade diferente, deve-se utilizar uma medida de habilidade que leve em consideração a prova aplicada. Neste caso, o normit é uma medida mais adequada do que o escore.
UTILIZAÇÃO DO NORMIT Dois cadernos de provas foram distribuídos aleatoriamente entre 100 estudantes Se dois estudantes tiveram 5 acertos fazendo provas diferentes, quem deve ter a maior habilidade?
UTILIZAÇÃO DO NORMIT Dois cadernos de provas foram distribuídos aleatoriamente entre 100 estudantes João José Se dois estudantes tiveram 5 acertos fazendo provas diferentes, quem deve ter a maior habilidade?
Limitaçõesda TCT • A TCT permite medir desempenho de alunos que fizeram provas com diferentes grau de dificuldade, desde que as provas sejam distribuídas aleatoriamente para os alunos da população alvo. • Na TCT é construída uma escala, que geralmente varia entre 0 e 10, nos quais os alunos são posicionados. Entretanto, os itens não são posicionados nessa escala, não permitindo fazer uma interpretação pedagógica do desempenho do aluno. • Para comparação longitudinal as provas tem que ser paralelas.