Parâmetros úteis para a construção de boas questões objetivas

1. Parâmetros úteis para a construção de boas questões objetivas Prof. Dr. Lucas F. de Oliveira CECH – UCS NINE – UFRGS

2. Vestibular e conhecimento • Exames vestibulares • Classificação dos candidatos • De acordo com o conhecimento demonstrado • Conhecimento costuma ser estudado • Pelas Neurociências • Investigação dos mecanismos • Pela Psicologia Cognitiva • Investigação das manifestações

3. Conhecimento e memória • Memória declarativa • Episódica • Eventos • Semântica • Fatos • Rápida formação • Evocação consciente • Processo cognitivo serial • Memória não-declarativa • Procedural • Para ações • Motora • Para movimentos • Lenta formação • Evocação muito eficiente • Processo cognitivo paralelo

4. Conhecimento e tipos de memória • Memória declarativa e não-declarativa • A fronteira entre estes dois tipos • Está se tornando mais tênue • Um indivíduo competente • Pode operar com conhecimento semântico • De maneira não-declarativa • Paralela

5. Conhecimento • Taxonomia dos objetivos didáticos • Benjamin Bloom, 1956 • Domínio cognitivo • 1) Conhecimento • 2) Compreensão • 3) Aplicação • 4, 5 e 6) Análise, Síntese e Avaliação • Os níveis iniciais dependem • Da memória declarativa • Os avançados • Da não-declarativa

6. Testagem e amostragem • Exames vestibulares • Devem medir o conhecimento dos alunos • Fazem isto através de uma amostragem • As questões • O escore medido com a amostragem • É diferente do conhecimento real do aluno • Quanto mais fidedigna a amostragem • Mais próximo o escore real é da realidade

7. Testagem com questões de múltipla escolha • Índices úteis • Índice P • Proporção de acertos • Índice de discriminação • Diferença de acerto entre • Indivíduos com melhor performance • E indivíduos com pior performance

8. Testagem com questões de múltipla escolha • Índice P • Se todos acertam = 1,0 • Se baseado na sorte = 0,2 • Valor desejável • Em torno de 0,6

9. Testagem com questões de múltipla escolha • Índice de discriminação • Varia entre -1,00 e +1,00 • Se indivíduos de boa performance acertam questão • E os de má performance erram • O índice é positivo • Se os de boa erram • E os de má acertam • O índice é negativo • D > 0,4 é desejável • D < 0,2 é indesejável

10. Testagem com questões de múltipla escolha • Fator extra • Tempo por questão • Quanto mais questões • Melhor a amostragem • Maior a fidedignidade

11. Síntese deste bloco • Indivíduos compententes • Operam com um sistema de memória mais eficiente • Memória não-declarativa • É importante explorar este componente • O vestibular opera por amostragem • Que precisa ser fidedigna • As questões devem ter bom poder de discriminação

12. Famílias de questões objetivas

13. Referência útil • “Constructing Written Test Questions for the Basic and Clinical Sciences” • Terceira Edição (Revisada) • Comissão Nacional de Examinadores Médicos • Autores • Susan M. Case • David B. Swanson

14. Famílias de questões objetivas • Família da melhor resposta • “Assinale a resposta correta” • “Associe as Colunas” • Escolha Estendida de respostas (variante do “Associe as Colunas”) • Família do verdadeiro ou falso • “Qual das afirmações acima são corretas?” • “Apenas I, II e IV estão corretas”

15. Família do verdadeiro ou falso • Identifique as afirmações corretas sobre o Canadá • I) O Canadá possui duas línguas oficiais, e o francês é a mais falada das duas • II) O Canadá foi sede das últimas Olimpíadas de Inverno, realizadas em Vancouver • III) A Rainha Elizabeth II é a chefe de estado do Canadá

16. Família do verdadeiro ou falso • O candidato pode acertar • Sobre duas das afirmações • Mas o avaliador não sabe disso se ele errar a questão • Há perda de informação • Sobre o conhecimento real do candidato

17. Família do verdadeiro ou falso • A família do verdadeiro ou falso • Requer a análise de todas as opções, uma a uma • Caracterizando uma operação serial • Usando o sistema de memória declarativa • Ou seja, o aluno competente • Capaz de utilizar um sistemas mais eficientes de demonstração de conhecimento • É obrigado a operar com o sistema mais limitado

18. Família do verdadeiro ou falso • A família do verdadeiro ou falso • Requer mais tempo por questão • Pois opera de maneira serial • Ou seja, o número máximo de questões no teste • Precisa ser menor • Quanto menos questões • Pior a amostragem

19. Família do verdadeiro ou falso • A família do verdadeiro ou falso • Tende a produzir índices P menores • Usualmente por aumento de falsos negativos • Tende a produzir índices de discriminação menores

20. Família do verdadeiro ou falso • Conclusão • Questões de verdadeiro ou falso • Devem ser evitadas • O uso de questões da • Família da melhor resposta • Produz melhor discriminação • Permite a aplicação de mais questões • Permite a resolução através do sistema de memória não-declarativa

21. Questões de Melhor Resposta melhor resposta única

22. Melhor Resposta, questão bem-feita • Este país é conhecido por ser um grande produtor de vinhos e queijos, bem como também é o principal destino turístico do planeta. Em um determinado momento da Segunda Guerra Mundial, sua capital foi invadida e ocupada por completo. Que país é este? • a) Alemanha • b) Itália • c) França • d) Noruega • e) Inglaterra • Todas respostas são da mesma categoria • Podem ser ordenadas de “muito errada” até “correta” • Ou seja, estão sobre o mesmo “eixo” conceitual

23. Características relevantes • Enunciado longo • Respostas curtas • Todas as respostas pertencem a mesma categoria (Países, no exemplo anterior) • É possível responder a pergunta mesmo que não se saiba as alternativas! • E esta tende a surgir de maneira espontânea • Indicando o uso de memória não-declarativa

24. Melhor Resposta, questão mal-feita • O que a mais importante característica da França? • a) É uma grande produtora rural • b) É uma das mais antigas democracias do planeta • c) Produz a maior parte da sua energia a partir de hidroelétricas • d) É uma grande produtora de vinhos • e) Seu presidente é casado com uma conhecida atriz austríaca

25. Problemas do exemplo anterior • O enunciado é curto • As respostas são longas • As respostas são sobre temas diferentes • Não estão sobre o mesmo “eixo” • Não é possível responder a pergunta sem que se leia as alternativas • Ou seja, só pode ser respondido de maneira serial

26. Coisas a evitar • Perguntas negativas • “Assinale a alternativa abaixo que NÃO corresponde a uma das características da França” • São mais confusas • Produzem mais falsos negativos • Têm menor poder de discriminação

27. Questões de Melhor Resposta associe as colunas

28. ( ) Era a principal potência européia no início dos anos 40 ( ) Sua capital foi invadida no início da Segunda Guerra Mundial ( ) Seu líder na Segunda Guerra era conhecido com Il Duce ( ) Sofreu constantes ataques da aviação inimiga no início da guerra, mas conseguiu resistir graças ao esforço intenso de seus pilotos de caça Associe as colunas • a) França • b) Itália • c) Inglaterra • d) Alemanha

29. Associe as colunas • Enunciado genérico • Indicando para associar as colunas • Formato eficiente • Mas substituído pelo de • Escolha Estendida

30. Questões de Melhor Resposta escolha estendida

31. Escolha Estendida • Estrutura • Tema • Lista de Opções • Enunciados

32. 1) Este país entrou na Guerra apenas em 1941, após uma das ilhas de seu território ser atacada inesperadamente. Escolha Estendida • Tema: países envolvidos na Segunda Guerra Mundial • a) França • b) Inglaterra • c) Itália • d) Alemanha • e) Japão • f) Noruega • g) Portugal • h) Espanha • i) União Soviética • j) Holanda • k) Estados Unidos

33. 2) Este país tinha dois outros importantes aliados, mas era militarmente inferior a estes. Sua campanha na África foi desastrosa. Foi o primeiro dos três a capitular. Escolha Estendida • Tema: países envolvidos na Segunda Guerra Mundial • a) França • b) Inglaterra • c) Itália • d) Alemanha • e) Japão • f) Noruega • g) Portugal • h) Espanha • i) União Soviética • j) Holanda • k) Estados Unidos

34. 3) Este país foi invadido no período inicial da Guerra e permaneceu ocupado por vários anos. A parte sul do país manteve autonomia, mas com um governo simpático e submetido aos invasores. Um governo paralelo formou-se na Inglaterra. Escolha Estendida • Tema: países envolvidos na Segunda Guerra Mundial • a) França • b) Inglaterra • c) Itália • d) Alemanha • e) Japão • f) Noruega • g) Portugal • h) Espanha • i) União Soviética • j) Holanda • k) Estados Unidos

35. Características da Escolha Estendida • Opções curtas • E pertencentes à mesma categoria (países no exemplo acima) • Enunciados longos • É o formato padrão • Adotado por várias entidades de licenciamento profissional • O fato de usar mais do que cinco alternativas • Requer alterações nas folhas de resposta • Estudos recentes indicam que 8 alternativas é um número adequado

36. 4) Este três países aliaram-se no início da Segunda Guerra Mundial através de um pacto de suporte político, econômico e militar com o objetivo de estabelecer uma nova ordem mundial. Escolha Estendida com múltiplas respostas • Tema: países envolvidos na Segunda Guerra Mundial • a) França • b) Inglaterra • c) Itália • d) Alemanha • e) Japão • f) Noruega • g) Portugal • h) Espanha • i) União Soviética • j) Holanda • k) Estados Unidos

37. Escolha Estendida com múltiplas respostas • Escolha estendida com múltiplas respostas • Tende a ser mais difícil

38. Síntese até o momento • Melhores formatos: Melhor Resposta Única e Escolha Estendida • Formato aceitável: Associe as Colunas • Formatos não-recomendados: Verdadeiro ou Falso, Melhor Resposta Única Negativa • Enunciados longos, respostas curtas • De preferência, • Ser possível responder sem ler as alternativas

39. Elaboração Problemas que facilitam a resolução

40. Problemas de redação que facilitam a resolução • Dicas gramaticais • A “chave” está melhor redigida • Uso de termos absolutos • A maior parte das coisas é relativa • Alternativas com “sempre”, “nunca”, “todos” e “nenhum” normalmente estão erradas • Resposta correta é mais longa que as outras • A “chave” é mais longa, melhor elaborada e mais completa

41. Problema: dicas lógicas • A população da França é: • a) maior que a da Itália • b) menor que a da Itália • c) do mesmo tamanho que a da Itália • d) composta por apenas uma etnia • e) composta principalmente por jovens • As três primeiras alternativas já dão conta de todas as opções

42. Problema: repetição de palavra do enunciado • Um homem afogou-se na praia. Este tipo de acidente é chamado de: • a) atropelamento • b) enforcamento • c) afogamento • d) aliciamento • e) esmagamento • O enunciado já entrega a resposta

43. Problema: respostas convergentes • Estes dois países foram aliados durante a Segunda Guerra Mundial. Que países são estes? • a) Inglaterra e Alemanha • b) Inglaterra e Itália • c) França e Alemanha • d) França e Itália • e) Alemanha e Itália • Os termos mais frequentes comumente são os corretos

44. Elaboração Problemas que dificultam a resolução

45. Problemas de redação que dificultam a resolução sem necessidade • Opções longas e complicadas • Velocidade de leitura • Passa a ser um fator relevante • Inconsistência nos números • Algumas alternativas com número (15, por exemplo) • Outras com faixa de números (de 10-14, por exemplo)

46. Problemas de redação que dificultam a resolução sem necessidade • Uso de termos vagos para indicar freqüência • “Usualmente”, “comumente”, “frequentemente”, “raramente” • O uso da opção “Nenhuma das anteriores” • Transforma todas as alternativas anteriores em miniquestões de Verdadeiro ou Falso

47. Problema: linguagem não-paralela nas opções • A Alemanha teve boas chances de sair vitoriosa da Segunda Guerra Mundial, pois suas táticas e equipamentos eram avançadíssimos para a época. Entretanto, uma série de decisões estratégicas errôneas resultou em sua derrota. Qual destas decisões erradas foi a mais importante pela derrota? • a) A Alemanha abriu uma segunda frente de batalha ao atacar a União Soviética • b) Muitas tropas foram comprometidas com a defesa da Itália • c) O fornecimento de material bélico para o Japão. • As opções deveriam ser • a) A abertura de uma frente de batalha contra a União Soviética • b) O comprometimento de tropas com a defesa da Itália • c) O fornecimento de material bélico para o Japão

48. Problema: escolha de marcadores mais complexos que o necessário • Ordene os países com relação ao número de soldados mortos durante a Segunda Guerra Mundial do maior para o menor. • I) Alemanha • II) Rússia • III) Inglaterra • IV) Suíça • V) Holanda • Opções: • a) I, II, III, IV, V • b) II, I, III, V, IV • c) V, IV, I, III, II • d) IV, V, III, I, II • O correto seria usar, nas alternativas, o nome dos países

49. Linhas gerais

50. Linhas gerais • Elaborar a questão de maneira que • Seja possível respondê-la mesmo sem as opções • Usar enunciados longos, respostas curtas • Evitar informação supérflua • Evitar questões desnecessariamente complexas