-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas

1. -- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz

2. Agenda • Motivação • Revisão de Literatura • A Interface de Correção • Componentes do Software • Experimentos • O Framework • Conclusão e Trabalhos Futuros

3. Motivação

4. “Para se tornar um bompiloto são necessárias muitas horas de vôo.” Para se tornar um aluno eficaz, é necessária muita prática

5. Responsabilidades Burocráticase Cargos a desempenhar

6. Turmas maiores, com grupos heterogêneos

7. Proposta Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas em menos tempo. Automatização

8. Revisão de Literatura

9. Sistema Online de Atividades de Classificação [1] • Disciplina Representação Temática no curso de Biblioteconomia da UFES • O Aluno deveria classificar notícias de jornal • O sistema corrigia automaticamente as respostas dos alunos

11. Resultados • Alunos motivados a realizarem mais exercícios • Identificação de perfis por meio de relatórios gráficos Nivelamento do Aprendizado na Turma

13. Sistema Online de Atividades de Indexação [2] • Disciplina Representação Temática II no curso de Biblioteconomia da UFES • O aluno deveria preencher quadros de indexação com base na análise sistemática de textos • Professor passou a corrigir grupos de respostas.

15. Resultados De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

16. A Interface de Correção

21. 10 10 10

24. Componentes do Software

26. O Modelo Vetorial de Representação de Documentos • Objetivo: transformar textos em vetores (pontos no espaço) • Como: Contando a frequência das palavras importantes

27. Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?” Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.” Resposta 2: “Entidades, relacionamentos e atributos.” Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”

28. Resposta 1: “Itens dados Entidade atributo relacionamento” Resposta 2: “Entidades relacionamentos atributos.” Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”

32. A Seleção da Ordem de Correção • Corrigir primeiro respostas que provavelmente possuem notas diferentes • Farthest Insertion usando as representações vetoriais das respostas

33. 1 4 3 2

34. 1 4 7 9 5 8 3 2 6

35. A Predição de Notas • Respostas parecidas terão notas parecidas • A Predição é atualizada a cada rodada de correções

36. Nota 10 8.40 4.90 5.78 2.39 3.70 Nota 5 3.55 Nota 0

37. Pontos de Parada • A predição será boa quando se aproximar da nota dada pelo humano • Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

38. Nota Estimada: 4.89 Nota 10 Erro Médio Estimado: 4.43 Nota 5 Nota 0 Nota Estimada: 5.63 Nota Estimada: 7.59

39. Experimentos

40. Turma de SGBD da UFES • 25 questões e 320 respostas

41. Turma de SGBD da UFES

42. Turma de SGBD da UFES • Tempo para correção manual: 5h 18min • Tempo com uso do sistema: 54min Economia de 4h e 26min com uma taxa de acerto de 69.43%

43. Turma de Introdução à Computação da Universidade do Norte do Texas • 80 questões e 2273 respostas

44. Turma de Introdução à Computação da Universidade do Norte do Texas

45. Turma de Introdução à Computação da Universidade do Norte do Texas • Tempo para correção manual: 1d 13h 41min • Tempo com uso do sistema: 5h 31min Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

46. Conclusão e Trabalhos Futuros

47. Contribuições • Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas • Protótipo de ferramenta. • Experimentos com bases de dados em português e em inglês.

48. Resultados • O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês • Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

49. Trabalhos Futuros • Estudo de novos algoritmos de seleção, predição e de parada • Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas • Realização de experimentos • Bases de Dados • Ferramentas de Recuperação da Informação

50. Referências • OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008. • OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. ProceedingsofXI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.