1 / 50

-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas

-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas. Filipe Wall Mutz. Agenda. Motivação Revisão de Literatura A Interface de Correção Componentes do Software Experimentos O Framework Conclusão e Trabalhos Futuros. Motivação.

umeko
Download Presentation

-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. -- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz

  2. Agenda • Motivação • Revisão de Literatura • A Interface de Correção • Componentes do Software • Experimentos • O Framework • Conclusão e Trabalhos Futuros

  3. Motivação

  4. “Para se tornar um bompiloto são necessárias muitas horas de vôo.” Para se tornar um aluno eficaz, é necessária muita prática

  5. Responsabilidades Burocráticase Cargos a desempenhar

  6. Turmas maiores, com grupos heterogêneos

  7. Proposta Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas em menos tempo. Automatização

  8. Revisão de Literatura

  9. Sistema Online de Atividades de Classificação [1] • Disciplina Representação Temática no curso de Biblioteconomia da UFES • O Aluno deveria classificar notícias de jornal • O sistema corrigia automaticamente as respostas dos alunos

  10. Resultados • Alunos motivados a realizarem mais exercícios • Identificação de perfis por meio de relatórios gráficos Nivelamento do Aprendizado na Turma

  11. Sistema Online de Atividades de Indexação [2] • Disciplina Representação Temática II no curso de Biblioteconomia da UFES • O aluno deveria preencher quadros de indexação com base na análise sistemática de textos • Professor passou a corrigir grupos de respostas.

  12. Resultados De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

  13. A Interface de Correção

  14. 10 10 10

  15. Componentes do Software

  16. O Modelo Vetorial de Representação de Documentos • Objetivo: transformar textos em vetores (pontos no espaço) • Como: Contando a frequência das palavras importantes

  17. Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?” Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.” Resposta 2: “Entidades, relacionamentos e atributos.” Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”

  18. Resposta 1: “Itens dados Entidade atributo relacionamento” Resposta 2: “Entidades relacionamentos atributos.” Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”

  19. A Seleção da Ordem de Correção • Corrigir primeiro respostas que provavelmente possuem notas diferentes • Farthest Insertion usando as representações vetoriais das respostas

  20. 1 4 3 2

  21. 1 4 7 9 5 8 3 2 6

  22. A Predição de Notas • Respostas parecidas terão notas parecidas • A Predição é atualizada a cada rodada de correções

  23. Nota 10 8.40 4.90 5.78 2.39 3.70 Nota 5 3.55 Nota 0

  24. Pontos de Parada • A predição será boa quando se aproximar da nota dada pelo humano • Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

  25. Nota Estimada: 4.89 Nota 10 Erro Médio Estimado: 4.43 Nota 5 Nota 0 Nota Estimada: 5.63 Nota Estimada: 7.59

  26. Experimentos

  27. Turma de SGBD da UFES • 25 questões e 320 respostas

  28. Turma de SGBD da UFES

  29. Turma de SGBD da UFES • Tempo para correção manual: 5h 18min • Tempo com uso do sistema: 54min Economia de 4h e 26min com uma taxa de acerto de 69.43%

  30. Turma de Introdução à Computação da Universidade do Norte do Texas • 80 questões e 2273 respostas

  31. Turma de Introdução à Computação da Universidade do Norte do Texas

  32. Turma de Introdução à Computação da Universidade do Norte do Texas • Tempo para correção manual: 1d 13h 41min • Tempo com uso do sistema: 5h 31min Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

  33. Conclusão e Trabalhos Futuros

  34. Contribuições • Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas • Protótipo de ferramenta. • Experimentos com bases de dados em português e em inglês.

  35. Resultados • O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês • Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

  36. Trabalhos Futuros • Estudo de novos algoritmos de seleção, predição e de parada • Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas • Realização de experimentos • Bases de Dados • Ferramentas de Recuperação da Informação

  37. Referências • OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008. • OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. ProceedingsofXI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.

More Related