1 / 19

Wstęp do automatycznego oceniania zadań otwartych

Wstęp do automatycznego oceniania zadań otwartych. Leszek Rudak Wydział Matematyki, Informatyki i Mechaniki UW; COME UW. Zadania otwarte. Zadania rozszerzonej odpowiedzi pozytywny wpływ na uczenie się ocenianie mało obiektywne, czasochłonne Zadania z luką obiektywne ocenianie

rosina
Download Presentation

Wstęp do automatycznego oceniania zadań otwartych

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Wstęp do automatycznego oceniania zadań otwartych Leszek Rudak Wydział Matematyki, Informatyki i Mechaniki UW; COME UW

  2. Zadania otwarte • Zadania rozszerzonej odpowiedzi • pozytywny wpływ na uczenie się • ocenianie mało obiektywne, czasochłonne • Zadania z luką • obiektywne ocenianie • ciążenie ku niskim kategoriom celów kształcenia (zapamiętywania pojedynczych wiadomości) • Zadania krótkiej odpowiedzi • niepodatność na zgadywanie • niepełny obiektywizm oceniania (wg B. Niemierko)

  3. Zadanie rozszerzonej odpowiedzi • Odpowiedź rozwinięta wypowiedź pisemna (rozprawka); oceniane: • samodzielność ucznia w konstruowaniu rozprawki i wnioskowaniu; • wspieranie tekstu ilustracjami (diagramami, wykresami); • dobór języka wypowiedzi przez ucznia; • strona formalna (uporządkowanie informacji, jasność tekstu); • Ocenianie automatyczne w e-edukacji: niemożliwe (na razie?)

  4. Zadania z luką • Odpowiedź wstawienie odpowiedniego słowa, wyrażenia, symbolu, liczby lub umownego znaku jako uzupełnienie zwrotu, zdania, fragmentu tekstu, wyrażenia matematycznego lub rysunku (B. Niemierko) • Ocenianie automatyczne w e-edukacji: możliwe i łatwe

  5. Zadania krótkiej odpowiedzi • Odpowiedź • jedno słowo, liczba, symbol, pełne zdanie, wyrażenie matematyczne, niekiedy 2 - 3 zdania • Ocena automatyczna w e-edukacji • jeżeli wymagane jest jedno słowo, liczba lub wyrażenie: łatwa • jeżeli wymagane jest jedno lub więcej pełnych zdań...

  6. Odpowiedź • Zadanie krótkiej odpowiedzi wymagające jednego lub kilku pełnych zdań. Właściwe słowa we właściwej kolejności.

  7. Podstawy automatycznej oceny • Odpowiedź wzorcowa (jedynie poprawna -w kilku wariantach) • Wzór poprawnej odpowiedzi przygotowany przez autora zadania • Analiza statystyczna • Wspólne cechy statystyczne (wyrazy, zwroty) odpowiedzi ocenionych pozytywnie • „Text mining” – episoderules

  8. Założenie • Mam: • zbiór odpowiedzi na konkretne pytanie (w jednolitej postaci plików .TXT) • oceny dla wszystkich odpowiedzi nadane przez ekspertów (w jednolitej skali liczbowej) • Szukam: • cech odróżniających odpowiedzi z różnymi ocenami • algorytmu wyznaczania oceny zgodnej z oceną ekspertów

  9. Metodologia • Metodologia z „Data Mining”: • Zbiór odpowiedzi uznaję za „tablicę decyzyjną”: • 2 atrybuty: tekst i ocena • atrybut decyzyjny – ocena • Dzielę tablicę na dwie części • zbiór „treningowy”, ok. 80% • zbiór „testowy” pozostałe 20% • Mechanizm oceniania wyznaczam ze zbioru treningowego, stosuję do zbioru testowego i porównuję oceny automatyczne i eksperckie

  10. Oczekiwania (statystyka) • Hipotezy • Istnieje (niewielki) zbiór wyrazów, których wystąpienie w tekście odpowiedzi wyznacza pewien poziom oceny • Wystąpienie co najmniej połowy wyrazów z podanego zbioru decyduje o wyznaczeniu oceny • Istnieją zwroty (następujące po sobie wyrazy) charakterystyczne dla konkretnej oceny • Wystąpienie jednego, wielu, co najmniej 2, itp. zwrotów z podanej listy decyduje o przyznaniu oceny związanej z tymi zwrotami

  11. Czy warto to badać zwroty? • Zadanie: Co oznacza określenie organizacji pozarządowych jako „organizacji skierowanych na wartości”? • Wyniki: • 62 odpowiedzi (od 287 do 3756 znaków) • 23 ocenione na 5; 30 na 4; 9 na 3

  12. Czy warto badać zwroty? (cd) Co oznacza określenie organizacji pozarządowych jako „organizacji skierowanych na wartości”?

  13. Czy warto badać słowa? • Zadanie: • Czy czyn spełniony w oczekiwaniu nagrody jest częściowo czynem nieetycznym? • Wyniki: • 70 odpowiedzi • 17 ocenione na 5; 37 na 4; 16 na 3

  14. Czy warto badać słowa? (cd) Czy czyn spełniony w oczekiwaniu nagrody jest częściowo czynem nieetycznym?

  15. „Prawdziwy” test słownictwa Czy czyn spełniony w oczekiwaniu nagrody jest częściowo czynem nieetycznym? TRENING

  16. Wynik testu

  17. Oprogramowanie Wykorzystałem oprogramowanie w wersji demonstracyjnej: QDA Miner, WordStat firmy Provalis Research

  18. Oczekiwania (Text Mining) • Odnalezienie (skonstruowanie) takiego zbioru reguł, że spełnienie jednej, dwóch, trzech... z nich uprawnia do wystawienia związanej z regułami oceny. • Postać reguł: automatyczne, ocenianie, zadań [4]  otwartych [5] jeżeli w ciągu 4 kolejnych wyrazów występują: automatyczne ocenianie zadań to w ciągu 5 kolejnych wyrazów wystąpi wyraz otwartych

  19. Bibliografia • B. Niemierko, Pomiar wyników kształcenia, WSiP 1999 • H. Ahonen, O. Heinonen, M. Klemettinen, A. Inkeri Verkamo, Applying Data Mining Techniques in Text Analysis, Report C-1997-23, Department of Computer Science, University of Helsinki, 1997 • R. Feldman, J. Sanger,THE TEXT MINING HANDBOOK. Advanced Approaches in Analyzing Unstructured Data, Cambridge University Press, New York, 2006 • M. Kantardzic,Data Mining: Concepts, Models, Methods, and Algorithms, Wiley-IEEE Press, 2002

More Related