Методи та засоби автоматичної генерації тестових завдань різних форм

1. Тернопільський національний економічний університет Факультет комп’ютерних інформаційних технологій Методи та засоби автоматичної генерації тестових завдань різних форм Мельник Андрій Миколайович Науковий керівник: к.ф-м.н., доцент Пасічник Роман Мирославович 1

2. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Актуальність досліджень • В умовах науково-технічного прогресу, розвитку нових технологій та підвищення ступеня інформатизації суспільства зростають вимоги до ефективності процесів навчання та перепідготовки кадрів. Використання традиційних методів навчання та контролю знань не може забезпечити підвищення ефективності навчального процесу, тому особливої актуальності набувають методи автоматизованого навчання і контролю знань • Багато досліджень у галузі комп’ютерного контролю знань зосереджені на питаннях валідності і надійності тестів, питання формування самого банку завдань у більшості випадків залишається виключно прерогативою викладача . Такий підхід характеризується великими часовими та інтелектуальними затратами на створення завдань. • Індивідуальний підхід до організації навчального процесу вимагає управління складністю тестових завдань • Управління процесом навчання з метою мінімізації часу навчання для досягнення бажаного результату дозволяє ефективно використовувати ресурси навчальної системи 2

3. Представлення тестових завдань Інформаційний зміст Текстове наповнення Алгоритмічне наповнення Форми тестових завдань Закриті Відкриті • - Множинний вибір • - Альтернативні (Так/Ні) • Заповнення прогалин • у тексті • - Числове питання • На встановлення • відповідності • - Завдання перестановки Завдання, які не мають варіантів відповідей 3

4. Аналіз відомих підходів до автоматизації створення тестових завдань Підходи Параметризовані тести Застосування семантичних мереж Понятійно-тезисна модель 4

5. Параметризовані тести Технологія – формуються шаблонні тестові завдання, які відрізняються певними параметрами, що генеруються автоматично. При якому значенні X, рівняння не матиме допустимих розв’язків Змінний Параметр Основа тесту 5

6. Підхід на основі семантичних мереж Технологія – завдання тесту будується шляхом опущення однієї з ланок “тріади” (сутність_1-відношення-сутність_2) і постановкою запитання про відсутню ланку. Основа тесту Основа тесту відношення Диференціальні рівняння описують… сутності - зв'язок між невідомою функцією та її похідними; - рівняння; - залежність між змінними; альтернативи 6

7. Понятійно-тезисна модель Технологія – Центральною структурною ідеєю для формування тестових завдань є зв’язок “навчальний матеріал”—“тези”—“поняття”. Генерація тестів відбувається на основі створених тестових шаблонів. Навчальний матеріал Поняття Теза • Вкажіть твердження, що стосується поняття <імя_поняття> • <Теза1> • <Теза …> • <Теза N> Основа тесту Альтернативи 7

8. Вибір основи формалізації навчального матеріалу Лінгвістична форма представлення знань Основні функції мови Комунікативна Когнітивна Емоційна 8

9. Система когнітивних класів Пізнавальна функція (розв’язання проблем) Понятійний апарат (означення) Опис проблеми (постановка задачі) Розв’язання проблеми (метод) Постановка задачі Ідея методу Специфіка проблеми Механізм реалізації методу Застосовність методів до проблеми Схема методу 9

10. Інформаційна структура компонентів та зв’язків для текстових класів (1) Текстове означення - текстове твердження визначеної структури; • - зміст компоненти; , - ідентифікатори елементів; - зв’язок, і тип зв’язку між компонентами; - ідентифікатор когнітивного класу; (2) Початкова компонента твердження (3) • кількість тверджень конкретного семантичного об’єкта; • кількість компонент і- го означення • множина основних компонент тверджень семантичного об’єкта • множина ідентифікаторів основних компонент 10

11. Фрагмент контенту когнітивного класу “Означення” SQL— мова структурованих запитів, яка застосовується для взаємодії користувача з базами даних, формування запитів, оновлення і керування реляціними БД. Сам по собі SQL не є ні системою керування базами даних, ні окремим програмним продуктом. …… SELECT — оператор мови, який повертає рядки з однієї чи багатьох таблиць. Запит SELECT описує кінцеві дані, однак, не вказує, які саме операції слід виконати для отримання цих даних 11

12. Інформаційна структура компонентів та зв’язків для алгоритмічних класів (4) Схема методу - схема методу; - ідентифікатор обов’язковості; • - компонента схеми; , - ідентифікатори елементів; - назва методу; - ідентифікатор когнітивного класу; - лінгвістичний опис операцій; 12

13. Фрагмент контенту когнітивного класу “Схема методу” SELECT [предикат] { * | таблица.* | [таблица.]поле_1[ASпсевдоним_1] [, [таблица.]поле_2 [ASпсевдоним_2] [, ...]]}FROM выражение [, ...] [IN внешняяБазаДаних    [WHERE... ]    [GROUP BY... ]    [HAVING... ]    [ORDER BY... ][WITH OWNERACCESS OPTION] 13

14. Загальна схема побудови тестових завдань Параметри набору тестових завдань Система когнітивних класів Методи генерації тестових завдань Тестові завдання Навчальний матеріал Однорідні компоненти тверджень і зв’язки 14

15. Формальне представлення згенерованих тестових завдань Структура тесту (5) Основа тесту (6) (7) Множина альтернатив (8) Елементи альтернатив (9) Узгодженість зв’язків (10) Умова правильності (11) 15

16. Схема генерації тестового завдання 16

17. Метод генерації тестового завдання множинного типу • Вибрати розділ навчального матеріалу та семантичний клас. • Вибрати екземпляр семантичного класу. • Вибрати випадкову точку розриву, нехай її рівень - k. • Зафіксувати основу тесту, першу вірну альтернативу, та тип зв’язку першої компоненти цієї альтернативи • Вибираємо рівня k вибраного екземпляра, формуючи вірні альтернативи • Вибираємо випадкові екземпляри класу в кількості , в яких присутній тип зв’язку . Вибираємо випадкову точку розриву по елементах із типом зв’язку . • Якщо вибраний випадково екземпляр співпадає із екземпляром основи тесту, то рівень точки розриву не дорівнює k, що забезпечує формування невірних альтернатив. 17

18. Приклади згенерованих тестових завдань Множинний вибір Компоненти твердження Тип зв’язку 18

19. Модифікація алгоритму генерації тестового завдання альтернативного типу • Вибрати розділ навчального матеріалу та семантичний клас. • Вибрати екземпляр семантичного класу. • Вибрати випадкову точку розриву, нехай її рівень - k. • Зафіксувати першу частину основи тесту та тип зв’язку наступної компоненти • Випадковим чином вибрати істинність другої частини основи тесту. • Перша компонента другої частини основи тесту повинна мати узгоджений тип зв’язку. При її істинності вона вибирається із фіксованого екземпляра, а при хибності – з інших екземплярів. Особливості алгоритму генерації тестового завдання типу заповнення прогалин в тексті • На основі певного екземпляру формуємо випадкове твердження. Випадковим чином вибираємо компоненту, яку замінюємо прогалиною, а саму компоненту переносимо в множину альтернатив. • Інші альтернативи вибираємо з компонент інших екземплярів класу того самого рівня, узгоджених по типу зв’язку. 19

20. Приклади згенерованих тестових завдань Заповнення прогалин у тексті На встановлення відповідності Альтернативні (Так/Ні) 20

21. Приклади згенерованих тестових завдань з алгоритмічним наповненням Відновлення послідовності Альтернативні (Так/Ні) 21

22. Автоматична генерація відкритих тестових завдань Система когнітивних класів Система тестових завдань Вірний результат Інтерпретатор лінгвістичних компонент Проблемні ситуації Результат студента Результат студента 22

23. Метод генерації відкритого тесту 23

24. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань (12) - основна частина тестового твердження; - альтернативні специфікації тестового твердження; - кількість альтернатив; Оцінку складності альтернатив здійснимона основі показника композиційної близькості (13) - градація впливу близькості; Експериментально встановлено також, що на складність ідентифікації альтернатив впливає її достовірність(автентичність) (14) 24

25. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Адаптивно-структурний метод оцінки складності тестових завдань - оцінка сили впливу кількості заздалегідь невірних альтернатив на її складність; - градація достовірності; - кількість альтернатив; (15) (16) - показник, що характеризує негативне представлення основної частини тестового твердження; Адитивно-мультиплікативна модель складності твердження : (17) (18) (19) 25

26. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Процедура ідентифікаціїмоделі складності (20) (21) де - відносна складність; (22) де - частота неправильних відповідей; (23) (24) (25) де - похибка ідентифікації; 26

27. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Аналіз похибки та стійкості процедури ідентифікації функції складності Апроксимація відносних частот функції складності (модельована відносна складність тесту (1), відносна частота помилок (2), відхилення прогнозованої складності від частоти (3)) Порівняння функції складності для різних експериментів (модель складності по повній виборці (1), модель складності по редукованій виборці (2), відхилення прогнозованої складності ) Інтервальна оцінка відхилення прогнозованої складності для різних варіантів вибірок склала[0.009 0.063] 27

28. Реалізація системи управління процесом навчання По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Головне інформаційне вікно Опрацювання навчальних матеріалів Формалізований конспект 28

29. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Згенерований тест 29

30. По материалам конференции ETOP-2003 По материалам конференции ETOP-2003 Висновки • Запропоновано методи автоматичної генерації тестових завдань відкритого і закритого типів, яка в порівнянні з відомими дозволяє будувати тестові завдання з достатньою педагогічною цінністю, вимагає менших часових затрат при формалізації навчальних матеріалів, а обґрунтована структура когнітивних класів дозволяє уникати неправильних класифікаційних відношень. • Запропоновано критерій та метод оцінки складності тестових завдань, який можливо ефективно застосовувати для автоматичної генерації тестових завдань заданої складності і вимагає вибірки менших розмірів при ідентифікації у порівнянні з відомими; • Адаптивне управління структурою навчального процесу при автоматичній генерації тестів із врахуванням їх складності забезпечує суттєву економію часових затрат без втрати ефективності, яку дозволяє будувати покращені оперативні навчальні стратегії в межах локальних тем або модулів. • Розроблені методики в комплексному рішенні дозволяють ефективно управляти процесом навчання. 30