Тесты как способ независимой оценки знаний и компетенций студентов

1. Тесты как способ независимой оценки знаний и компетенций студентов Денисова Диана Аркадьевна к.т.н., директор ЦТ, доцент кафедры «ОиТФ»

2. К ИСТОРИИ ВОПРОСА Гальтон (Galton F.; 1882-1911) ввел в теорию тестирования три фундаментальных принципа: • Применение серии одинаковых испытаний к большому количеству испытуемых. • Статистическая обработка результатов. • Выделение эталонов оценки. 1947 г. США: создана общегосударственная служба тестирования в образовании. В России тесты достижений использовались до 1936 г. и с 70-х гг.

3. ПРОБЛЕМЫ Многие из уже созданных и использующихся тестов существенно отличаются по качеству: обнаруживаются серьезные ошибки как в отдельных элементах тестовых заданиях, так и при построении теста в целом. Недостаточное количество систематизированных руководств по разработке тестов достижений. В апреле 2000 года издан приказ о сертификации качества педагогических тестовых материалов и создан Координационный совет Минобразования РФ по вопросам сертификации качества тестовых материалов.

4. МЕСТО ТЕСТИРОВАНИЯ В ПЕДАГОГИЧЕСКОЙ ПРАКТИКЕ • Школьные учреждения и связанные с ними структуры. • Высшие учебные заведения и техникумы. Стимулируют разработку стандартизированных процедур контроля за достижениями учащихся три фактора: • появление различных типов учебных заведений (лицеев, гимназий, колледжей и так далее), обучение в которых проводится по экспериментальным и авторским учебным планам и программам; • появление ГОС; • отбор абитуриентов.

5. Житейское понимание: «проба, проверка, испытание». ТЕСТ: ПОНЯТИЕ, ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ ХАРАКТЕРИСТИКИ ТЕСТА: Научное понимание «фиксированное по времени, стандартное испытание служащее для установления количественных и качественных различий по некоторым признакам между людьми или группами людей. 1. Краток по времени. 2. Действует прицельно. 3. Возможно сравнение результатов различных людей и сравнение результатов одного человека во времени.

6. Основания для классификации тестов • по наличию и отсутствию правильного ответа; • по принципу их конструирования; • по характеру ответов на задания; • … Классификация тестов (по предмету психодиагностики) • тесты диагностики состояний; • тесты диагностики общих способностей; • тесты диагностики специальных способностей; • ТЕСТЫ УЧЕБНЫХ ДОСТИЖЕНИЙ (ТД); • тесты диагностики черт личности; • тесты диагностики мотивации; • …

7. – диагностируют достигнутый уровень знаний, умений и навыков; – оценивают, что человек знает и что умеет делать к настоящему времени; – проводятся по итогам обучения. ТЕСТЫ ДОСТИЖЕНИЙ: НАЗНАЧЕНИЕ, ВИДЫ НАЗНАЧЕНИЕ ТД: ВИДЫ ТД: 1. Широкоориентированные. 2. По конкретным учебным предметам. 3. По конкретным темам и комплексам тем.

8. Широкоориентированные ТД Рассчитаны на: продолжительное время обучения; универсальные области обучения. Позволяют смотреть, как развивается учащийся. Например, тесты на: • понимание научных принципов; • понимание прочитанного; • логическое мышление.

9. Тесты достижений по конкретным учебным предметам Ориентированы на целостные курсы обучения в школе, вузе. Помогают оценить знания конкретных учащихся, качество обучения. Тесты достижений по конкретным темам и комплексам тем Позволяют оценивать знания и отслеживать их динамику. Как правило, создаются и проводятся педагогами, преподающими данные дисциплины.

10. Характеристики тестов Надежность теста точность и устойчивость процедуры измерения, ее независимость от случайных варьирующихфакторов. Признаки надежности теста: • измеряет некое качество; • делает это устойчиво во времени; • позволяет сравнивать результаты испытуемых. Факторы, снижающие надежность теста: • Внешние. • Внутренние. • Социально-информационные. коэффициент надежности < или = 0,7-0,8.

11. Валидность теста Причина неравенства Валидность ≤ Надежности характеристика теста, указывающая на его способность измерять именно то, для чего он предназначен. • Надежный тест измеряет некое качество. • Валидный тест измеряет качество, которое мы хотим измерить. Критерии валидизации • мнение педагогов; • академические оценки; • результаты контрольных проверок; • показатели в профессиональной сфере.

12. Дискриминативность способность теста дифференцировать испытуемых по изучаемому признаку. Репрезентативность свойство выборочной совокупности представлять характеристики генеральной совокупности. Длительность Оптимальное время тестирования – время от начала процедуры до момента наступления утомления. Рекомендации: 1. Время не более 60 минут 2. Длина теста не более 60-70 заданий. 3. Первая половина дня. 4. Середина недели.

13. Измерительные шкалы В педагогическом измерении чаще всего используются: • Процентильная шкала • Шкала интервалов (для оценки и сравнения результатов тестирования) Процентильная шкала Характеризует относительное положение испытуемых. Процентиль — процент испытуемых из выборки стандартизации, которые получили равный или более низкий балл, чем балл данного испытуемого.

14. Шкалы интервалов Позволяют точно оценить уровень развития диагностируемого качества каждого испытуемого в сравнении с данной группой. Пример: шкала IQ : М = 100 и σ = 15; • Любые тестовые заключения при использовании статистических тестовых норм являются относительными. • Они зависят от той выборки, на которой производилась стандартизация теста. Пример: если тест проходил стандартизацию на студентах, то перед его применением на школьниках следует вначале произвести РЕСТАНДАРТИЗАЦИЮ.

15. Цель: упорядочение испытуемых по уровню подготовленности. Нормативно-ориентированные и критериально-ориентированные тесты Нормативно-ориентированный тест Ранжирует испытуемых по уровню знаний. Критериально-ориентированный тест Выявляет факт усвоения испытуемым данного материала. Цель: выяснить, знает ли испытуемый стандартный материал.

16. ПРИНЦИПЫ РАЗРАБОТКИ ТЕСТОВЫХ ЗАДАНИЙ Эффективным является такой тест, который «лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности, с меньшим числом заданий, качественнее, быстрее, и все это - по возможности одновременно». В.С. Аванесов По В.C. Аванесову задание в тестовой форме это педагогическое средство, отвечающее следующим требованиям: • Цель. • Краткость. • Технологичность. • Логическая форма высказывания. • Определенность места для ответов. • Одинаковость правил оценки ответов. • Правильность расположения элементов задания. • Одинаковость инструкции для всех испытуемых. • Адекватность инструкции форме и содержанию задания.

17. ВАЖНО! • Следует различать задания в тестовой форме и тестовые задания. • Только после статистической проверки задание в тестовой форме может стать тестовым заданием. • Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий! Тестовое задание – это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: • известной трудности • дифференцирующей способности • положительной корреляции баллов заданияс баллами по всему тесту, а также другим математико-статистическим требованиям.

18. Вопросы, которые должен решить авторпри разработке теста: Этапы подготовки банка ТЗ • Каково должно быть содержание тестовых заданий? • Как правильно сконструировать тестовые задания? • Как правильно составить из тестовых заданий тесты? • Как убедиться в валидности, надежности, дискриминативности тестов и при необходимости скорректировать их? • Определение структуры учебной дисциплины. • Отбор содержания учебного материала. • Формулировка тестовых заданий. • Экспертиза качества ТЗ. • Определение целей тестирования. • Конструирование технологической матрицы и ее экспертиза. • Построение выборки для предварительного испытания теста. • Апробация теста и изучение результатов. • Стандартизация теста. • Подготовка учебных материалов для публикации.

19. Определение структуры учебной дисциплины и отбор учебного материала • Содержание тестовых заданий для контроля усвоения знаний по конкретной дисциплине определяется в первую очередь рабочей программой дисциплины, которая в свою очередь составляется в соответствии с государственным образовательным стандартом (ГОС ВПО или ФГОС ВПО). • Авторы – разработчики теста (преподаватели) должны определить наиболее существенные, ключевые понятия и определения курса, для проверки понимания которых и будут далее сформулированы тестовые задания.

20. Проведение анализа требований ГОС (ФГОС) по дисциплине, выбранной для разработки АПИМ. Для этого необходимо выделить раздел содержания дисциплины (как правило, 6-12 разделов – дидактических единиц (ДЕ)). Для отсроченного (остаточного) контроля выбираются те ДЕ, которые применяются для освоения последующих дисциплин учебного плана. • Выделение числа важнейших тем в каждой дидактической единице ГОС, по которым верно выполненные задания свидетельствуют об освоении каждой ДЕ. Следует ограничить число таких тем для ДЕ в пределах 3-7. Как правило, в АПИМ включается одно задание по каждой выбранной теме.

21. Утверждение (административно) перечня ДЕ дисциплин, подлежащих контролю при аттестации данной образовательной программы учебного заведения. • Определение минимальной степени освоения при обученности каждой ДЕ дисциплины и соответствующего уровня деятельности при контроле в соответствии с ГОС (ФГОС) по специальности (направлению подготовки). ВАЖНО! • Дидактическая единица ГОС (ФГОС) – это логически завершенная часть рассматриваемого материала дисциплины. • Тема тестового задания в тематической структуре теста – это совокупность тестовых заданий одного блока учебного материала. • На одну тему предоставляются тестовые задания в зависимости от объема темы и количества испытуемых (как правило, – одно задание но каждую тему).

22. Первый этап разработки БТЗ позволяет: • создать структуру дисциплины в целом, которая представлена в виде совокупности дидактических единиц; • разбить дидактические единицы на отдельные пункты/параграфы изучения материала дисциплины, в соответствии с которыми необходимо создать тематические тестовые задания. После определения содержания тестирования для конструирования тестовых заданий рекомендуется составить технологическую матрицу теста.

23. Технологическая матрица БТЗ: • представляет в компактной форме информацию о структуре БТЗ, составных дидактических единицах, видах используемых интеллектуальных действий при выполнении определенного количества тестовых заданий; • может быть построена с разной степенью детализации; • может быть разработана как по всему содержанию дисциплины, так и по отдельным, наиболее крупным темам или нескольким логически связанным темам дисциплины. Вид технологической матрицы БТЗ выбирается разработчиком БТЗ самостоятельно, но в ней должны быть отражены контролируемые дидактические единицы, их содержание, т.е. название и количество тестовых заданий, виды проверяемых интеллектуальных действий. Перед тем как приступить к конструированию тестовых заданий, полезно сделать список объектов контроля: основных понятий, фактов, принципов, условий работы чего-то и т.п.

24. Технологическая матрица БТЗ дисциплины«Современные средства оценивания результатов обучения»

25. Конструирование тестовых заданий В тестах учебных достижений выделяют следующие формы тестовых заданий: • закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания); • открытая; • на установление соответствия; • на установление правильной последовательности. Выбор формы ТЗ зависит прежде всего от цели тестирования, содержания теста, технических возможностей, а также уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

26. Задание в закрытой форме - задание, к которому дается список ответов. *Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

27. Задание в открытой форме - требует ответа, сформулированного самим обучаемым (подразделяются на задания со свободным (т. е. произвольным) ответом и на задания с ограничениями на ответ). Примеры возможных ограничений: • ограничение по количеству слов в ответе (рекомендуется не более двух) или ограничение длины поля ввода; • ограничение по характеру вводимой информации (численная или текстовая); • ограничения в формате ввода ответа (например, указание, с какой точностью должна быть введена десятичная дробь или как вводить символы, отсутствующие на клавиатуре). Все ограничения вводятся с единственной целью: чтобы тестирующая программа могла сравнить ответ испытуемого с хранящимся в ее памяти правильным ответом и выявить их соответствие или несоответствие.

28. Задание на установление соответствия - задания, в которых объектам одной группы надо поставить в соответствие объекты другой группы. *Пример задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

29. Задание на упорядочение (на установление правильной последовательности) - задания, в которых требуется определить порядок следования предложенных объектов (символов, слов, формул, рисунков). *Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.

30. ВАЖНО! • Одни и те же задания могут быть представлены в различных формах. Следует выбирать ту из них, в которой вопрос формулируется более кратко и понятно, а вероятность угадывания правильных ответов меньше. • Если задания в различных формах выглядят в равной степени эффективными, то выберите из них тот тип, который менее всего представлен в тесте.

31. I. Требования к названию БТЗ II. Требования к названию теста Для всех курсов одной дисциплины - единый БТЗ. Название БТЗ совпадает с названием дисциплины по ГОС. В исключительных случаях (различные требования по ГОС): допускается формирование разных БТЗ для курсов одной дисциплины, название может совпадать с названием курса. Пример: Общая физика Отечественная история Название теста формируется в соответствии со следующими правилами: пишется название курса, запятая, пробел, тест или АКР, запятая, пробел, модуль№. Пример: Отечественная история, тест, модуль2 Физика1/3, АКР, модуль7

32. III. Требования к структуре БТЗ Структура БТЗ формируется в соответствии со структурой дидактических единиц. Если руководитель дисциплины предлагает иную структуру, то данное изменение должно быть обосновано. Рекомендуемое количество уровней в структуре БТЗ – четыре. Пример: дисциплина «Общая физика»

33. Перечень дидактических единиц по дисциплинам со структурой до второго уровня для каждой специальности представлен на официальном сайте ФЭПО: http://www.fepo.ru

34. Где можно взять информацию по дидактическим единицам дисциплины? Раздел «МЕТОДИЧЕСКАЯ ПОДДЕРЖКА» – подраздел «тестовые материалы» сайт http://www.fepo.ru

35. Содержание государственных образовательных стандартов, структуры АПИМ и демо-варианты

36. Выбрать шифр направления подготовки/специальности и дисциплину – нажать кнопку «Вывести содержание ГОС, структуру АПИМ и демо-вариант»

38. ВАЖНО! • Официально утвержденных Министерством образования стандартных требований к составлению тестовых заданий на сегодняшний день нет. • Приведенные ниже требования носят рекомендательный характер. Требования ксоставлению тестовых заданий • Тестовое задание (ТЗ) должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового утверждения. • Содержание задания должно отвечать требованиям ГОС. • Все варианты ответов должны быть грамматически согласованы с основной частью задания. • Избегайте вводных слов и предложений, а также таких слов как «иногда», «никогда», «всегда», «часто», «каждый» и т.п., в которых обычно содержится двусмысленность или противоречие.

39. Тестовое задание не должно содержать повторов, двойных отрицаний и сленга. Не следует использовать отрицание (тестироваться должны позитивные знания!). • В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора. • Формулировка тестового задания должна быть выражена в повествовательной форме, в форме логического высказывания (вопрос исключается). • В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.) Чем лаконичнее задание, тем лучше оно воспринимается. Пример: • Выберите из перечисленного ниже списка факторы, влияющие на … : • Факторы, влияющие на … :. • Ответ на поставленный вопрос не должен зависеть от предыдущих ответов студента. • Формулировки заданий и ответов должны быть краткими, ясными и не содержать прямых или скрытых подсказок.

40. Требования к заданиям закрытого типа: • Не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. • Лучше «длинный» вопрос и «короткие» ответы, чем наоборот. • Количество дистракторов в задании должно находится в пределах от 4 до 6. • Недопустимы ответы типа: все вышеперечисленное верно, все указанные ответы неверны и т.д. • Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения. • Задание должно быть составлено с учетом того, что среднее время его предъявления на экране составляет 2-3 минуты (максимум – 5 минут), из которых на ответ отводится около одной минуты.

41. Рекомендации по назначению нормы трудности тестовых заданий (Попов Д.И., МГУП, Москва) Наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ - на упорядочение и на соответствие. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Норма трудности ТЗ может оцениваться с учетом количества используемых формул, правил, аксиом и т.д., необходимых для поиска правильного решения. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ. К простым относят ТЗ: • направленное на «опознание» какого-то объекта или на проверку «знания-знакомства». • направленное на выбор одного варианта ответа из многих с помощью знания всего одного концепта (формулы, правила, аксиомы и т.д.). • открытого типа, направленное на выявление знания определения односложного базового термина.

42. К среднему уровню сложности относят ТЗ: • направленное на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях, с которыми знаком испытуемый) или на проверку «знаний воспроизведения копии». • по выбору подмножества правильных вариантов из заданного множества дистракторов. К высокому уровню сложности относят ТЗ: • направленное на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку «знаний умения и применения». • требующие применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

43. Рекомендуемая литература • Аванесов В.С. Формы тестовых заданий. — М.: МИСиС, 1991. • Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. — М.: Издательство МГУП, 2005. • Клайн П. Справочное руководство по конструированию тестов. Киев: ПАН-ЛТД, 1994. • Майоров А.Н. Теория и практика создания тестов для системы образования. — М., "Интеллект-центр", 2001. • Переверзев В.Ю. Технология разработки тестовых заданий: справочное руководство. – М.: Е-Медиа, 2005. - 265с. • Романов А. Н., Торопцов В.С., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. — М.: ЮНИТИ-ДАНА, 2000. • Требования к оформлению тестовых заданий для включения в банки контрольных тестов по учебным дисциплинам ГОС ВПО. – Барнаул : БГПУ, 2007. – 24с. • Шапкин В.В. Диагностика обученности с применением тестирования: Учебное пособие для слушателей курса повышения квалификации - СПб.: ГОУ ИПК СПО, 2007. - 84 с.

44. *Пример взят из презентации «Разработка тестовых материалов для Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО)» зам. начальника отдела педагогических измерений ФГУ «Росаккредагентство» А.В.Капустина, Москва, 15.10.2010

45. *Пример взят из презентации «Разработка тестовых материалов для Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО)» зам. начальника отдела педагогических измерений ФГУ «Росаккредагентство» А.В.Капустина, Москва, 15.10.2010