Формирование фонда оценочных средств для контроля освоения ОПОП студентами ОУ СПО

1. Формирование фонда оценочных средств для контроля освоения ОПОП студентами ОУ СПО Полежаева Мария Викторовна, к.п.н., начальник отдела научно-методической экспертизы и психометрических исследований Федерального института педагогических измерений mpole@yandex.ru

2. Цель вебинара повысить компетентность слушателей в области оценки качества подготовки специалистов в учреждениях СПО, проектирования и разработки оценочных средств для проведения текущего контроля знаний и аттестации студентов.

3. Структура вебинара 1. Изменение подходов к оценке результатов обучения при переходе на ФГОС 2. Порядок формирования ФОС 3. Формы и методы контроля и оценки результатов обучения 4. Разработка заданий для экзамена (квалификационного) по профессиональному модулю

4. Оценка качества подготовки в ФГОС Оценка качества освоения основных образовательных программ должна включать текущий контроль знаний, промежуточную аттестацию обучающихся и государственную (итоговую) аттестацию выпускников. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ОПОП (текущая и промежуточная аттестация) создаются фонды оценочных средств, позволяющие оценить знания, умения и освоенные компетенции. Фонды оценочных средств для промежуточной аттестации разрабатываются и утверждаются образовательным учреждением самостоятельно, а для государственной (итоговой) аттестации – разрабатываются и утверждаются образовательным учреждением после предварительного положительного заключения работодателей.

5. Вариант ОПОП ОУ Междисциплинарный курс – система знаний и умений, отражающая специфику вида профессиональной деятельности и обеспечивающая освоение компетенций при прохождении обучающимися практики в рамках профессионального модуля. Практика – вид учебных занятий, использующийся для освоения обучающимися компетенций в процессе самостоятельного выполнения определенных видов работ, необходимых для осуществления профессиональной деятельности в максимально приближенных к ней условиях. Профессиональный модуль– часть программы профессионального образования, предусматривающая подготовку к осуществлению определенной совокупности трудовых функций, имеющих самостоятельное значение для трудового процесса. У ч е б н ы й п л а н Программа ОГСЭ 1 Программа ОГСЭ 2 Программа ОГСЭ 3 … К а л е н д а р н ы й г р а ф и к ОГСЭ - дисциплины Программа ЕН 1 Программа ЕН 2 … Учебная дисциплина – Система знаний и умений, отражающая содержание определенной науки и/или области профессиональной деятельности, и нацеленная на обеспечение реализации ОПОП ЕН- дисциплины Программа ОП 1 Программа ОП 2 Программа ОП 3 … ОП- дисциплины Программа ПМ 1 Программа ПМ 2 Программа ПМ 3 … МДК + Учебная и производст-венная практика Профессиональные модули Программа преддипломной практики

6. ВИДЫ АТТЕСТАЦИЙ Аттестация по дисциплине Междисци-плинарная аттестация «Квалификационная» аттестация ОБЪЕКТЫ ОЦЕНИВАНИЯ Профессионально значимая научная информация Способы теоретической деятельности Знания и умения, значимые для освоения общих и профессиональных компетенций Общие и профессиональные компетенции, готовность к профессиональной деятельности (или ее отдельному виду) НАПРАВЛЕННОСТЬ ЗАДАНИЙ на воспроизведение, понимание, работу с информацией, решение типовых и нетиповых задач на перенос, применение информации, актуализацию умений и знаний в новой ситуации, выполнение универсальных способов деятельности на выполнение ВПД, сформированность ОК и ПК, реальные или имитационные ситуации

7. Фонд оценочных средств • Модель компетенций • Программа и план-график проведения контрольно-оценочных мероприятий • Совокупность контрольно-оценочных средств • Методические материалы, определяющие процедуры оценки компетенций • Технологии и методы обработки результатов оценивания (в том числе критерии оценки и шкалы, формы отчетов) • Рекомендации по обновлению фонда оценочных средств

8. Фонд оценочных средств

9. Алгоритм формирования ФОС (1)

10. Алгоритм формирования ФОС (2)

11. Алгоритм формирования ФОС (3)

12. Междисциплинарная аттестация Междисциплинарный экзамен Междисциплинарный экзамен Экзаменационный билет включает отдельные вопросы из разных дисциплин Экзаменационный билет включает междисциплинарную задачу Оценивание освоения МДК затруднено или невозможно Готовность к применению знаний и умений в новой ситуации

13. Формы контроля в рамках аттестации по дисциплинам и междисциплинарным курсам • Устный контроль • Письменный контроль • Тестирование Пример: МДК.02.01 ОБОРУДОВАНИЕ, ТЕХНИКА И ТЕХНОЛОГИЯ ЭЛЕКТРОСВАРКИ 1) Газовой сваркой необходимо произвести сварку стыкового соединения. Толщина свариваемого металла 6 мм., марка сталь 45. Определите: А. способ газовой сварки; Б. угол наклона мундштука горелки; В. режимы газовой сварки. 2) На рисунке представлена деформация, наблюдаемая в готовом сварном соединении. Определите вид деформации и предложите мероприятия по предупреждению данного дефекта.

14. Тестовый контроль - это система контрольных измерительных материалов, стандартизированных процедур, технологий проверки и оценивания результатов учебной деятельности субъектов образовательного процесса.

15. Уровень знаний Педагогический тест - это система заданий специфической формы, позволяющая объективно и функционально измерить уровень подготовки обучаемых

16. Цель – уменьшить ошибку измерения Х = Т + Е Х - это индивидуальный балл испытуемого Т - истинный балл испытуемого по данному тесту Е - ошибочная компонента индивидуального балла (систематические и случайные ошибки)

17. Есть ли вопросы по проблемам контроля знаний и промежуточной аттестации по дисциплинам и МДК?

18. КВАЛИФИКАЦИОННАЯ АТТЕСТАЦИЯ РЕЗУЛЬТАТЫ ЕДИНЫ, НО НЕ ТОЖДЕСТВЕННЫ ДИСЦИПЛИНЫ, МДК, ПРАКТИКА МОДУЛЬ РЕЗУЛЬТАТЫ ОБУЧЕНИЯ ОК, ПК, ВПД, КВАЛИФИКАЦИЯ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ, РАБОТОДАТЕЛЬ УЧЕБНЫЙ / МЕЖДИСЦИПЛИНАРНЫЙ / КВАЗИПРОФЕССИОНАЛЬНЫЙ ХАРАКТЕР ЗАДАЧ ТРАДИЦИОННЫЕ ФОРМЫ АТТЕСТАЦИИ РЕШЕНИЕ ЗАДАЧ ПД, НОВЫЕ ФОРМЫ АТТЕСТАЦИИ: ЭКЗАМЕН КВАЛИФИКАЦИОНЫЙ, МЕЖДИСЦИПЛИНАРНЫЙ ЭКЗАМЕН РАЗНЫЕ ИНСТРУМЕНТАРИИ ПРОВЕРКИ

19. ОЦЕНКА КОМПЕТЕНЦИЙ Совокупность показателей оценки и выбранные формы и методы контроля в совокупности должна позволять диагностировать сформированность соответствующих общих и профессиональных компетенций Задачи текущего и рубежного контроля, промежуточной аттестации по УД: оценивание элементов компетенций (знаний и умений) дисциплинарный уровень Задачи промежуточной аттестации по профессиональным модулям и итоговой государственной аттестации: оценивание сформированности компетенций на основе требований ФГОС наддисциплинарный уровень Важно не ограничиться декомпозицией, а провести интегральную оценку

20. ОЦЕНКА ПРОДУКТ ДЕЯТЕЛЬНОСТИ ПРОЦЕСС ДЕЯТЕЛЬНОСТИ «ГОТОВЫЙ» «ЗДЕСЬ И СЕЙЧАС» «ДОКУМЕНТЫ» «С ЗАЩИТОЙ (ОБОСНОВАНИЕМ)» «БЕЗ ЗАЩИТЫ (ОБОСНОВАНИЯ)» ТРЕБОВАНИЯ К ДОКУМЕНТАМ ТРЕБОВАНИЯ К ПРОДУКТУ ЭКЗАМЕН (КВАЛИФИКАЦИОННЫЙ)

21. СТРУКТУРА КОНТРОЛЬНО-ОЦЕНОЧНЫХ СРЕДСТВ ПОКАЗАТЕЛИ ОЦЕНКИ РЕЗУЛЬТАТА ОБЪЕКТЫ ОЦЕНИВАНИЯ ЭТАЛОНЫ, НОРМЫ КАЧЕСТВА + + ТЕХНОЛОГИИ ЗАДАНИЯ ТРЕБОВАНИЯ К УСЛОВИЯМ ВЫПОЛНЕНИЯ + +

22. ОБЪЕКТ ОЦЕНКИ И ЕГО КРИТЕРИИ Объект Продукт учебной, учебно-исследовательской, квазипрофессиональной, профессиональной деятельности Процесс учебной, учебно-исследовательской, квазипрофессиональной, профессиональной деятельности Объем профессионально значимой информации Критерии: соответствие эталону соответствие выбранного, самостоятельно созданного алгоритма решаемой задаче соответствие научным основам организации и выполнения деятельности

24. ТЕХНОЛОГИЯ РАЗРАБОТКИ КОС ДЛЯ ЭКЗАМЕНА КВАЛИФИКАЦИОННОГО ОЦЕНОЧНЫЕ ЗАДАНИЯ (КЕЙС), ПРИБЛИЖЕННЫЕ К ПРОФЕССИОНАЛЬНОЙ СИТУАЦИИ КУРСОВАЯ РАБОТА, НИРС (ЦЕЛЕВОЙ ЗАКАЗ, ОТРАЖЕНИЕ ОСВОЕНИЯ КОМПЕТЕНЦИЙ) КРИТЕРИИ ОЦЕНКИ УСЛОВИЯ ВЫПОЛНЕНИЯ: - чем разрешается пользоваться; - требуется ли наблюдение; - степень детализации при выполнении … УЧЕТ ОБЩИХ КОМПЕТЕНЦИЙ АПРОБАЦИЯ НА ЭКСПЕРТАХ ОТ РАБОТОДАТЕЛЕЙ

25. СЕРТИФИКАЦИЯ ОБУЧАЮЩИХСЯ и ВЫПУСКНИКОВ Обучающийся может быть сертифицирован по каждому профессиональному модулю (добровольность+развитие системы сертификации + востребованность сертификата на рынке труда и доверие к нему работодателей)

26. ТРЕБОВАНИЯ К ОЦЕНОЧНЫМ СРЕДСТВАМ ДЛЯ ПРОВЕРКИ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИЙ • Интегративность (междисциплинарный характер, связь теории и практики); • 2. Проблемно-деятельностный характер; • 3. Ориентация на применение умений и знаний в нетиповых ситуациях (нетождественность предлагаемых заданий стандартизированным учебным задачам); • 4. Актуализация в заданиях содержания профессиональной деятельности; • 5. Экспертиза в профессиональном сообществе; • 6. Связь критериев с планируемыми результатами

27. КОНТРОЛЬ И ОЦЕНКА РЕЗУЛЬТАТОВ ОСВОЕНИЯ профессионального модуля ОТПРАВНАЯ ТОЧКА РАБОТЫ НАД КОНТРОЛЬНО-ОЦЕНОЧНЫМИ МАТЕРИАЛАМИ

28. Анализ показателей оценки результата в 5 разделе программы модуляКорректность формулировки показателей результата. Критерий оценки эталон качества (ГОСТ, качественные характеристики) Продукт практической деятельности Показатель освоения компетенций Критерий качества: Соответствие алгоритму Процесс практической деятельности «ОЦЕНЩИК»

29. Важно! Перечень показателей целесообразно составлять с учетом имеющихся в структуре ОПОП умений и знаний, соответствующих данному виду деятельности. Однако следует помнить, что компетенция несводима к отдельному умению или знанию, значит, и показатели ее сформированности должны носить комплексный характер.

30. Принципы определения показателей оценки результатов обучения • Проверка должна быть реализована в компетентностном ключе, формулировать результаты следует, отвечая на вопросы: зачем это нужно делать? на каком уровне мы хотим, чтобы выпускник это делал? (1 - ознакомительный (узнавание ранее изученных объектов, свойств); 2 - репродуктивный (выполнение деятельности по образцу, инструкции или под руководством); 3 – продуктивный (планирование и самостоятельное выполнение деятельности, решение проблемных задач) • Показатель должен полностью соответствовать компетенции, при этом его формулировка не должна повторять название самой компетенции, показатели только необходимые и достаточные. • Начинать рекомендуется с отглагольного существительного, например: соблюдение правил техники безопасности, анализ технологической документации, обоснование выбора технологического оборудования и инструментов, определение неисправностей в работе основного технологического оборудования и т.д. • Выбранный показатель должен быть диагностируемым, то есть, должно быть представление о критериях сформированности этого результата, а также инструмент для его оценки.

31. Недопустимо, чтобы:А) показатели просто дублировали формулировку компетенции;Б) в формулировке показателей использовалось слово «умение», «навык», поскольку умение и навык не могут быть показателями самого себяВ) в формулировке показателей использовались слова «знание», «изложение», поскольку знание и изложение еще не означает овладение компетенцией: можно знать, но не быть способным применить это знание во внеучебной, нетипичной ситуации.

32. 2. Разработка типовых заданий для экзамена (квалификационного) по ПМ • Сгруппировать общие и профессиональные компетенции • Направленность заданий на решение профессиональных задач (ситуации профессиональной деятельности) • Разработать экспертный лист (критерий для оценивания) • Обозначить требования для выполнения (место, время, оснащение)

33. Основные методы оценки ♦ практические задания по демонстрации умений; ♦ сбор образцов деятельности обучающихся, демонстрирующих освоение ими требуемых компетенций; ♦ свидетельства, демонстрируемые в процессе смоделированной или реальной трудовой ситуации; ♦ экзамен (беседа, собеседование, тестирование, интервью); ♦ журналы/дневники, которые ведут обучающиеся; ♦ индивидуальные или групповые проекты ♦ портфолио

34. Виды свидетельств ♦ физические объекты, произведенные кандидатом; ♦ деятельность обучающегося (под наблюдением оценщика); ♦ свидетельства, представленные другими людьми, которые наблюдали за обучающимся (видеозаписи, аудиозаписи и т.д.); ♦ результаты выполнения заданий, включая проекты и case studies; ♦ ответы на письменные/устные вопросы; ♦ результаты ролевых игр; ♦ записи в журналах обучающегося, «портфель свидетельств».

35. Задания Задание: небольшое упражнение, выполняемое, как правило, по заданным параметрам. Каждое задание содержит описание (условия), составленное преподавателем (или другим уполномоченным лицом), в котором указывается время, отводимое на выполнение задания. Задания могут быть устными или письменными, представлять собой анализ конкретных ситуаций из практики, наблюдения и т.д.

36. ТИПЫконтрольно-оценочных заданий «КОНСТРУКТОР» «ПРОЕКТ» - изготовление действующей модели механизма; - разработка методики профилактики заболевания; - изготовление предмета декоративно-прикладного искусства Сборка механизма (с проверкой его на работоспособность) «РОЛЬ» Групповая имитационная игра, включающая роли всех участников технологического процесса «ИССЛЕДОВАНИЕ» «СИТУАЦИЯ» - диагностика технического средства с определением поломки (дефекта); - прогнозирование развития ситуации Кейс: предложить оптимальный путь разрешения проблемы

37. Практическое задание по демонстрации компетенций • Где – в различных условиях (учебная аудитория, на рабочем месте, лаборатория) • Как – индивидуально или в группе • Когда – на любом этапе обучения • Обеспечить - инструкциями по выполнению задания, материалами и ресурсами Важно! Связь демонстрируемых компетенций с компетенциями, подлежащими освоению в модуле!

38. Оценочные задания (оценка всех параметров, отражающих освоение компетенций) В задании должно быть четко отражено: • Что предстоит выполнить обучающемуся; • Где он будет выполнять задание; • Чем может воспользоваться; • В каком виде требуется предоставить результат; • Критерии оценки; • Время для работы над заданием;

39. Оценка выполнения задания по критериям Накопительная: Балл за задание = К1+К2+…+Кn, где Кi – балл по i-му критерию Штрафная: Балл за задание = Баллмах– Ш1 – Ш2 – … - Шn, где Баллmax – максимальный балл за задание, а Шi – штраф по i-му критерию

40. Штрафная система Оценка компетенций мастера-оптика Практическое задание: Изготовьте очки по рецепту с астигматическими линзами в полуободковую (с креплением линз на леске) оправу. Положение зрачка в проёме ободка на средней линии оправы. Задание считается не выполненным при отклонениях параметров очков от рецепта, превышающих допустимые пределы ГОСТа. Время выполнения – 30 минут.

41. Штрафы за недостатки продукта • За максимальное совпадение параметров очков с заданием начисляется 50 бонусных баллов. • Минус 5 баллов за отклонение оптических центров линз в проемах ободков по вертикали от средней линии оправы за каждый мм (максимально допустимое отклонение 2 мм). • Минус 5 баллов за расхождение оптических центров линз по вертикали на 1 мм. • Минус 5 баллов за отклонение межзрачкового расстояния от заданного за каждый мм. • Минус 5 баллов за отклонение направления оси цилиндра от заданного за каждый градус.

42. Штрафы за недостатки продукта (внешний вид) Внешний вид и выправка очков по ГОСТу оцениваются 50 баллами. • Минус 7 баллов за наличие зазоров между линзой и оправой. • Минус 7 баллов за наличие сколов и царапин на поверхности линз. • Минус 6 баллов за недостаточную прочность крепления линз в оправе. • Минус 6 баллов за несимметричное положение лески в торце линзы. • Минус 6 баллов за отсутствие устойчивости оправы очков на четырех точках опоры (без учёта антропометрических параметров лица и головы). • Минус 6 баллов за отсутствие выправки положения заушников. • Минус 6 баллов за наличие на оправе следов от инструмента оставленных при выправке. • Минус 6 баллов за некачественное снятие фаски.

43. Штрафная система при оценке процесса деятельности Методика проведения квалификационных экзаменов на получение права на управление транспортными средствами Для каждого испытательного упражнения, а также всего комплекса испытательных упражнений в целом определен перечень ошибок, за которые кандидату в водители начисляются штрафные баллы, предусмотренные контрольными таблицами. Оценка «СДАЛ» за экзамен выставляется, если кандидат в водители выполнил в установленное время все испытательные упражнения, предусмотренные комплексом, набрав при этом 20 и менее штрафных баллов. Оценка «НЕ СДАЛ» за экзамен выставляется, если кандидат в водители набрал более 20 штрафных баллов, при этом экзамен прекращается, о чем информируется кандидат в водители.

44. Типичные ошибки и шкала штрафных баллов за ошибку 1. Не уступил дорогу (создал помеху) ТС, имеющим преимущество - 25 2. Не уступил дорогу (создал помеху) пешеходам, имеющим преимущество - 25 3. Выехал на полосу встречного движения (кроме разрешенных случаев) или на трамвайные пути встречного направления - 25 4. Проехал на запрещающий сигнал светофора или регулировщика – 25 …..

45. Типичные ошибки и шкала штрафных баллов за ошибку 18. Не использовал в установленных случаях аварийную световую сигнализацию или знак аварийной остановки - 10 20. Не пристегнул ремень безопасности - 5 21. Несвоевременно подал сигнал поворота - 5 22. Нарушил правила расположения ТС на проезжей части - 5 23. Выбрал скорость движения без учета дорожных и метеорологических условий - 5 24. Двигался без необходимости со слишком малой скоростью - 5 25. Резко затормозил при отсутствии необходимости предотвращения ДТП - 5

46. Условия проведения экзамена. УСЛОВИЯ • Экзамен проводится одновременно для всей учебной группы, путем выполнения заданий на компьютере. Ответы предоставляются письменно (в электронном виде на электронных носителях). • Количество вариантов задания для экзаменующегося по числу студентов в группе. • Задания предусматривают последовательную проверку каждой компетенции • Время выполнения задания - 1 академический час (40 минут) без перерыва УСЛОВИЯ • Экзамен проводится по подгруппам в количестве 8 человек • Количество вариантов задания для экзаменующегося – каждому 1/8. • Время выполнения задания – 1,5 час. Оборудование: • Бумага, ручки, компьютеры с выходом в Интернет Методическое обеспечение: Кейсы (8 вариантов), включающие в себя описание ситуаций, связанных с проблемным полем семьи, а также тексты с описанием результатов наблюдений за социальным, психическим и физическим развитием детей. Задание предусматривает одновременную проверку освоения всех компетенций ПМ

47. 7. Инструкция для студента и описание ситуации.Например: ЗАДАНИЕ ДЛЯ ЭКЗАМЕНУЕМОГО. Инструкция • Внимательно прочитайте задание. • Вы можете воспользоваться учебно-методической и справочной литературой, имеющейся на специальном столе. • Время выполнения задания – 30 мин. Задание • Смоделируйте ситуацию возможной профессиональной деятельности. (не должно быть в задании) • Примите заказ на бронирование от потребителей по телефону, проконсультировав его о способе бронирования в вашей гостинице (на ваш выбор, обоснуйте выбор). • Выполните бронирование, оформив заявку и заполнив бланк. • Внесите данные в базу данных «Бронирование» • Аннулируйте бронирование по обращению клиента.

48. Пакет экзаментатора • Количество вариантов каждого задания / пакетов заданий для экзаменуемого: … • Время выполнения каждого задания: … • Оборудование: … • Литература для учащегося: … • Учебники: … • Методические пособия:… • Справочная литература:…

49. Пакет экзаментатора УСЛОВИЯ Количество вариантов задания для экзаменующегося – 2  Время выполнения задания - 30 минут Оборудование: ПК, бланки, ИС Эдельвейс, телефон  Литература для учащегося:  Справочная литература: «Правила предоставления гостиничных услуг в Российской Федерации».

50. Пакет экзаменатора с условиями проведениязадания и критериями оценки. В качестве критериев могут использоваться разработанные показатели оценки, представленные как экспертный лист. Форму такого листа можно разработать самостоятельно, так же, как и форму экзаменационной ведомости.