Киселева Валентина Петровна НИИ Мониторинга качества образования Москва, февраль - 200 9

1. Педагогический анализ результатов Интернет-экзамена и его использование при проведении процедуры самообследования образовательного учреждения Киселева Валентина Петровна НИИ Мониторинга качества образования Москва, февраль - 2009

2. Педагогический анализ –основополагающий компонент системы педагогического менеджмента, обеспечивающий реализацию диагностической и прогностической функций управления образовательным процессом в вузе. Сущностные характеристики педагогического анализа результатов тестирования: • тематический анализ как основа разработки АПИМ • параметрический анализ как основа оценки качества подготовки студентов

3. Результаты тестирования студентов в рамках Интернет-экзамена в сфере профессионального образования (декабрь 2008 г. - январь 2009 г.) представлены в виде: • Краткого отчета по результатам тестирования • Информационно-аналитической карты «Педагогический анализ результатов тестирования студентов на основе дисциплинарного (полидисциплинарного) подхода»

4. Краткий отчет по результатам тестирования студентов • Сводная таблица выполнения требований ГОС для ООП вуза (показатели освоения каждой отдельной дисциплины) • Рейтинг-листы студентов ООП вуза по дисциплине (процент правильно выполненных заданий в АПИМ, процент освоенных ДЕ дисциплины)

5. Показатели выполнения требований ГОС для ООП вуза

6. Рейтинг-лист студентов

7. Информационно-аналитическая карта «Педагогический анализ результатов тестирования на основе дисциплинарного подхода»

8. Объект оценки Показатель выполнения требований ГОС Критерийвыполнения требований ГОС Студент Процент освоенных дидактических единиц ГОС 100 % освоенных дидактических единиц ГОС ООП Процент студентов, освоивших все дидактические единицы ГОС 50% студентов, освоивших все дидактические единицы ГОС Модель оценки выполнения требований ГОС

9. Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне требований, заданном в ГОС Дидактическая единица (ДЕ) – раздел дисциплины Освоение ДЕ – выполнение не менее половины заданий раздела

10. Модель аккредитационных педагогических измерительных материалов по дисциплине дисциплины Название Дисциплина Дидактическая Дидактическая Дидактическая Контролируемые в ... единица №2 единица №k единица №1 дидактические АПИМ единицы дисциплины Задание 1 Задание 1 Задание 1 Задание 2 Задание 2 Задание 2 АПИМ Задания Задание 3 Задание 3 Задание 3 Задание 4 Задание 4 Задание 4 Критерий освоения дидактической единицы: 50 % правильно выполненных заданий

11. Педагогический анализ результатов тестирования

12. Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования Рособрнадзор Сравнение показателей освоения требований ГОС с другими вузами Ректорат Показатели освоения требований ГОС для ООП по профилям подготовки Деканат Кафедра Показатели освоения требований ГОС; Показатели освоения ДЕ дисциплин Показатели освоения ДЕ дисциплин; Коэффициенты решаемости заданий по темам Преподаватель Рейтинговый показатель в группе, специальности, вузе, группе вузов Студент Структурирование информации о результатах Интернет-экзамена для пользователей различного уровня

13. Структура содержания-1 • Результаты тестирования студентов в вузе 1.1. Показатели выполнения требований ГОС для ООП вуза 1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза 2. Результаты тестирования студентов по ООП вуза 2.1. Результаты тестирования студентов ООП …… 2.2. Результаты тестирования студентов ООП ….. 3. Педагогический анализ результатов тестирования студентов на соответствие требованиям ГОС 3.1. Дисциплина «Английский язык» 3.1.1. ООП 070601.65 «Дизайн» Приложение 1. Методы анализа результатов дисциплинарного тестирования (модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений)

14. Показатели выполнения требований ГОС для ООП вуза

15. Объем часов, выделяемых на изучение дисциплин, в вузе

16. Диаграмма обобщенных результатов тестирования студентовОУна соответствие требованиям ГОС

17. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза

18. Результаты тестирования студентов по основным образовательным программам вуза Выводы по освоению дисциплины «+» Дисциплина освоена, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили 100% ДЕ дисциплины. «−/+» Дисциплина освоена условно, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили не менее 70% всех ДЕ дисциплины. «−» Дисциплина не освоена, если более 50% студентов, принимавших участие в Интернет-экзамене, освоили менее 70% всех ДЕ дисциплины. « * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

19. Результаты тестирования студентов по ООП вуза Выводы по освоению цикла дисциплин Выводы по освоению цикла дисциплин не приводятся (**), если сумма часов тестируемых дисциплин цикла составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует. Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что: ‑ цикл дисциплин освоен, если освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; ‑ цикл дисциплин освоен условно, если освоены и условно-освоены или только условно-освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; ‑ цикл дисциплин не освоен, если не освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла.

20. Цикл дисциплин (объем часов, выделяемых на изучение цикла в ГОС) Дисциплина (объем часов, выделяемых на изучение дисциплины в ГОС) Результаты тестирования студентов Количество студентов, принявших участие в Интернет - экзамене Процент студентов, освоивших 100% ДЕ Процент студентов, освоивших не менее 70% ДЕ Выводы по освоению цикла/дис циплины ГСЭ (1260) Социология (90) 13 85% 85% + Философия (90) 14 64% 71% + Экономика (90) 13 77% 77% + ОПД (1050) Бухгалтерский учет (280) 32 45% 75% -/+ Маркетинг (100) 32 88% 88% + Менеджмент (100) 65 48% 82% ЕН (230) Математика и информатика (150) 14 86% 86% + Результаты тестирования студентов ООП ** -/+

21. Декан,зав.кафедрой Результаты освоения дисциплины в целом для образовательных программ кафедры

22. Декан, зав.кафедрой • Сравнение показателей освоения дисциплины с результатами других вузов. • Мониторинг результатов освоения базового уровня подготовки по дисциплине

23. Профессорско-преподавательский состав кафедры • Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине • Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требований ГОС • Требования ГОС к обязательному минимуму содержания ООП по дисциплине • Структура АПИМ по дисциплине • Гистограмма плотности распределения результатов тестирования • Карта коэффициентов решаемости заданий по темам • Карта коэффициентов освоения ДЕ дисциплины

24. Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине

25. Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требованиям ГОС (по каждой дисциплине цикла)

26. Формы представления результатов тестирования: гистограммаплотности распределения • По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов • Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки

27. Представление результатов: карта коэффициентов решаемости заданий • Карта коэффициентов решаемости позволяет оценить уровень подготовки испытуемых по отдельным темам измерительных материалов • По данному графику можно выявить темы, оказавшиеся трудными для студентов контролируемой группы (коэффициент решаемости менее 0,4)

28. Представление результатов: карта коэффициентов освоения ДЕ • График позволяет оценить степень освоения тематических разделов дисциплины • Наглядно выявляются разделы, освоенные на недостаточном уровне (коэффициент освоения менее 0,7)

29. Информационно-аналитическая карта «Педагогический анализ результатов тестирования на основе полидисциплинарного подхода»

30. Наименование дисциплины Дисциплина 1 Дисциплина 2 Дисциплина 3 №№ ДЕ 1,2,3, …, М М+1,М+2, …, М+N M+N+1, M+N+2, ..., M+N+P Модель педагогических измерительных материалов для полидисциплинарного тестирования

32. Объект оценки Показатель освоения совокупности дисциплин полиАПИМ на соответствие требов. ГОС Критерий освоения совокупности дисциплин полиАПИМ на соответствие требов. ГОС Студент Процент освоенных дидактических единиц полиАПИМ, предъявленных к выполнению 100 % освоенных дидактических единиц полиАПИМ, предъявленных к выполнению ООП Процент студентов, освоивших все контролируемые дидактические единицы полиАПИМ 50% студентов, освоивших все контролируемые дидактические единицы полиАПИМ Модель оценки выполнения требований ГОС при полидисциплинарном тестировании

33. Структура содержания-2 1. Результаты полидисциплинарного тестирования студентов в вузе 1.1. Показатели выполнения требований ГОС для ООП вуза 1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза 2. Результаты полидисциплинарного тестирования студентов по ООП вуза 2.1. Результаты полидисциплинарного тестирования студентов ООП 030301.65 2.2. Результаты полидисциплинарного тестирования студентов ООП 030501.65 3. Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования для ООП вуза 3.1. Цикл дисциплин ГСЭ 3.1.1. ООП 030301.65 «Психология» 3.2. Цикл дисциплин ЕН 3.2.1. ООП 030501.65 «Юриспруденция» Приложение 1. Методы анализа результатов дисциплинарного тестирования (модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений, представление результатов педагогических измерений по дисциплине для отдельной ООП) Приложение 2. Методы анализа результатов полидисциплинарного тестирования (модель полиАПИМ, модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов полидисциплинарного тестирования для ООП вуза,представление результатов полидисциплинарного тестирования для отдельной ООП вуза)

34. Показатели выполнения требований ГОС для ООП вуза

35. Диаграмма обобщенных результатов полидисциплинарного тестирования на соответствие требованиям ГОС по дисциплинам

36. Диаграмма ранжирования ООП вуза по показателюосвоения дисциплины на соответствие требованиям ГОС по отдельной дисциплине

37. Результаты полидисциплинарного тестирования студентов по ООП вуза Выводы по освоению дисциплины на основе полидисциплинарного подхода «+» Дисциплина освоена, если все контролируемые ДЕ дисциплины освоили не менее 50% студентов. «−» Дисциплина не освоена, если все контролируемые ДЕ дисциплины освоили менее 50% студентов. « * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

38. Выводы по освоению цикла дисциплин на основеполидисциплинарного подхода Выводы по освоению цикла дисциплин по результатам полидисциплинарного тестирования не приводятся (**), если сумма часов, предусмотренных ГОС для изучения тестируемых дисциплин, составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует. Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что: цикл дисциплин освоен, если показатель освоения совокупности дисциплин полиАПИМ не менее 50%; цикл дисциплин освоен условно, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, но при этом показатели освоения всех дисциплин полидисциплинарного тестирования не менее 50%; цикл дисциплин не освоен, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, и при этом показатели освоения некоторых дисциплин полидисциплинарного тестирования также менее 50%.

39. Цикл дисциплин (объем часов, выделяемых на изучение цикла в ГОС) Дисциплина (объем часов, выделяемых на изучение дисциплины в ГОС) Результаты тестирования студентов Количество студентов, принявших участие в полидисц. тестировании Процент студентов, освоивших все контролируемые ДЕ Выводы по освоению цикла/дис циплины ГСЭ (1260) Английский язык (340) 41 75% + Отечественная история (320) 41 78% + Культурология (100) 41 60% + ОПД (3050) ** Педагогика (400) 65 65% + Психология (300) 65 90% + ОМЗ (100) 65 77% + Результаты полидисциплинарного тестирования студентов ООП вуза

40. Диаграмма ранжирования ООП вузовпо показателю освоения дисциплины на соответствие требованиям ГОС УГС 030000 - Гуманитарные науки; 080000 - Экономика и управлениеДисциплина: Менеджмент

41. Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования для ООП вуза • требования ГОС к обязательному минимуму содержания ООП по дисциплине • структура АПИМ по дисциплине • гистограмма плотности распределения результатов полидисциплинарного тестирования • карты коэффициентов решаемости заданий по дисциплинам • карта коэффициентов освоения ДЕ совокупности дисциплин

42. Гистограмма плотности распределения результатов полидисциплинарного тестирования Цикл дисциплин: ОПД («Менеджмент», «Статистика»)ООП: 080105.65 «Финансы и кредит»

43. Карта коэффициентов решаемости заданий полиАПИМ по отдельной дисциплине • Дисциплина: Менеджмент ООП: 080105.65 «Финансы и кредит»

44. Карта коэффициентов освоения ДЕ совокупности дисциплин Цикл дисциплин ОПД:«Менеджмент-5ДЕ», «Статистика-4ДЕ » для ООП: 080105.65 «Финансы и кредит»

45. Области использования результатов Интернет-экзамена в образовательном учреждении • Рейтинговые технологии оценки учебных достижений студентов • Система менеджмента качества (внешняя оценка, мониторинг) • Самообследование • Государственная аккредитация

46. Баллы для рейтинга студентов • Текущая работа • Контроль освоения модулей (разделов) • Дополнительные виды работ • Результаты Интернет-экзамена • Экзамен вуза

47. Процедуры оценки вып-ния треб-ний ГОС Процедуры, встроенные в Процедуры, проводящиеся дополнительно к сессионному контролю сессионный контроль Разовые Регулярные Двухуровневый экзамен (1 раз в 5 лет) (1 раз в семестр) 1 уровень: Контроль на Для базовом уровне оценки Внутренний (и/или (АПИМ) П Самообследование и студента внешний) О аттестационная О независимый экспертиза (АПИМ) и 2 уровень: контроль (АПИМ) к н Контроль на е ц повышенном уровне о я (процедуры, л принятые в вузе) Д Контроль освоения Контроль освоения ГОС студентами ООП ГОС студентами ООП Информация Мониторинг освоения ГОС 1 раз в 5 лет

48. Рейтинг- лист по результатам ФЭПО Возможные показатели для вузовского рейтинга студента Самый сложный раздел

49. Полный рейтинг-лист результатов тестирования • Выполнение заданий по каждой теме

50. Использование результатов ФЭПО в вузовской системе менеджмента качества