Особенности проведения международного исследования PISA - 2012 в регионах России

1. Особенности проведения международного исследования PISA-2012 в регионах России Ковалева Г.С.

2. Основные цели и задачи исследования PISA Основная цель: оценка способности 15-летних учащихся использовать приобретенные в школе знания и опыт для широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений. Дополнительная инновационная цельв 2012 году: оценка чтения электронных текстов, решение интерактивных задач в ходе компьютерного тестирования, оценка сформированности учебных стратегий Политическая цель: оценка качества и эффективности образования, равенства доступа к образованию

3. Основные цели и задачи исследования PISA Основные задачи: • Оценить функциональную грамотность 15-летних учащихся в области чтения, математики и естествознания (приоритетная область – математика) • Выявить динамику результатов (2000, 2003, 2006, 2009, 2012) • Выявить факторы, позволяющие объяснить различия в результатах

4. Характеристика российских участников исследования PISA-2012 • 42 субъекта Российской Федерации (было 45) • 227 образовательных учреждений • Около 7000 учащихся 15-летнего возраста, обучавшихся по программам: - основного общего образования (7-9 классы), среднего общего образования (10-11 классы); - начального и среднего профессионального образования Их них: около 5000 – основное исследование; из них 50% - компьютерное тестирование; + 1750 – финансовая грамотность. Дополнительно проводится исследование PISA-2012/TIMSS-2011 (около 5000 уч-ся).

5. Оценка функциональной грамотности • Письменное тестирование • Математика • Естествознание • Чтение • Финансовая грамотность • Компьютерное тестирование • Решение проблем • Математика • Чтение электронных текстов

6. Структура теста PISA-2012 A standard set of 13 booklets: Booklets 1 to 13 21 test booklets comprised of 20 regular booklets, each with two hours worth of test material (four 30-minute clusters) … An easier set of 13 booklets: Booklets 8 to 13 and Booklets 21 to 27 … and one UH (“une heure” - one-hour) booklet for students with special educational needs

7. Структура теста PISA-2012 The regular two-hour booklets are made up of 9 mathematics clusters, Booklet 12 is a complete link to PISA 2009. and 3 science clusters, • The UH booklet is made up of • one cluster’s worth of mathematics items; • half a cluster of reading items; and • half a cluster of science items. and 3 reading clusters.

8. Структура теста PISA-2012 Every booklet includes at least one cluster of mathematicsitems Every cluster appears in every block (position)

9. Структура теста PISA-2012 Standard mathematics clusters PM6A and PM7A appear in Booklets 1 to 7. Easier mathematics clusters PM6B and PM7B appear in Booklets 21 to 27.

10. Использование двух комплектов тестов для повышения валидности шкалы на низшем уровне • Значительное число учащихся демонстрирует результаты ниже уровня 1. • Введение достаточно легких заданий повысит возможность описать уровень математической деятельности учащихся с низкими результатами. • Повышается качество теста для оценки математической грамотности слабых учащихся. • Слабые учащиеся более мотивированы при выполнении заданий, соответствующих их уровню подготовки.

11. Характеристика «стандартных» и «легких «тестовых тетрадей • Чем отличаются? • «Стандартные» тестовые тетради включают 2 кластера с более трудными заданиями • «Легкие» тестовые тетради включают 2 кластера с наиболее легкими заданиями • Что общего? • Оба комплекта тетрадей содержат 5 общих кластеров по математике, включающих задания разной трудности. • Общие кластеры по математике включают 3 якорных кластера, включающих задания по математике, используемые в PISA 2000, PISA 2003, PISA 2006 и PISA 2009. • Каждая из 13 тетрадей соответствует основным характеристикам дизайна теста в одинаковых пропорциях.

12. «Стандартный» / «легкий» тест Правило выбора: • «Стандартный» тест: • Страны со средними результатами по читательской грамотности более 480 в исследовании PISA-2009 (России – 459) • Право выбора «стандартный» или «легкий « тест: • Страны со средними результатами по читательской грамотности менее 480 в исследовании PISA-2009 • Страны, не участвовавшие в PISA-2009

13. Дизайн компьютерного тестирования • Все кластеры для компьютерного тестирования рассчитаны на 20 минут. Все варианты компьютерного теста включают 2 кластера. • Ротация кластеров в компьютерном тесте основана на тех же принципах, что и в письменном тесте (Принципы позиционной и количественной эквивалентности).

14. Структура компьютерного теста

15. Структура компьютерного теста • 4 кластера решения проблем • 4 кластера по математике • 2 кластера по чтению • Всего 24 варианта • Каждый кластер появляется дважды в каждом положении для решения проблем, математики и чтения. • Каждый кластер появляется дважды вместе с кластером из другой области: первый раз в начале, второй раз – в конце теста. • Каждая область появляется одинаковое число раз в 24 вариантах и на нее отвечает одинаковое счисло учащихся.

16. Характеристики теста Средний результат страны Способность учащихся выполнить данный тест Трудность задания

17. Анализ результатов тестирования • Анализ шкалы на многомерность по отдельным шкалам, новым и якорным заданиям • Анализ шкалы на надежность • Анализ DIF (дифференцированное функционирование заданий): гендерные различия, языковые различия, различия в результатах стран • Анализ пропущенных заданий, отсутствия ответов • Анализ дистракторов

18. Графическое представление DIF Кривые для девушек и юношей почти совпадают, что демонстрирует отсутствие гендерных различий DIF Соответствие данных модели Соответствие модели гендерных различий

19. База данных национальных отчетов

20. Статистические характеристики заданий с выбором ответа Easy item. Students with ability 0.84 standard deviation below mean have probability 0.5 of correct answer Below 0.2 is dodgy Fit of data to model: 1.0 perfect; 0.8 – 1.2 generally acceptable The more able students get the answer correct The more able students get the answer correct Multiple choice

21. Статистические характеристики политомических заданий Обязательное требование: возрастание уровня способности группы учащихся при увеличении балла за выполнение задания

22. Графическое представление статистики

23. Сравнение национальной и международной статистики Национальная статистики в сравнении с международной Проблемы в задании (в данном примере нет проблем)

24. Проблемы в национальной статистике

25. Проблемы в международной статистике В базе данных результаты из 58 стран

26. Изучение контекстной информации с целью выявления факторов, объясняющих результаты • Концептуальные основы • Основные анкеты • Анкета для учащихся • Анкета для администрации ОУ • Анкета о системе образования • Практическая реализация анкетирования • Ротационная модель анкеты для учащихся • Компьютерная анкета для администрации ОУ • Дополнительные анкеты • Использование ИКТ • Образовательные траектории • Анкета для учителя • Анкета для родителей • Анкета о здоровье • Анкета о режиме дня и использовании свободного времени

27. Соответствие целям исследования и политическим установкам • Сравнительный мониторинг систем образования • Выявление эффективных систем образования • Формирование базы данных • Оценка доступности и качества образования • Условия формирования математической грамотности • Совершенствование дизайна сбора контекстной информации

28. Содержание контекстной информации

29. Содержание контекстной информации

30. Ротационная модель анкеты для учащихся 11 min 11 min 11 min 11 min 11 min 11 min -> Увеличение содержания на 1/3

31. Форма адаптации инструментария (MAS)

32. Начальные требования Конечные данные PISA Технические стандарты качества Данные, подтверждающие качества Анализ данных Наблюдения за проведением тестирования в ОУ Посещение национального центра Результаты Мероприятия Объективные и сравнимые базы данных Руководства по проведению + Верификация перевода Контроль за качеством печати Анализ данных апробации и основного исследования Адаптация руководств TAS, BAS, QAS, Оптическая проверка инструментария Выборка Keyquest… Цель Результаты PISA должны быть релевантны для национальных политиков в образовании Обеспечение качества исследования PISA

33. Вопросы и комментарии Ковалева Галина Сергеевна, руководитель Центра оценки качества образования Института содержания и методов обучения РАО Тел./факс: (499)-246-24-21e-mail: centeroko@mail.ruсайт:www.centeroko.ru