Международные сравнительные исследования PISA

1. Международные сравнительные исследования PISA Жебровская О.О., к.п.н., доцент СПбГУ, научный руководитель ГБОУ гимназии № 631, olga.zhebrovskaya@gmail.com

2. Программа cеминара • Каковы цели и задачи проведения международного исследования PISA Сущность исследования. Цели и задачи. Параметры исследования. Частота проведения и участники. Участие России и место России. • Какова процедура проведения исследования Выбор образовательных учреждений и групп обучающихся. Требования к проведению в отдельном образовательном учреждении.Инструкции. • Какова специфика заданий, используемых в исследовании Описание отдельных заданий и групп заданий. Возможности и риски применения предложенных заданий. • Как руководитель ОУ и учитель могут использовать материалы исследования в своей деятельности Создание заданий по образцу на основе компетентностного подхода. Связь с практикой. Составление развивающих ситуационных задач.

3. Мы попробуем научиться: • объяснять, как и зачем проводится исследование PISA; • анализировать результаты российских школьников и сравнивать их с результатами представителей других стран; • находить в сети Интернет ресурсы, связанные с исследованием; • создавать собственные образовательные ресурсы на основе материалов исследований разных лет.

4. Международные сравнительные исследования качества общего образования • Международная Ассоциация по оценке образовательных достижений - IEA • TIMSS (1995, 1999, 2003, 2007, 2008, 2011, 2015) • PIRLS (1991, 2001, 2006, 2011) • ICCS (1999, 2000, 2008) • TEDS (2008) • ICILS (2012) • Организация экономического сотрудничества и развития – OECD • PISA (2000, 2003, 2006, 2009, 2012) • TALIS (2008) • PIAAC (2011) • AHELO (2012)

5. Виды исследований Международное сравнительное мониторинговое исследование качества математического и естественнонаучного образования: TIMSS (Trends in Mathematics and Science Study). Программа международной оценки обучающихся: Мониторинг знаний и умений в новом тысячелетии: PISA (Programme for International Student Assessment: Monitoring Knowledge and Skills in the New Millennium). Международный проект «Изучение качества чтения и понимания текста»: PIRLS(Progress in International Reading Literacy Study). Международное исследование по граждановедческому образованию: Civic(Civic Education). Второе сравнительное исследование применения информационных и коммуникационных технологий в образовании: SITES(Second Information Technology in Education Study) Международное исследование по оценке подготовки школьников: IAEP-II (International Assessment of Educational Progress).

6. Цели и задачи исследований Исследование TIMSS и PIRLS • Оценка качества математического и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы) • Оценка качества чтения и понимания текста учащимися начальной школы (4 класс) • Выявление динамики в результатах (TIMSS: 1995, 1999, 2003, 2007 2011; PIRLS: 2001, 2006, 2011) • Выявление факторов, позволяющих объяснить различия в результатах Исследование PISA • Оценка функциональной грамотности 15-летних учащихся в области математики, естествознания и чтения • Оценка отношений и учебных стратегий • Оценка качества и доступности образования • Выявление динамики результатов (2000, 2003, 2006, 2009, 2012) • Выявление факторов, позволяющих объяснить различия в результатах

7. Цели и задачи проведения международного исследования PISA Основной целью исследования PISA является оценка образовательных достижений учащихся 15-летнего возраста. Ключевой вопрос исследования – «Обладают ли учащиеся 15-летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для полноценного функционирования в обществе?». Исследование направлено не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в школе знания и умения в жизненных ситуациях. Исследование проводится трехлетними циклами, последнее было в 2012 г. Организатор – международный консорциум, состоящий из ведущих международных научных организаций при участии национальных центров и организации ОЭСР.

9. Что исследуется? • Основными областями для оценки образовательных достижений в 2009 году стали «грамотность чтения» (приоритетная область оценки, на которую отведено две трети времени тестирования), «естественнонаучная грамотность» и «математическая грамотность». • В исследовании PISA также изучаются факторы, которые позволяют объяснить различия в результатах учащихся стран-участниц программы. К данным факторам относятся характеристики учащихся и их семей, характеристики образовательных учреждений и учебного процесса. • в исследовании PISA одновременно реализованы несколько современных инновационных идей в измерениях: оценка функциональной грамотности, изучение отношений, интереса, мотивации и учебных стратегий.

10. Какие результаты международных исследований можно использовать для управления качеством образования 1. Опыт стран, продемонстрировавших высокие результаты или положительную динамику, в реформировании образования 2. Результаты тематических анализов данных международных исследований 3. Результаты анализа данных, проведенных специалистами самой страны 4. Результаты анализа данных, проведенных специалистами других стран

12. Пример задания Отрывок из газетной статьи: «На международной выставке «Туризм без границ» посетители были поражены стендом фирмы Preved-Tour. Это надо видеть! Прямо в павильоне установлен надувной глобус высотой с четырехэтажный дом. А вокруг него летают пчелы, символизирующие самолеты, которые перевозят туристов. Похоже, насекомые самые настоящие. К счастью, никто из посетителей не пожаловался на укусы, и защитники животных тоже не выражали протестов…» А теперь вопрос: можно ли считать математически корректным использование пчел в качестве моделей самолетов?

13. Пример задания Во-первых, нужно из текста вычленить именно математическую задачу. Во-вторых, следует отбросить незначимые детали типа «укусов» или «защитников животных». В-третьих, необходимо оперировать не точными цифрами, предложенными в задании, а приблизительными значениями из повседневного опыта (высота этажа — примерно 3,5 м, длина пчелы — примерно 2 см). В-четвертых, нужно задействовать информацию из другой науки — географии (диаметр Земли равен примерно 13 тыс. км). Только в этом случае можно найти правильный ответ (на всякий случай: использование пчел некорректно, поскольку в том масштабе, в котором выполнен глобус, пчела соответствует 1–2 км).

15. Пример задания Задача (PISA-2003), на которую 97% наших старшеклассников не смогли дать полностью правильного ответа. «В телевизионной передаче журналист показал следующую диаграмму и сказал: “Диаграмма показывает, что по сравнению с 1998 годом в 1999-м резко возросло число ограблений”. Вопрос: считаете ли вы, что журналист сделал правильный вывод на основе данной диаграммы? Запишите объяснение своего ответа». Дальше показываются два столбика диаграмм. Школьник смотрит: «Ага, тот столбик, который относится к 1999 году, намного больше. Значит, журналист прав!» Но беда в том, что на картинке изображены только верхние части этих столбиков. Если посмотреть на цифры, то видно, что за год количество ограблений увеличилось с 507 до 515. Можно ли это назвать «резким ростом»? Думается, что нет. Это и есть правильный ответ. Умение увидеть ложь в манипуляции цифрами — это важный жизненный навык, который нужен, например, чтобы определить, какой партии отдать свой голос на выборах. http://expert.ru/russian_reporter/2008/05/pisa/

17. Пример задания Другой пробел наших школьников — неумение работать с информацией, представленной в виде разных блоков. Допустим, описание ноутбука может состоять из рекламной статьи об этой модели, таблицы технических характеристик и нескольких отзывов пользователей. Чтобы принять решение о покупке, нужно сопоставить все эти блоки. Может оказаться, что пользователи вовсю хвалят мощность процессора, но из таблицы видно, что его тактовая частота заметно ниже, чем у моделей-конкурентов. А в рекламной части текста утверждается: «Благодаря современным аккумуляторам этот ноутбук незаменим для людей, много времени проводящих в дороге», но при этом сразу несколько человек, уже опробовавших эту модель, признаются, что заряда батареи хватает максимум на час. http://expert.ru/russian_reporter/2008/05/pisa/

18. Пример задания Ниже на столбчатой диаграмме представлены результаты выполнения теста по биологии группами учащихся, обозначенными как Группа А и Группа B. Средняя оценка Группы А равна 62,0 и средняя оценка Группы В равна 64,5. Считается, что учащийся справился с тестом, если его оценка 50 или более баллов. Посмотрев на диаграмму, учительница сделала вывод о том, что Группа В выполнила тест лучше, чем Группа А. Учащиеся Группы А не согласны с ее мнением. Они стараются убедить учительницу в том, что учащиеся Группы В не обязательно выполнили тест лучше них. Используя диаграмму, приведите один математический довод, которым могли бы воспользоваться учащиеся Группы А. http://expert.ru/russian_reporter/2008/05/pisa/

20. Проблема Наших школьников мало учат работать с текстами разных жанров. Им предлагают в основном учебники и хрестоматии, а в ответ требуют контрольных работ, сочинений или в лучшем случае эссе. А между тем существуют сотни самых разных видов текста, с которыми человеку придется столкнуться: пресс-релиз, авторская колонка в газете, инструкция по использованию прибора, научная статья в популярном или академическом журнале, коммерческое предложение, отчет о маркетинговом исследовании… Каждый из них совершенно не похож на другой и требует собственного подхода. Но, увы, работать с ними наших школьников не учат. http://expert.ru/russian_reporter/2008/05/pisa/

27. Как решать проблемы • Ключевой момент для хорошего и раннего старта в развитии - посещение дошкольных учреждений, соотношение детей на одного воспитателя. В развитых странах не больше 5 человек. Больше, конечно, можно, но это уже будет камера хранения, а не развитие. • В списке важных факторов также расходы на одного ребенка. • Наличие независимой системы стандартизированных экзаменов. Причем важно, как используются результаты этих стандартизированных экзаменов. Не просто, чтобы одного наградить, а другого уволить. Это основа для эффективного управления образованием, оказания методической поддержки учителей и школ с низкими результатами. • Следующий фактор - адекватное ресурсное обеспечение независимо от социально-экономического статуса школы. • И еще один фактор – адекватная зарплата учителей независимо от размеров класса. Здесь пример стран Юго-Восточной Азии и тихоокеанского региона, где в классах учатся по 40 и 60 человек, но результаты в итоге хорошие. Важен не размер класса, а учитель. И зарплата дает ему возможность не набирать 40 часов в неделю, а профессионально развиваться, повышать квалификацию, много читать и методически совершенствоваться. http://www.ug.ru/article/51

28. Финляндия: качество учительских кадров Невысокая учительская нагрузка Профессиональная автономия Директора – бывшие учителя Доверие родителей Наиболее популярная профессия Значимая социальная миссия Высокий уровень подготовки Number of teaching hours per year

29. Итог http://izvestia.ru 20.10.2012 Россия  больше не будет участвовать в международной программе мониторинга школьников (PISA): с 2012 года от тестирования принято решение отказаться на федеральном уровне. Об этом «Известиям» рассказала президент Российской ассоциации чтения, под эгидой которой в нашей стране и проходили тестирования, Наталья Сметанникова.  Причина — стремительно ухудшающаяся динамика показателей. По её словам, в 2000 году в тестировании, направленном на чтение и понимание текста, приняли участие 32 государства. Тогда Россия заняла 25-е место. Тремя годами позже наша страна удостоилась уже 32-го места в исследовании, в котором приняли участие 43 страны. А по результатам 2006 года из почти 60 государств Россия вошла в четвёртый десяток, показав уровень ниже среднего в навыках чтения и в математике. По результатам тестирования 2009 года отечественные школьники получили 41-е место из 65: «Изначально Россия не хотела публиковать результаты. Однако мы не позволили их скрыть. Это необходимо для того, чтобы мы научились себя оценивать, а не жить мифами, как это было в СССР, когда никто не мог проверить, действительно ли мы являлись самой читающей страной», — объясняет Сметанникова.

30. Итог http://izvestia.ru 20.10.2012 Президент Российской ассоциации чтения пояснила, что тестирования 2000 и 2003 годов в России проводили коммерческие организации, а начиная с 2006 года данную функцию взяло на себя Министерство образования РФ: «Однако в этом году Россия, ссылаясь якобы на кризис, отказалась от мониторинга», — сообщила она.       Эксперты объясняют, что подобные международные тестирования направлены на изучение экономического состояния государства, на их основе строятся прогнозы, что в будущем ждать от России: инновационного развития экономики или продолжения политики сырьевой державы.       Главная проблема, по словам Сметанниковой, — фрагментарность отечественной школьной программы. «Отсутствие регулярных занятий литературой и школьного выпускного сочинения лишает современных школьников способности к образованию связей. И логических в том числе. Например, в Гарварде до сих пор все обсуждения, касающиеся даже экономических вопросов, проходят на материале художественной литературы», — приводит она пример.       В пресс-службе Министерства образования не смогли дать комментарий по участию России в мониторинге PISA.

32. http://www.centeroko.ru/projects.htm

33. http://www.centeroko.ru/public.htm

34. ПРЕЗЕНТАЦИИ рабочего совещания региональных координаторов международных сравнительных исследований качества общего образования 2 апреля 2012 года и 3 марта 2012

35. ПРЕЗЕНТАЦИИ рабочего совещания региональных координаторов международных сравнительных исследований качества общего образования 2 апреля 2012 года и 3 марта 2012

36. Цели PISA 2012 • оценить способность учащихся 15-летнего возраста (1996 г.р.) использовать приобретенные в школе знания и опыт для решения широкого диапазона практических задач в различных сферах человеческой жизнедеятельности. Дополнительные цели: • оценка чтения электронных текстов, решение интерактивных задач, оценка сформированности учебных стратегий, оценка финансовой грамотности . Политические цели: • оценка качества и эффективности образования, равенства доступа к образованию.

37. Задачи PISA 2012 • оценить функциональную грамотность учащихся 15-летнего возраста в области чтения, математики и естествознания (2/3 отведено математике) • выявить динамику результатов (2000, 2003, 2006, 2009, 2012) • выявить факторы, объясняющие различие в результатах.

38. Особенности PISA 2012 • в исследование участвуют 42 субъекта РФ (вместо 45). • 227 ОУ. • 7000 учащихся, среди которых учащиеся 7-9, 11-х классов, а также НПО, СПО. • в основном исследование принимают участие 5000 учащихся, из них 50% будут принимать участие в компьютерном тестирование + 1750 учащихся примут участие в оценке финансовой грамотности. • дополнительное исследование PISA-2012 будет проведено на выборке TIMSS 2011 (около 5000 учащихся)

39. Дизайн исследования 1. Письменное тестирование • математика • естествознание • чтение • финансовая грамотность • Компьютерное тестирование • решение проблем • математика (интерактивные задачи) • чтение электронных текстов

40. Структура теста В PISA 2012 реализована кластерная структура: • 9 математических кластеров; • 3 кластера по естествознанию; • 2 кластера по чтению.

41. Анкеты Анкеты предназначены для сбора контекстной информации (дополнительных показателей). • Анкеты для учащихся (определение социально-экономических условий) • Анкеты для администрации ОУ • Анкеты по использованию ИКТ

42. Изучение контекстной информации с целью выявления факторов, объясняющих результаты • Концептуальные основы • Основные анкеты • Анкета для учащихся • Анкета для администрации ОУ • Анкета о системе образования • Практическая реализация анкетирования • Ротационная модель анкеты для учащихся • Компьютерная анкета для администрации ОУ • Дополнительные анкеты • Использование ИКТ • Образовательные траектории • Анкета для учителя • Анкета для родителей • Анкета о здоровье • Анкета о режиме дня и использовании свободного времени

43. Читательская грамотность Способность человека понимать и использовать письменные тексты, размышлять о них и заниматься чтением для того, чтобы достигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни. Средний балл российских учащихся по читательской грамотности в 2009 году составил 459 баллов по 1000-балльной шкале, что статистически ниже, чем средний балл по странам ОЭСР (493 балла). Российские учащиеся по данной области занимают 41-43 место среди 65 стран с учетом ошибки измерения

44. Читательская грамотность

45. Читательская грамотность Нахождение информации: • «пробежать» текст глазами; • определить его основные элементы; • сузить зону поиска; • опознать необходимую информацию, которая в самом тексте выражена в иной (синонимической) форме, чем в вопросе

46. Читательская грамотность Интерпретация текста: • связать воедино элементы информации, содержащейся в тексте; • найти в тексте доводы в подтверждение авторских тезисов; • сделать выводы из сформулированных автором посылок; • вывести заключение о намерении автора или главной мысли текста

47. Читательская грамотность Рефлексия: • связывать информацию, обнаруженную в тексте, со знаниями из других источников; • сопоставлять утверждения, сделанные в тексте, со своими представлениями о мире; • вести внутренний диалог с автором: искать доводы в защиту своей и авторской точки зрения.

48. Задание «Граффити» Я киплю от злости, так как в четвертый раз стену школы очищают и перекрашивают, чтобы покончить с граффити. Творчество – это прекрасно, но почему же не найти такие способы самовыражения, которые не причиняли бы лишний ущерб обществу? Почему надо портить репутацию молодого поколения, рисуя на стенах там, где это запрещено? Ведь художники-профессионалы не вывешивают свои полотна на улицах, не так ли? Вместо этого они находят средства и завоевывают славу на официальных выставках. По моему представлению, здания, ограда, парковые скамейки сами по себе произведения искусства. И разве не жалко портить эту архитектуру росписью, не говоря уже о том, что используемый для этого метод разрушает озоновый слой. И я не могу понять, почему эти самозванные художники так злятся, когда их так называемые «художественные полотна» убирают с глаз долой снова и снова. Хельга

49. Задание «Граффити» У людей разные вкусы. Общество перенасыщено информацией и рекламой. Знаки торговых компаний, названия магазинов. Большие навязчивые плакаты по обеим сторонам улиц. Приемлемо ли все это? В основном, да. А приемлемы ли граффити? Некоторые говорят да, некоторые – нет. Кто платит за эти граффити? А кто в конечном итоге платит за рекламу? Правильно. Потребитель. А спросили ли те, кто ставит рекламные щиты, вашего разрешения? Нет. Тогда должны ли это делать люди, рисующие на стенах? Не просто ли это вариант общения, например, ваше собственное имя, названия партий или большие произведения искусств на улице? Только вспомните о полосатой и клетчатой одежде, появившейся в магазинах несколько лет назад. И о лыжных костюмах. Модели и цвета были скопированы с разрисованных бетонных стен. Довольно забавно, что и эти модели, и цвета принимаются сегодня в обществе, восхищают, а граффити в том же стиле считаются ужасными. Да, трудные времена настали для искусства. Софья

50. Задание «Граффити» Эти два письма пришли по Интернету и оба они о «граффити». Граффити – это рисунки или надписи на стенах или других местах, выполненные без официального разрешения. Используйте письма для ответов на вопросы, предлагаемые ниже. Вопрос 1: ГРАФФИТИ (64%,421 балл) Цель каждого из писем: объяснить, что такое граффити (5%) выразить свое мнение о граффити (64%) продемонстрировать популярность граффити. (6%) рассказать людям, что очень много средств тратится, чтобы смыть эти росписи. (15%)