Эффективность года школьного обучения для результатов PISA 2009

1. Эффективность года школьного обучения для результатов PISA 2009 Тюменева Ю.А. Кузьмина Ю.В.

2. Проблемы и возможности Необходимость оценки эффективности школьного обучения в отсутствие лонгитюдныхисследований Выделение других индикаторов (помимо средних результатов) для оценки эффективности (эффекта) образования Оценка школьной эффективности на данных «срезовых» исследований (PISA) Ограничения в интерпретации средних результатов международных исследований (PISA в том числе) как показателей эффективности образовательной системы страны

3. Оценка школьной эффективности на примере «срезовых» данных Направления исследований: • Абсолютный эффект школьного обучения • Факторы, сопряженные с эффективностью обучения в школе • Определение оптимального возраста для начала школьного обучения • Сравнение эффекта обучения и эффекта возраста

4. PISA: цели, выборка Programm For International Student Assessment Цель: оценка того, в какой степени в разных странах школьники, завершая обязательное среднее образование, имеют необходимые умения для решения практических социальных и жизненных задач. Области: чтение, математика, естественные науки Выборка: 15-летние школьники, учащиеся в разных классах (с 7-ого по 12-ый). Максимальная разница в возрасте – 1 год (без 1-го дня)

5. Ограничения в интерпретации средних результатов PISA: состав имеет значение • Разное время начала обучения в школе - разный по длительности учебный опыт к моменту тестирования • Разные образовательные траектории: кроме общеобразовательных есть профессиональные и пред-профессиональные школы. • Множество других факторов, связанных с показателями PISA: социально-экономический статус семьи, материальные ресурсы и т.п.

6. Ученики «старших» классов имеют выше результаты в PISA, чем их сверстники из «младших» классов

7. Ученики профессиональных школ показывают более низкие результаты

8. Выборка по классам и видам траекторий

9. Эффект одного года обучения как показатель эффективности обучения Показателем эффективности обучения может выступать эффект одного года обучения для образовательных результатов. Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым). Однако есть серьезные проблемы с прямой интерпретацией величины «прироста» баллов за один год!

10. Почему нельзя просто сравнить результаты двух «соседних» классов -

11. Метод оценки • Для учета возраста и времени начала школьного обучениясравнивались достижения учеников, имеющих одинаковую вероятность быть в 10 классе исходя из даты рождения – «до или после пороговой даты» (Regression Discontinuity design, Instrumental Variable analysis) и контролируются семейные характеристики ученика. • Для учета программы обучения и эффекта селекции производился отбор 9-классников, имеющих высокую вероятность учиться в 10 классе школы соответствующей ориентации: профессиональной или общеобразовательной (Propensity Score Matching)

12. Пороговая дата начала обучения

13. Последовательность оценки Оцениваемые модели: Первая Только эффект дополнительного года обучения ВтораяЭффект дополнительного года обучения + социально-демографические показатели ученика (пол, СЭС, местоположение школы Третья и Четвертая: Эффект дополнительного года + социально-демографические характеристики + переменные взаимодействия (пол и СЭС)

14. Оценка эффекта дополнительного года обучения без учета разделения на программы

15. Отбор 9-классников для оценки эффекта одного года на общеобразовательной программе • Для 10-классников проведена оценка вероятности обучения в общеобразовательной школе исходя из пола и СЭС • Полученные коэффициенты для переменных «пол» и «СЭС» использованы для расчета вероятности продолжения обучения в общеобразовательной школе для 9-классников • Отобраны 9-классники с высокой вероятностью (выше, чем в среднем по выборке) продолжения обучения в общеобразовательной школе • Анализ проведен на выборке 9-классников с высокой вероятностью и 10-классников из общеобразовательных школ

16. Оценка эффекта дополнительного года обучения для общеобразовательной школы

17. Связь социально-демографических характеристик и эффекта дополнительного года обучения (без учета разделения на программы) Россия, Чехия – нет различий в зависимости от СЭС и пола Словакия, Венгрия – эффект дополнительного года выше для учеников с высоким СЭС

18. Связь социально-демографических характеристик и эффекта дополнительного года обучения (на общеобразовательной программе) Россия – нет различий в зависимости от СЭС и пола Словакия – эффект дополнительного года выше для мальчиков, Венгрия – выше для девочек (для математики)

19. Связь социально-демографических характеристик и эффекта дополнительного года обучения (на общеобразовательной программе) . Продолжение Чехия – эффект дополнительного года обучения ниже для учеников с высоким СЭС Венгрия – эффект дополнительного года обучения выше для учеников с высоким СЭС (для естественных наук)

20. Основные выводы (методологические) • Средние данные PISA не могут быть основанием для выводов об эффективности образовательной системы без учета таких факторов как СЭС, класс и программа обучения, возраст и пр. • RDdesign в приложении к данным PISA позволяет оценить эффект одного года обучения, не прибегая к данным лонгитюдных исследований • Оценка эффекта дополнительного года обучения может быть показателем «добавочной стоимости» образования в отношении результатов PISA

21. Основные выводы (по российским данным) • Эффект одного года обучения для всей выборки является незначимым. • Эффект одного года обучения для общеобразовательных школ выше, чем всей выборки в целом (без учета разделения на программы). Это может быть свидетельством того, что для профессиональных школ эффект одного года - отрицательный. • Эффект одного года обучения не зависит от пола и социально-экономического статуса учеников.

22. Основные выводы (сравнительные) • Для всей выборки в целом эффект одного года обучения ниже, чем в других оцениваемых странах за исключением Словакии. • Для общеобразовательной программы эффект одного года обучения ниже, чем в других оцениваемых странах. • В России эффект одного года не зависит от пола и социально-экономического статуса учеников в отличие от других стран, где эффективность обучения меняется в зависимости от социально-экономических факторов.

23. Возможные направления будущих исследований • Динамика эффективности школьного обучения с 2000 по 2012 • Выделение факторов, связанных с высоким эффектом дополнительного года обучения • Эффект раннего и позднего разделения на разные треки (до 7 класса, после 7, после 8 класса, после 9 класса, после 10 класса): для оценки эффективности в целом по стране и для профессионального образования. • Изменение эффекта в разных ступенях (между 8 и 9 классом, между 9 и 10)

24. Спасибо! Спасибо!

25. Динамика результатов по математике PISA в некоторых странах

26. Изменение пропорций учеников из разных классов

27. Оценка эффекта дополнительного года для стран с отсутствием разделения на разные программы