Учебный курс

1. Проектирование национальных и территориальных систем оценки качества образования:Организационные, технологические и содержательные аспекты Учебный курс

2. Опыт Национального центра тестирования и перспективы в области оценивания качестваБакиров А.Н.

3. ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ • Общереспубликанское добровольное тестирование (пробное, основное) учащихся 9, 10, 11 классов общеобразовательных школ всех видов и форм собственности – ежегодно с1993 г;

4. ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ • Промежуточная (годовая) аттестация экстернов - тестирование учащихся 9, 11 классов экстерната в общеобразовательных организациях КР с 1999 года;

5. ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ • Мониторинг качества обучения учащихся школ, студентов ВУЗов и СПУЗов КР – с 2003 года; • Апробация новой формы итоговой государственной аттестации выпускников 11 классов общеобразовательных школ в форме тестирования – пилот в 2-х районах (61 школа) – участие в обработке результатов тестирования; • Апробация новой формы итоговой государственной аттестации выпускников 9 классов общеобразовательных школ в форме тестирования – пилот в одном районе (34 школы) ;

6. ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ • Тестирование выпускников 11 класса, претендентов на аттестат с отличием – с 1993 года по 2002 г, 2011 г. • Данные за 2011 г.

7. Тестирование на аттестат с отличием 2011 год

8. ПРОЦЕДУРЫ ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ УЧЕНИКОВ И ДЕЯТЕЛЬНОСТИ ШКОЛ ПРОВОДИМЫЕ НЦТ

9. НАЗНАЧЕНИЕ КАЖДОЙ ИЗ ПРОЦЕДУР • - осуществление независимой оценки образовательных достижений учащихся; • - внедрения форм и методов тестирования в республике; • - проведение исследований по проблемам оценки знаний, апробация измерителей; • - определение уровня обученности учащихся по базовым и профильным образовательным программам; • - разработка дальнейшей стратегии внедрения новой модели итоговой государственной аттестации в систему образования по результатам пилотных испытаний;

10. ЦЕЛИ ИСПОЛЬЗОВАНИЯ ДАННЫХ ЭТИХ ПРОЦЕДУР УПРАВЛЕНИЕ ШКОЛ МО и Н, РАЙОО, ДИРЕКТОРА ШКОЛ, ДЛЯ: • получения достоверной информации о состоянии образования в общеобразовательных учреждениях, принятия управленческих решений; • анализа данных итоговой государственной аттестации в форме тестирования, разработки новой модели экзаменов, основанной на принципах бесконтактности, обоснованности, объективности; • для коррекции обнаруженных пробелов в знаниях в последующем.

11. ЦЕЛИ ИСПОЛЬЗОВАНИЯ ДАННЫХ ЭТИХ ПРОЦЕДУР УЧИТЕЛЬ, ДЛЯ: • определения исходного уровня знаний и умений по дисциплине; • оценки динамики усвоения знаний на каждом этапе; • определения рейтинга класса, оценки образовательных достижений учащегося; • изучения, выявления, контроля состояния обучения учащихся; • стимулирования у учащихся стремления к самостоятельной систематической работе над выполнением классных и домашних заданий, повышения интереса к учению и чувства ответственности за его результаты. • для оперативной коррекции хода усвоения учебного материала • использования результатов тестирования в качестве результатов экзаменов.

12. УЧАЩИЙСЯ, ДЛЯ: • освобождения от экзаменов - использования результатов тестирования в качестве результатов экзаменов – количество участников (добровольцев) из года в год растёт; • ознакомления с формами контроля знаний, приобретение навыков; • подготовки к экзаменам; • определения своего рейтинга • Педагогическим советам общеобразовательных организаций рекомендуется, по заявлению учащихся, засчитывать результаты: • пробного тестирования как текущие отметки по соответствующим предметам; • результаты основного (апрель-май) тестирования как переводные (10 класс) и выпускные (9 и 11 классы) экзаменационные отметки (устных экзаменов) по соответствующим предметам.

13. ПРОБЛЕМЫ И НЕДОСТАТКИ СУЩЕСТВУЮЩИЕ ПРИ ПРОВЕДЕНИИ ДАННЫХ ПРОЦЕДУР • Положение тестирования в стране осложняется отсутствием тестологической культуры в педагогической среде, а также единых подходов к оцениванию подготовленности учащихся, неразработанностью методов анализа и интерпретации статистических результатов тестового контроля, крайне настороженным отношением педагогов к тестовому контролю, недооценкой его как средства снижения педагогических и психологических нагрузок и др. • Создание системы оценки общеобразовательной подготовки обучающихся требует использования современной технологии тестирования, разработки и использования контрольных измерительных материалов, надежной стандартизированной системы проведения контроля, обработки, шкалирования и анализа результатов. Все эти элементы и отрабатываются в рамках эксперимента итоговой государственной аттестации.

14. Задачи: • выработка единых критериев оценки достижений учащихся; • анализ сравнимых результатов тестирования учащихся; • обеспечение требований тестовой технологии к организации процедуры тестирования: а) надежность методов, используемых при разработке инструментария и анализе результатов; б) применение стандартизированных процедур проверки заданий и обработки данных. • повышение: а) качества тестовых заданий, тестов; б) качества дистракторов.

15. ЗАДАЧИ НА 2012 ГОД: • упорядочение всех нормативных, инструктивно-методических и других документов; • повышение качества проведения тестирования и тестовых материалов; • повышение доверия к результатам оценки учебных достижений;

16. Анализ результатов проведения тестирования для аттестацииучащихся 9-х классов (ИГА) 17-18 мая 2011-05-20 •  Что проверяет тест ИГА-9? ИГА-9 проводится с целью: • внедрения нового подхода к проведению итоговой государственной аттестации выпускников основной школы; • проведение государственной оценки уровня образования выпускников на основе государственных образовательных стандартов; • совершенствования системности и непрерывности образования в КР. Задача ИГА-9 – проверить следующие знания учащихся: • грамотность родного языка; • математическую компетентность; • знание истории своей страны; • владение государственным языком.

17. Тест ИГА-9 проходил 17 и 18 мая 2011 года. Всего в тестировании приняли участие 1356 учащихся. Тестирование проводилось на двух языках: • на кыргызском языке тест сдавали 434 человек; • на русском языке - 922 человек. • Тестирование проводилось в течении двух дней: В первый день проходил базовый тест по четырем предметам: математике, родному языку, истории и государственному языку. На второй день для лицеев, гимназий и школ с углубленным изучением предметов кроме базового теста проводились профильные тесты: алгебра, русский язык, химия, биология, география, родная литература.

18. Время поведения тестирования по предметам

19. Создавая тест, мы советовались с учителями средних школ, преподавателями техникумов и Академии образования, так как проводимые педагогические измерения должны быть особо точными, валидными и надежными. Мы стремились получить тест представляющий собой продуманную, законченную систему, каждый элемент которой находится в строго определенном месте, имеет неповторимые в данном тесте параметры и задачи и работал бы в совокупности всех элементов. Качество теста сводится к определению меры надежности вопросов и валидности результатов.

20. У теста должна быть только одна цель. Цель ИГА-9 – проверить усвоение программы за курc основного образования. • В связи с тем, что все экзаменуемые должны быть в равных условиях при сдаче теста, недопустимо создавать варианты разной сложности, так как выпускники оказываются в неравных условиях. Поэтому проводится большая работа по уравниванию вариантов тестов по сложности и равноценности. • Нарушение этого правила ведет к тому, что тест не работает, т.е. тест не достигает поставленной цели.

21. Результаты тестирования выведены в 120 бальной системе с учетом стандартного отклонения. Стандартное отклонение — это статистический термин, который является хорошим индикатором изменчивости. Он измеряет насколько широко значения рассеяны от среднего значения. Ниже приведена таблица результатов по предметам по пятибалльной системе.Подробная статистика по школам в приложении №1

22. По таблице можно увидеть разницу в процентном соотношении правильных ответов тестируемых по предметам. Можно расположить по уровням достижения. Например по математике, из 1356 протестированных: • Уровень продвинутый – составляет 3,68%; • Уровень профессиональный – 12,01%; • Уровень менее компетентный – 69,86%; • Низкий уровень – 14,37%. • 120 бальная система переведена в пятибалльную: • - от 90 до 120 баллов - оценка «5» • - от 68 до 89 баллов - оценка «4» • - от 45 до 67 баллов - оценка «3» • По данным статистики уровень качества образования в Московском районе составляет 6,49% учащихся, а это есть 88 из 1356 тестируемых. Уровень успеваемости составляет 62,4%, это есть 846 тестируемых.

23. Так как в тестировании участвовали учащиеся с кыргызским и русским языком обучения, можно сравнить качество и успеваемость тестируемых в зависимости от языка обучения. Например по истории с кыргызским языком обучения уровень продвинутых составляет 3%, а с русским языком обучения – 3,58%. Можно сделать вывод, что уровень подготовки по истории с русским языком обучения немного выше чем уровень подготовки с кыргызским языком обучения.

24. С кыргызским языком обучения (приложения №2) С русским языком обучения (приложения №3) Средние значения тестовых баллов по предметам.

25.  Например: по истории из 120 баллов получили среднее значение 57,23. Также можно рассмотреть средние значения по школам. Это прилагается в приложении №4, №5. • Гистограмма, приведенная ниже, показывает распределение учащихся 9-х классов в зависимости от суммы набранных баллов по алгебре. Самое большое количество учащихся – 526 человек набрали от 50 до 60 баллов, а самое малое количество 5 учащихся получили от 110 до 120 баллов. Основная масса имеет среднее значение 56,57 баллов. Также предложены гистограммы по остальным предметам (приложения №7) • Алгебра 1356 участников. • Шкалирование результатов проводилось Z- шкалой.

26. Подробно рассмотрим анализ результатов тестирования по математике. Всего в тестировании по математике участвовало 1357 учащихся. Варианты по математике составлены равноценные, в каждом варианте по 20 заданий. В тесте соблюдается содержательная валидность. Рассмотрим вариант № 234, он состоит из следующих проверяемых умений: • Умение вычислять (зад. № 1, 3,4, 8, 19) • Умение сокращать дроби (№ 4, 6, 13) • Умение решать уравнение, системы уравнений, решать задачи с помощью системы уравнений(2, 9, 14, 18) • Умение определять последовательность чисел и находить в ней прогрессию (№ 11) • Умение читать, строить график линейной функций и график уравнения окружности на координатной плоскости (№ 7, 16, 20) • Умение определять область определения данной функции (№ 5, 12, 17) • Умение находить значение тригонометрических функций (№ 10, 15) 

27. По Московскому району 335 человек решали вариант № 234. По каждому тестовому заданию выведено количество правильных ответов. Тестовые задания связаны между собой по сложности: Задание № 1 из курса 6-го класса, задание № 8 из курса 8го класса и задание №19 из курса 9-го класса, эти три задания объективно оценивают умение проводить арифметические вычисления. Задание № 4 из курса 6-го класса проверяет умение складывать и сокращать обыкновенные дроби, № 6 из курса 7-го класса проверяет умение выносить общий множитель, № 13 из курса 8-го класса проверяет умение сокращать дроби. Надо отметить, что задание № 13 невозможно решить без выполнения заданий № 4 и № 6, следовательно, процент выполнения задания № 13 будет меньше. Это подтверждается статистическим анализом тестовых заданий. По таблице видно, что на задание № 4 и № 6 правильно ответили 31,64% и 27,46% тестируемых, а на задание № 13 правильно ответили 23,88%. Можно сделать вывод: по данному тесту соблюдается последовательность тестовых заданий от простого к сложному. Анализ результатов решения по открытым тестовым заданиям. Задание № 19 на нахождение значения выражения, решая по действиям. Здесь требовалось подробное решение. За каждое правильное действие учащийся зарабатывает 1 балл. Ниже расписаны критерии оценивания задания № 19.

28. Критерии оценивания задания № 19. • 1. Если данный учащийся написал что-то непонятное, то он получает 1 балл, так как он его рассматривал. • 2. Если данный учащийся только правильно расписывает решение по действиям, а остальное неправильно, то он получает 2 балла. • 3. Если данный учащийся только правильно расписывает решение по действиям, умеет правильно переводить отрицательную степень в положительную, то он получает 3 балла. • 4. Если данный учащийся только правильно расписывает решение по действиям, умеет правильно переводить отрицательную степень в положительную, правильно возводит число в степень, то он получает 5 баллов.

29. 5. Если данный учащийся правильно расписывает решение по действиям, умеет правильно переводить отрицательную степень в положительную, правильно возводит число в степень, выполняет умножение, но допущены ошибки при вычислениях, то он получает 6 баллов. • 6. Если данный учащийся правильно расписывает решение по действиям, умеет правильно переводить отрицательную степень в положительную, правильно возводит число в степень, выполняет умножение, выполняет деление, но ответ неправильный, то он получает 7 баллов. • 7. Если данный учащийся правильно расписывает решение по действиям, умеет правильно переводить отрицательную степень в положительную, правильно возводит число в степень, выполняет умножение, выполняет деление, выполняет правильно сложение чисел, но допускает ошибки, то он получает 8 баллов.

30. Вариант № 234 - умение вычислять на 54 %; - умение решать уравнение на 33% - умение строить график функции на 4 %

32. Понимание и знание тригонометрических функций, умение вычислять значение тригонометрических функций, умение упрощать тригонометрические выражения, используя основные тригонометрические формулы достаточно хорошо не были проверены по следующим причинам: Учащиеся 9-х классов не успевают усваивать раздел «Тригонометрия» в виду своей сложности (это видно по результатам тестирования) Разработке содержания базы тестов по математике отводилось недостаточно времени. Недостатки, выявленные нами при анализе статистических данных: Недостаточное количество вопросов в тесте для выявления цели тестирования. Например по алгебре: Умение определять последовательность чисел и находить в ней прогрессию (№ 11). Чтобы реализовать эту цель необходимо минимум 3 тестовых задания, чтобы определить данное умение. Результаты претеста не были использованы для корректировки теста, так как в претесте были использованы только 2 варианта вместо четырех. На стадии развития находится шкалирование закрытых и открытых тестовых заданий, изучается вопрос: как сложить результаты тестирования открытых тестовых заданий и открытых.

33. Заключение: • Национальным центром тестирования было выведено качество образования в Московском районе: • 88 учащихся учатся на «4» и «5» -это качество; • 846 учащихся успевают по программе средней школы; • 510 учащихся не успевают. Причины неуспеваемости нам предстоит еще выяснить. 

34. СПАСИБО ЗА ВНИМАНИЕ!