Анализ на резултатите от външното оценяване по български език и литература в 4.клас

1. Анализ на резултатите от външното оценяване по български език и литература в 4.клас Татяна Ангелова, Софийски университет Национално съвещание с експертите по начално образование, 4 октомври 2010

2. Екип • Доц. д-р Татяна Ангелова – Софийски университет “Св. Кл. Охридски” • Съставители на задачите: Здравка Делиева, Емилия Пейчева, Дора Бешева, Снежана Якимова и Ренета Савчева – начални учителки • Експерти за оценка на тестовите задачи: доц. д-р Гергана Дачева, доц. д-р Йовка Тишева – Софийски университет, преподавателки по съвременен български език

3. Цел на външното оценяване по български език и литература в 4.клас • Да се установи в каква степен е усвоен общообразователният минимум за културно-образователната област Български език и литература. Минимумът включва базисни за езиковата и литературната подготовка знания и умения, които са необходими и достатъчни за преминаването на учениците от четвърти в пети клас.

4. Съдържание на външното оценяване • Съдържателните области са обобщени така, че да могат да обхванат по-малко задачи с по-голям образователен потенциал. Стремежът е да се установи дали тестът позволява да се провери какъв е обемът и съдържанието на предвидения за оценяване общообразователен минимум по български език и литература. За ориентир служат Държавните образователни изисквания за завършен начален етап – 4.клас. • Български език • Литература

5. Спецификация на тестовите задачи За основа на спецификацията са използвани Държавните образователни изисквания за културно-образователната област Български език и литература за завършен начален етап, степен на образование – основна. Познавателните равнища, на които съответстват задачите, са три: • разпознаване и разбиране на факти и понятия, свързани с учебното съдържание по БЕЛ; • приложение по зададен модел/без зададен модел – проверяват се уменията за анализ на езикови факти и на литературни факти, разпознаване и анализ на грешки (правописни и пунктуационни); • общуване и аргументация – проверяват се уменията да се изказва и защитава мнение по подходящ за възрастта въпрос, свързан с художествен/нехудожествен текст.

6. Банка от тестови задачи по български език и литература Банката включваше 228 нови задачи, от които 125 бяха оценени от експерти по една и съща матрица за всички оценявани учебни предмети. Критериите, по които бяха оценени задачите, са следните: • Съответстват ли на спецификациите? • Ясно ли е поставено условието? • Кой е правилният отговор на задачата? • Единствен ли е правилният отговор? • Има ли фактологични грешки? • Задължителна ли е за учебния минимум? На експертите беше предложена възможност да препоръчат подобряване на задачите, ако сметнат, че е необходимо. Всички препоръки и предложения на експертите бяха взети предвид.

7. Експертна оценка на тестовите задачи • От всичките 125 задачи, подложени на оценка, бяха оставени като качествени онези, които получиха оценка 1, тоест по мнението на експертите принадлежат към общообразователния минимум. Тези задачи бяха редактирани внимателно и от тях бяха избрани задачите за изпитните варианти.

8. Изпитни варианти Изтегленият вариант включваше: • 15 задачи с избираем отговор по български език и литература • Диктовка на текст, към който от 15-те задачи има задачи за четене с разбиране През 2008 беше направена апробация на два вида задачи • за редактиране на текст, в който са внесени правописни грешки, свързани с основни правила на книжовния език; • задача със свободен отговор: кратък писмен отговор на въпрос към текста, върху който са решавани задачи с избираем отговор от изпитния вариант. Но по препоръка на МОМН беше взето решение внедряването им да бъде отложено временно.

9. Формати задачи • Уменията за възприемане и извличане на информация от художествен и нехудожествен текст бяха проверявани чрез задачи за четене с разбиране, с избираем отговор, съставени към текста за диктовка. • Уменията за владеене на книжовния език бяха проверявани чрез задачи с избираем отговор и чрез диктовката.

10. Критерии за оценка. Мотивация • Всяка задача с избираем отговор при правилно решение донасяше по 1 точка. • Критериите за оценка на диктовката бяха основани на, следвани вече трета година, изисквания за външното оценяване в 4.клас. Но бяха обогатени с информация от Правописния речник на съвременния книжовен български език. БАН София 2002. Този речник е кодифициран за употреба и единодушно се използва от специалистите. Текстовете за диктовка бяха специално дискутирани и избрани така, че да отговарят на възрастовите особености на децата и целите на оценяване.

11. Извадка. Групиране на учениците Извадката съдържа: 62060 ученици от общо 1918 училища в страната. 20 т. – 9,92% 19 т. –16.48%, 19т.- 13,85% 17 т. – 11,92% 15 т. и повече – 7.91% (т.е. 75 процентил) 0-4 т. – под 1% (т.е. 25 процентил) 0 т. – 0,11% - не са решили нито една задача

12. Извод въз основа на средния успех • Като се има предвид, че изпитният вариант позволява да се прецени в каква степен е усвоен образователният минимум, то може да се твърди, че за по-голямата част от учениците този минимум е овладян. 0,1% не са решили нито една задача. 91% са решили вярно 10 и повече задачи. • Средният тестов бал – 12 т.

13. Психометрични данни на задачите с избираем отговор • Трудност. Като цяло тестовият вариант е лесен. Средният тестов бал е 11.08 при максимален бал 15, а средната трудност е 78.66. Стандартно отклонение – 2.85, а стандартна грешка на измерването -1.4. • Надеждност. Алфа на Кронбах е 0.76 за тестовия вариант при стандартна грешка на Алфа 0.002. Както е известно, колкото по-близо до 1 е стойността на Алфа, толкова е по-висока надеждността на тестовия вариант. • Разграничителна сила. 14 от задачите имат много добра и добра разграничителна сила за практически нужди(над 30%), а 1 от задачите- 3-та - има допустима стойност на разграничителната сила.

14. Изводи от психометричните характеристики на задачите с избираем отговор • Тестът не е прекалено труден (под 20%) за нито една от групите. • Тестът е труден под средното (над 75%) за групите говорещи български език. • Тестът е средно труден за групата говореща турски, ромски език и друг език (над 50, но под 75%). • Наблюдава се статистически значима разлика между групата, говореща български език и групата, говореща ромски език.

15. Контент анализ на задачите от изпитния вариант (1) • Групата задачи за четене с разбиране към текста показват формирани умения да се определя ситуацията на общуване и вида на текста според нея – художествен, разговорен, научен. Учениците се ориентират в сюжета, в обстановката на действие, разбират смисъла на прочетеното. При решаването на тези задачи релевантен признак е домашният език. По –високи са постиженията на учениците с домашен език – български. Висок е процентът на решилите задача за извличането на пряко умозаключение от текста (88).

16. Контент анализ на задачите от изпитния вариант (2) • Учениците са се справили много добре и със задачите за определяне на антонимни отношения (91). Много добри са постиженията и при разграничаване на пряко от преносно значение (82%), при определяне на езикови средства в художествен текст (сравнение-81%). При решаването на тази задача по-високи са постиженията на момичетата.

17. Контент анализ на задачите от изпитния вариант (3) • Учениците умеят да прилагат практически знанията за сродните думи (73%), знанията за прилагателно и съществително като части на речта за подлог като част на изречението(82). Може да се смята, че са овладени основни понятия за езика, върху които ще продължи работата в прогимназиалната степен. • В сравнение с останалите задачи задачите за пунктуация са с процент на трудност 78, тоест основни правила за употреба на препинателни знаци в края на изречението, са усвоени практически.

18. Контент анализ на задачите от изпитния вариант (4) • По отношение на задачите, чрез които се проверява подготовка по литература, също може да се заключи, че учениците разбират основната опозиция – добро- зло, разпознават художествен от нехудожествен текст, познават съдържанието на такива произведения като басните на Езоп. Четвъртокласниците откриват епитети в текста и определят значението им в контекста, определят сравнението като изразно средство.

19. Среден тестов резултат -11.8 Български език – 12.30 Турски език – 10.17 Ромски език – 9.13 Друг език – 10.44 Средна трудност -78.66 Български език – 81.97 Турски език- 67.78 Ромски език – 60.9 Друг език – 69.63 Влияние на най-често говорения език в семейството

20. Извод за тестовите задачи с избираем отговор • Може да се обобщи, че посочените тематични единици в съдържателните области от спецификацията са посилни за усвояване от учениците – между 70-80 % и са надеждна основа да се създадат стандарти за оценяване.

21. Психометрични данни за диктовката Скалата за оценка на диктовката е с много добра надеждност за практически цели, Алфа -0,84. • Среден тестов бал – 3.87 • Средна трудност -77.42 • Медианата е 4.25 т.е. 60% от учениците • Модата е твърде висока – 5 и съвпада със 75 процентил, т.е. 28% от учениците се правят отлично с проверяваното учебно съдържание.

22. Подреждане на критериите за оценка на диктовката според трудност и разграничителна сила • Буква я и ю след съгласна – 88/ 0.65 • Правопис на същ. имена с наставка –ост – 87/ 0.67 • Четливо писане – 87/ 0.58 • Обеззвучаване на съгласни в средата и в края на думата – 79/ 0.58 • Условно писане : буква а при членуване на същ. имена от м.р.- 83/ 0.57 • Замяна на А с Ъ и обратно- 56/ 0.43

23. Извод от психометричните данни от диктовката • Във всички региони средната успешност в диктовката е над 80% т.е. над строгата граница за успешност 75%. Този резултат тълкуваме като доказателство за постигането на минималните изисквания от задължителния минимум за знанията и уменията, свързани с книжовните правописни правила.

24. Взаимовръзка между резултатите от теста с 15 задачи с избираем отговор и диктовката • Взаимовръзката на резултатите от диктовката и теста по БЕЛ е средна по сила (коефициент на корелация, равен на 0,59). Индексът на детерминация (или делът на общото помежду им) е равен на 0,342. • Средният брой решени задачи в теста е 78.7%. • Средният брой покрити критерии на диктовката е 77.4%. • Резултатите от теста и от диктовката не се различават статистически значимо.

25. Постижения начетвъртокласниците. Влияние на фактора едноезичие, двуезичие

26. Извод за влиянието на фактора едноезичие/двуезичие • Наблюдава се разлика между средния резултат по БЕЛ за четирите групи най-често говорим в семейството език. Критерий за качеството на педагогическата работа може да бъде намаляването на тази разлика в региона, населеното място, училището и паралелката.

27. Изводи Като цяло може да се обобщи, че проведеното външно оценяване в четвърти клас по български език и литература е успешно. Ако се смята, че усвояването на учебно съдържание от задължителния минимум в рамките на 70-80 % е показателно, то въз основа на данните може да твърди, че учениците са овладели базисни за езиковата и литературната подготовка знания и умения, без които е неприемливо преминаването в пети клас.

28. Въпроси за дискутиране и възможните им решения (1) • Да започне работата по създаване на държавни образователни изисквания за оценяване, чрез които да се ориентират критериално задачите за оценяване. В момента приключва работата си екип за външното оценяване по 7-ма Рамкова програма. • Да започне работата върху описания на прагове за владеене на български език в съответствие с Европейската рамка за изучаване на езици - базисно равнище и равнище на напреднали. Това ще позволи да се диференцират по трудност и разграничителна сила изпитните задачи.

29. Въпроси за дискутиране и възможните им решения (2) • Получената обратна информация да се прилага не санкциониращо, а стимулиращо за процеса на обучение по български език и литература. В момента приключва работата си екип за вътрешно оценяване (стандарти) • Непрекъснато да се обновява системата за външно оценяване по български език и литература. • Да се усъвършенства културата на оценяване с тестови задачи.

30. Молба за съдействие • Моля, изразете вашето становище за: формат, видове задачи, критерии за оценка, възможности за подобряване на начина, по който се оценява усвояването на общообразователния минимум. • Моля, дайте предложения за подобряване на организацията, при която протича оценяването: как да се отстрани рискът от преписване, от показване и подсказване. • Възможно ли да се търси приемственост между оценяването за завършен четвърти клас и вътрешното оценяване в четвърти и в пети клас?

31. За контакти: E-mail t_angelova@abv.bg Благодаря за вашето внимание!