Милена Григорова

1. Явни и скрити критерии при оценяване на устно изложение(надеждност и валидност на устния изпит по английски език на равнище В2.1 в НБУ) Милена Григорова

2. Цели: Качествено изследване на устния изпит за равнище В2.1/НБУ. Фактори, влияещи на: • надеждност – “степента, с която се постига едно и също класиране на кандидатите при явяване на кандидатите при две отделни (реални или пробни) явявания на един и същи изпит”, съответно оценяване от различни оценители “Обща европейска езикова рамка, 2006:217) постигане на съгласие по конкретни примери (стандартизиране на оценяването и inter-rater reliability). • Последствия: • валидност “получената информация дава точна представа за езиковата компетентност на съответния обучаван” (“Обща европейска рамка”, 2006:217) “… степента, в която можем да интерпретираме даден резултат като индикатор за способностите или конструктите, които искаме да измерваме.” (Bachman L.F., Palmer A.S. 1996:21)

3. Въпроси: • Как ще бъдат класирани двете устни изложения? Каква е степента на съгласие по класирането им? • недостатъчно изследвани задачи и степен на inter-rater reliability. • По какви критерии ще бъдат оценени двете устни изложения? Отстраняване на евентуалните източници на ниска надеждност: • непълно описани стандарти, които все пак се прилагаме (изпитваме, преподаваме от 2000 г.) - неописан конструкт на изпитваните компетентности (конструктът е само операционализиран – “устно изложение”) • несигурност относно метода за оценяване (холистично, аналитично); • несигурност относно скалите за оценяване (трета поред, нееднозначно тълкуване на дескрипторите, различен брой категории в скалите в сравнение с Общата европейска езикова рамка, проблеми с броя на степените, неясен cut-off).

4. Метод - сase study: • извън изпитна обстановка; • незавършен изпит – без разговор; • нестандаратизирани – задачи, скали, изложения, обучение на оценители • странични ефекти – поредност, пол, познатост, теми, опит на оценителите; • външна мярка – само в 1 от случаите. • Участници: • 27 оценители – 79% от общия брой изпитващи (34), данни от 24 (71%). • Материали: • 2 записа на устни изложения, илюстриращи различни степени на компетентност на ниво В2- Presentation 6, Presentation 7 • студенти на НБУ, • Presentation 6 – FCE (grade A); тема “How important is a university degree” • Presentation 7 – устен изпит в НБУ с оценка отличен (6.00) ; тема “Celebrities are created by the media. Do you agree or disagree?”. • “Таблица 3:Общи нива на компетентност – Качествени аспекти на устната реч” (“Обща европейска езикова рамка” 2006:42-43) – на английски език.

5. Методи за събиране на данни: • оценки по петстепенна скала (3 – “pass”, 5 – “excellent performance”) – преди и след обсъждане; • писмена обосновка на окончателното класиране – в свободен текст; • обработка: класифициране по • категории • честотност на споменаване от оценителите • брой положителни или отрицателни коментари. • Процедура: • кратко обсъждане на “Таблица 3:Общи нива на компетентност – Качествени аспекти на устната реч” – различия между равнища В1, В2 и С1; • индивидуално оценяване по петстепенната скала (Presentation 6, Presentation 7); • обсъждане в малки групи (4-5 души); • обща дискусия; • повторно индивидуално оценяване (Presentation 6, Presentation 7) - оценка с писмена обосновка в свободен текст, без изрични указания за използване на критериите от Таблица 3.

6. 1. Класиране на устните изяви

7. Съгласие или несъгласие?

8. Предположения: • Съгласие по отношение на равнището – и двете изложения попадат в равнище В 2. • Недостатъчно категорично съгласие • има възможност за събиране на оценките в “златната среда” (3 -4 -5) • остават в границите между “pass” и “excellent performance” (3 - 5).

9. Качества на добрия оценител: 1.Стремеж към обективност

10. 2. Критерии за оценяване Определяне на: • Брой на критериите ( “По какви критерии? Еднакви или различни?”) – по честотност на споменаване – Основни категории • “явни”, т.е. “известни”/общоприети категории(отТаблица 3 на Общата европейска езикова рамка и др.) – Range, Accuracy, Fluency, Coherence (“Обхват”, “Правилност, “Свобода на изказа”, “Логическа свързаност”).” • Други” (Other). • Подкатегории в ”Други” (Other) и “Coherence” (“Логическа свързаност”). • Относителната тежест при вземането на решения (“Има ли по-важни и по-маловажни”?) – според честотността на споменаване. • Определяне на силните/слабите страни на изложенията по критериите - • според броя на положителни и отрицателни коментари.

11. А. Брой на критериите: № 6 • Критерии: • Логическа свързаност/Coherence • Обхват/ Range • Other/“Други” • Правилност/ Accuracy • Свобода на изказа/Fluency.

12. №7 • Критерии: • Логическа свързаност/Coherence • Правилност/Accuracy • Other/“Други” • Обхват/Range • Свобода на изказа/Fluency.

13. Предположения: • Оценяването на изложенията става по: • “явните” критерии, описани в Таблица 3 от Общата европейска езикова рамка • група от други критерии - “Other/“Други”

14. Other/“Други”№ 6 • “Произношение” – 2 • “Проблеми с произношението на места”, “Неточно произношение на отделни думи”. • “Въздействие”, “Изпълнение на задачата” – 2 • “Комуникацията е сравнително успешна”, “Не дразни/забавлява слушателя” (“Разговор”, Обща европейска езикова рамка 2006:98, “Може да поддържа контакт с носители на езика без неволно да ги разсмива или дразни...” ) • “Подготовка” – 2 • “Има предварителна подготовка”, “Звучи естествено, не създава впечатление да е предварително назубрено”. • “Дължина” – 12 • “Изложението беше много кратко”, “Доста е лаконичен”, “малко кратко”, “Недостатъчен обем”, “Кратко 2:56!”, “Кратко, стегнато”, “Кратко сбито, ясно”.

15. Other/“Други”№ 7 • “Подготовка”–7 • “Има предварителна подготовка”, “Добра подготовка”, “Подготвена тема (+)”, “Очевидно представянето е предварително обмислено”, “Има добра предварителна подготовка”, “Наличие на предварително подготвени материали във подкрепа на някои от аргументите +”, “Прозира старателна предварителна подготовка (която не може да компенсира основните езикови грешки, които се допускат)”. • “Дължина”– 7 • “ ... и я направи по-дълга от необходимото”, “Поради дългото изложение... се заплете”, “Доста е дълго”, “Прекалено дълга”, “Доста протяжно”, “Дължината на изказването не е гаранция за успех” “Малко дълга (и разлята)”. • Произношение – 5 • “Pronunciation mistakes which do not make it difficult for the listener to understand the meaning”, “Известни проблеми с произношението, но не пречи на разбирането”, “(Несистемни грешки в...) и произношението, непречещи на разбирането. Pronunciation sometimes unclear, “Допускане на (...) фонетични грешки”.

16. “Други” критерии: • Other/“Други” включва: • очаквани “явни”критерии - “Произношение” и “Въздействие”/“Изпълнение на задачата” • неочаквани “скрити” критерии - “Дължина” и “Подготовка”.

17. Качества на добрия оценител:2. Спазва правилата и не си създава други правила! Напомняне: • “Подготовка” не присъстват в нито една от досега използваните скали!!! • “Дължина” е по-скоро елиминаторен критерий – “0 точки - Изявата е твърде кратка и не може да бъде оценявана”.

18. Предположения: • Конструктът “говорене” включва и други компетентности освен очакваните езикови компетентности. • “Подготовка” и “Дължина” могат да бъдат свързани със стратегическата компетентност. • “Дължина” е неконтролирано в изпитна обстановка условие за изпълнение на задачата.

19. Компетентности: “Устна продукция”(според използваните критерии) • Linguistic Competence • General Linguistic Range – “Обхват” • Vocabulary Range– “Обхват” • Vocabulary Control – “Правилност” • Grammatical Accuracy – “Правилност” • Phonological Control – “Произношение и интонация” • Sociolinguistic Competence • Sociolinguistic Appropriateness • Pragmatic Competence • Thematic Development • Cohesion and Coherence – “Логическа обвързаност” • Spoken Fluency – “Свобода на изказа” • Propositional Precision • Strategic Competence • Planning – “Подготовка”, “Дължина” • Compensating • Monitoring and Repair (Manual for Relating examinations to the CEF 2003:33)

20. В. Относителна тежест на критериите: № 6 • Логическа свързаност (61/23) • Обхват (19/17) • Правилност (12/11) • Дължина (12/12) • Свобода (7/7) • Въздействие (2/2) • Подготовка (2/2) • Произношение (2/2)

21. Относителна тежест на критериите: № 7 • Логическа свързаност(66/24) • Правилност (27/20) • Обхват (12/11) • Дължина (7/7) • Подготовка(7/7) • Произношение (5/5) • Свобода (3/3) • Въздействие (1/1)

22. Различно подреждане на критериите № 6 Логическа свързаност (61/23) Обхват (19/17) Правилност (12/11) Дължина (12/12) Свобода (7/7) Въздействие (2/2) Подготовка (2/2) Произношение (2/2) № 7 Логическа свързаност(66/24) Правилност (27/20) Обхват (12/11) Дължина (7/7) Подготовка (7/7) Произношение (5/5) Свобода на изказа (3/3) Въздействие (1/1) Водещи “Логическа свързаност” (1 място) “Правилност”(2-3 място) “Обхват” (2-3 място) “Дължина” и “Подготовка” (4-5 място). № 6 – Дължина (12/12) равностоен на “Правилност” (12/11)

23. Предположения:относителна тежест на критериите • различна тежест на критериите отделни черти на изложението и свързаните с тях критерии привличат в различна степен вниманието на оценителите, т.е. имат различна тежест при определяне на оценката в конкретните случай. • най-висока тежест“ на “Логическа свързаност” • относително ниска тежест на “Свобода на изказа”, “Произношение”, “Въздействие” • относително висока тежест“ на “Дължина” и “Подготовка” • имат потенциално по-важна роля от “Свобода на изказа”, “Произношение”, “Изпълнение на задачата” • “Дължина” може да упражняватвлияние, почти равно с това на “Правилност”. • Аргументи за използването на аналитична скала. “... много от така наречените “глобални скали” включват голям брой компоненти, без да дават почти никаква ориентация как тези компоненти да бъдат разглеждани при поставянето на резултат, изразен с една оценка, или при интерпретирането му.” (Bachman L.F., Palmer A.S. 1996:210).

24. Предположение относно конструкта: ред на компетентностите(според използваните критерии) • (І) Pragmatic Competence (дискурсивна компетентност – способност за изграждане на текст) • Cohesion and Coherence – “Логическа обвързаност” • Spoken Fluency – “Свобода на изказа” • (ІІ) Linguistic Competence • General Linguistic Range – “Обхват” • Vocabulary Range– “Обхват” • Vocabulary Control – “Правилност” • Grammatical Accuracy – “Правилност” • Phonological Control – “Произношение и интонация” • (ІІІ) Strategic Competence • Planning – “Подготовка”, “Дължина”

25. Presentation 6 (средна оценка 4.02) Presentation 7 (средна оценка 4.1) С.Силни/слаби страни на изложенията

26. № 6 • силни страни “Обхват” “Правилност”“Логическа свързаност” • слабости “Логическа свързаност”“Дължина”.

27. № 7 • силни страни “Логическа свързаност”, “Обхват”, “Подготовка” • слабости “Правилност” “Логическа свързаност”“Дължина”

28. Силни/слаби страни • “Логическа обвързаност” • водещ по относителна тежест критерий • предизвикванай-силно несъгласие • Примери от №6 • “Добро структуриране”, “Има ясна структура +”/ “Няма структура, която се следва”, “Недостатъчно добро структуриране”, “Липсва структура на текста” • “Добра аргументация”,“Ясно е какво иска да каже и защо”/ “Няма ясни аргументи” • “1. Има теза 2. подкрепена с ясни аргументи”/ “Няма теза”/ “Присъства само теза, която не е аргументирана с конкретни изводи и примери” • “Добро обобщение в заключение”/“Липса на ... изводи” • “Добре направено заключение”,“Ясно начало и заключение”/ “beginning and ending not clear”.

29. ... • Примери от № 7: • “Добра структура на изложението – увод, main body, заключение”, “Има структура”, “ Добре структурирана (до известен момент)”, “Добра организация на представянето”, “Има структура с доста аргументи”,/ “Неясна структура, която води до неяснота в комуникацията”, “Недобре обмислена структура и неясна, разлята мисъл”, “Прекалено разлято, хаотично изказване”, “Недобра структурa, особено във втората част на изложението”. • “Ясно излага тезата“, “Тезата е подкрепена с достатъчно на брой аргументи, постига целта на комуникацията”/ “хаотично представяне на мислите “, “Втората половина се следи с трудност”, “логиката й се губи на моменти“, “многословна “,” вътрешната връзка се губи (смисъл), т.е. изложението става някак фрагментарно”.

30. “Логическа свързаност”: компоненти • Ясна организация на изложението • логична аргументация • примери • сигнализирани преходи между частите/аргументите • разграничаване на частите на изложението - увод, изложение, заключение

31. В2 - “Може да използва известен брой средства за постигане на логическа свързаност и последователност, за да свържеотделни фрази (“his/her utterances”) в ясна и последователна реч, макар понякога да се появяват “скокове” при по-дълго изказване” • С1 – “Може да прави ясно, последователно и добре структурирано изказване, като владее добре средствата за логическа свързаност на речта.” Can produce clear, smoothly flowing, well-structured speech, showing controlled use of organizational patterns, connectors and cohesive devices. (Табл.3 от Общата европейска езикова рамка).

32. Предположения:несъгласие по “Логическа свързаност” • високата степен нанесъгласие по водещия критерий “ Логическа свързаност” вероятно се дължи на • завишени изисквания по този критерий - по-скоро отговарят на С1. • Съгласието, постигнатото в общите оценки,очевидно се дължи на останалите критерии.

33. №6 силни страни “Обхват” “Правилност” слабости “Дължина №7 силни страни “Обхват” “Подготовка” слабости “Правилност” “Дължина” Силни/слаби страни по останалите критерии(без “Логическа свързаност”)

34. Има относително по-високо съгласие на преценките по • “Правилност”, “Обхват” • “Дължина” и “Подготовка” • Двете презентации се оценяват като • сравнително съпоставимипо “Обхват” (силна страна, малко по-силна при №6) • сравнително съпоставимипо “Дължина” (слаба страна, малко по-слаба при №7) • неравностойни по “Правилност” (силна страна в № 6 и слаба в №7) • неравностойни по “Подготовка” - има по-силно изразено влияние при в №7 (7/2).

35. “Дължина” • и в двата случая има предимноотрицателна роля (3 минути -твърде кратко, 8 минути - твърде дълго; колко дълго е достатъчно добре - 4?, 5?, 6?, 7? мин.?). • “Подготовка” (разбирана като предварителна подготовка, а не планиране на място) • има предимноположителна роля.

36. Предположения: съгласие по силни/слаби страни • Въпреки еднаквата средна оценка, двете изложения са неравностойни поне по един от критериите (“Правилност”) и донякъде по “Обхват” (изцяло положително оценен при №6 от 23 оценители). • Вероятно общата оценка на № 7 (сравнително по-слабата изява по “Правилност” и “Обхват”) се приравнява с тази на № 6 (сравнително по-добрата изява) по линия на “Подготовка” (изцяло положително оценена и спомената от 7 оценители при №7) . • “Подготовка” има потенциално компенсаторен ефект. • “Дължина” има потенциално отрицателен ефект.

37. Възможни изводи: Валидност • Основни компоненти на конструкта “Говорни умения” в устния изпит на равнище В2.1/НБУ – • комуникативни езикови компетентности: лингвистични (лексикална, граматична, фонологична) прагматични (дискурсивна, функционална) • стратегическа компетентност определяне на целта, оценка на ресурсите и планиране. • Очакванията по отношение на прагматичните компетентности са завишени - отговарят на С1. • Стратегическата компетентност се оценява в условия, които не позволяват да се правят валидни преценки - резултатите отразяват заключения за два различни вида подготовка • планиране на речта непосредствено преди изказването • предварително планиране • предварително планиране има потенциално компенсаторен ефект по отношение на езиковите компетенции, което може да води до невалидни заключения по отношение на езиковите компетенции.

38. Възможни изводи: Надеждност • Ниска надеждност • на използваната в момента скала – не включва “Дължина” и “Подготовка”. • при оценяване на водещия критерий “Логическа свързаност” (нееднозначно интерпретиране). • при оценяването на по-кратки и по-дълги изказвания (при повторно явяване с по-дълго или по-късо изложение, е възможно да получат различна оценка). • при оценяване на стратегическата компетентност -предварителното планиране се оценява по-високо от планирането непосредствено преди изказването.

39. Препоръки: • Отстраняване на източниците на ниска надеждност • преработване на условията на задачите - контролиране на “Дължина” и на “Подготовка” (планиране, а не предварителна подготовка) • уточняване на броя на критериите в аналитичната скала • уточняване на “Логическа свързаност”. • Повишаване на валидността – уточняване и описание на конструкта.