ACTFL Proficiency Guidelines, ILR Proficiency Ratings, TORFL: A Comparison

1. ACTFL Proficiency Guidelines, ILR Proficiency Ratings, TORFL: A Comparison Olga Kagan STARTALK University of Iowa, Iowa City August 10, 2012

2. Abstract • The general preface to the ACTFL Proficiency Guidelines states that “The ACTFL Proficiency Guidelines are a description of what individuals can do with language in terms of speaking, writing, listening, and reading in real-world situations in a spontaneous and non-rehearsed context.”  It continues to explain that “The levels of the ACTFL Guidelines describe the continuum of proficiency from that of the highly articulate, well-educated language user to a level of little or no functional ability.”  I will present and critique the Guidelines and will also compare ACTFL levels of proficiency to the Interagency Language Roundtable ratings that are adopted by the US federal agencies as well as the proficiency measures developed in the TORFL (The Russian Federation Tests of Russian as a Foreign Language). 

3. OUTLINE From assessment to curriculum • Formative and summative assessment • Proficiency levels (ACTFL, ILR, TORFL) • Demonstrating oral proficiency interviews • Assessment and curricular development

4. Backward Design

5. Assessment Questions • How often do you test? • What do you test? • Why do you test?

6. Assessment (2) • Formative assessment • Summative assessment • High stakes and low stakes testing • Why do we assess (to give a grade, to monitor improvement, to assess the program)

7. Formative Assessment • Quizzes (grammar, vocabulary) • Tests (skill-using) • Written (essays) • Oral (short interviews, narratives)

8. Summative Assessment • End of the semester (skill using) • Standardized tests (e.g. TORFL practice tests) • Oral Proficiency Interviews

9. ACTFL/ILR Proficiency Ratings

10. Сертификационные уровни владения рус.яз. • Элементарный+базовый – 120+200 • ТРКИ-1 440 -460 часов (при владении базовым уровнем) • ТРКИ-2 мин. 720 часов (при владении на уровне 1) • ТРКИ-3 еще 280 часов (при владении на уровне 2) • Диапозон, беглость, связность, межкультурное взаимодействие Source: Е.Е.Юрков и Т.М.Балыхина http://ruscenter.axelero.net/2/2/5/component/torfl2.pdf

11. Flagship Programs • Domestic program outcome – Adv/2 • In Saint Petersburg entrance test – TORFL 2 (general) • Midterm – TORFL 3 (Superior) + specialty • End-of-year – TORFL 4 (Distinguished) – focus on idiomatic language

12. TORFL/ACTFL/ILR • TORFL 1 = ACTFL I = ILR 1 • TORFL 2 = ACTFL A = ILR 2 • TORFL 3 = ACTFL S = ILR 3 • TORFL professional tests • Уровень 4 необходим для получения диплома специалиста и магистра филолога, русиста, кандидата филологических наук и т.д.

13. ACTFL/TORFL Equivalency • UCLA Russian Flagship program results • Holistic assessment • Comparing L2s and HLLs

14. TORFL-1 • Categories of mistakes made by 75 % of non-HLLs: 1. Case system: Работа водителя автобуса требует ... . • большоевнимание • с большимвниманием • большоговнимания • о большомвнимании 2. Verbs of motion (uni/multi directional): Почему Вы решили ... завтра во Владимир? • ездить • ехать Verbs of motion with prefixes: На какой вокзал ... ваш коллега? • заезжает • доезжает • приезжает Categories of mistakes made by45 % of HLLs: 1. Case system: • Работа водителя автобуса требует • большоевнимание • с большимвниманием • большоговнимания • о большомвнимании 2. Verbs of motion (uni/multi directional): Навстречу нам ... девушка с цветами. a. шла b. ходила

15. TORFL-2 Categories of mistakes made by 80% of non-HLLs: 1. Case system: Вопреки ... ударили сильные морозы. a. всех прогнозов b. всем прогнозам c. всеми прогнозами d. все прогнозы 2. Lexical inaccuracy: Как хорошо, что я купил билеты на ... поезд! a. быстрый b. срочный c. скоростной d. скорый Categories of mistakes made by 83% of HLLs: 1. Case system: Было интересно прочитать о взглядах учёных ... страны. a. на экономическое развитие b. экономического развития c. экономическому развитию • об экономическом развитии 2. Lexical inaccuracy: За улучшение экологии выступает ... города. a. общность b. общительность c. общественность d. общество

16. ACTFL Proficiency Levels • Novice: operates with learned vocabulary and phrases, may be able to recombine • Intermediate: can express oneself with limited vocabulary and grammar, frequent mistakes to be expected • Advanced: sufficient vocabulary to describe, narrate, explain using concrete vocabulary. Sufficient grammatical accuracy, mistakes occur but are not frequent • Superior: can communicate fully using concrete and abstract vocabulary, sporadic mistakes do not impede comprehension

17. Oral Proficiency Interviews

18. Novice Level • Novice-level speakers can communicate short messages on highly predictable, everyday topics that affect them directly. They do so primarily through the use of isolated words and phrases that have been encountered, memorized, and recalled. Novice-level speakers may be difficult to understand even by the most sympathetic interlocutors accustomed to non-native speech.

19. Intermediate Level of Proficiency • Able to handle a variety of uncomplicated communicative tasks in straightforward social situations. • Personal information covering self, family, home, daily activities, interests and personal preferences, as well as physical and social needs, such as food, shopping, travel and lodging. • Capable of asking a variety of questions when necessary to obtain simple information to satisfy basic needs, such as directions, prices and services. • Are able to express personal meaning by creating with the language, in part by combining and recombining known elements and conversational input to make utterances of sentence length and some strings of sentences.

20. Advanced Proficiency • Able to handle with ease and confidence a large number of communicative tasks • Participate actively in most informal and some formal exchanges • Demonstrate the ability to narrate and describe in past, present, and future • Adapt flexibly to the demands of the conversation • Narration and description is interwoven to relate relevant and supporting facts in connected, paragraph-length discourse • Can handle linguistic challenges presented by a complication or unexpected turn of events • Communicative strategies such as circumlocution or rephrasing are employed • The speech is marked by substantial flow • Vocabulary is fairly extensive although primarily generic

21. B.L.: Transcript • У меня есть маленькая семья. Мама, папа, старший брат, и я. Моего отца зовут Эрик и мою маму зовут Лиса. Моя мама работает учительницeй и мой папа на пенсии. Раньше мой папа работал экономистом. Они женаты уже двадцать лет. • Моего брата зовут Ждейк, ему двадцать лет. Он учится в университете в Лос Анджелесе. Его специальность история. Бабушка и дедушка умерли. Моя семья живет в Лос Анджелесе дома около пляжа. Мы живем в красивом районе. В районе есть много магазинов, ресторанов, театров, и тогда. Я очень люблю когда моя семья дома, но обычно я живу в Вашингтоне потому, что я учусь там. Субботу и в воскресенье мы любим отдыхать дома или на пляже. Мы тоже отдыхаем вместе дома и мы смотрем телевизор или говорим. Субботное время мы любим ходит в ресторани или в кино или путешествовать. Мы никогда не приехали из Лос Анджелесе. Это все.

22. B.L. Analysis • Big volume BUT • Mostly memorized phrases • A string of sentences • No paragraphs • Few connectors (but, because) • No complex connectors • No opening, closing

23. D.G.: Transcript, part 1 Q. Вы говорили о том, что у вас был сосед, который вернулся в штат Юта. Что случилось? A. Его папа ... ну, ему стало слишком дорого учиться в этом университете и его папа не хотел ещё платит за учебу потому, что я плачу, я думаю, что можит быть десять тысяч долларов в год, чтобы учиться в этом университете, но мой бывший сосед по комнате, он должен был платить пятьдесять тысяч долларов в год за учебу, очень дорого и это жаль потому, что я очень скучаю по нему потому, что я его считаю моим лучшим другом. Q. И что случилось, вы оказались без соседа или у вас новый сосед? A. У меня … у меня тотже сосед ну потому, что в начале года у меня был два соседа по комнате и я ещё живу с этим соседом по комнате и к счастью у нас нет нового соседа по комнате и только нас двое в квартире. Q. Но вы должны платить больше наверно, да? A. Нет, нет, я не знаю почeму. Q. Но вам очень повезло. A. Да, очень повезло. Q. Ну вот, ваш друг, который уехал, конечно с ним вам не повезло. Вы сказали, что он был очень хорошим другом. Как вы с ним познакомились? A. Мы жили на одном этаже в общежитии на первом курсе и мы были соседями по комнате в прошлом году в общежитии. Q. Я надеюсь, что вы с ним ещё в контакте? A. Да, конечно, я посылаю ему СМС каждый день и мы разговариваем.

24. D.G.: Transcript, part 2 Q. Скажите пожалуйста, я понимаю, что вы заканчиваете третий курс, да? Какие у вас планы на будущие? A. Но, этим летом, я поеду в Москву, чтобы учиться и в следующим году я надеюсь, что ... я ... но, я зан... Я хочу ... нухорошо ... я…Через два года я хочу поступить в университет в Санкт- Петербурге, чтобы учиться там на год потому, что я учусь на флагманской программе и, чтобы закончить эту программу надо учиться в университете в Санкт-Петербурге. Я надеюсь, что я поступлю в этот университет и после этого я не знаю что ... я не уверен кем я стану потому, что я хочу стать переводчиком так как я очень люблю литературу, но все советуют меня не стать переводчиком потому, что в Америке переводчики не очень хорошо зарабатывают. Из-за этого я так (что?) хочу работать в американском государстве или правительстве где можно говорить и писать по-русски потому, что русский язык это моя специальность.

25. D.G.: Analysis • Spontaneous speech • Fluency (quick and adequate reaction to Q’s) • Paragraph-lengthconnected speech • Parenthetical words and expressions • Connectors: two kinds of ‘because’, in order to, because of that • Natural starts and stops • Minus: pronunciation errors; intonation flaws

26. D.G.: Tester’s Comments • D.G. communicates consistently in paragraph-length discourse in past, present, and future time with description and narration. He has rather good control of grammar and phonetics, especially evident in his ability to self-correct. • When given superior level probes, he showed inability to maintain discourse on an abstract topic. He uses a rather narrow range of cohesive devices. • In order for him to move forward to greater proficiency within and beyond the advanced level, he needs to broaden his active repertoire of devices of coherence and cohesion and expand his vocabulary.

27. Learning from the OPI • What do you learn from listening to an OPI?

28. Learning form OPI (2) • How can a teacher fade into the background? • How can we encourage students to talk? • What improvements do students need? • What is more important: vocabulary or grammar? • Are cohesive devices of importance? • What changes can be made to the program?

29. ACTFL Guidelines: Discussion • Group Work 1) Which features of the OPI are real life? 2) Which features are artificial? 3) How can the Guidelines be used in day-to-day teaching? 4) Can the OPI be used to test HLLs?

30. OPI Testing: Pros and cons • Pros • Provides common test format and ratings • Allows student to demonstrate proficiency without regard to method, textbook, duration • Cons • Artificial format – the tester doesn’t help communication • Solution: making tasks/situations more life-like

31. OPI: From Assessment to Materials and Curriculum Development Establishing what needs to be taught at each level • Novice: enable students to say a string of simple sentences+ simple connectors • Intermediate: start using more cohesive devices, e.g. который • Advanced: parenthesis and complex cohesion

32. Thematic Development: Four Skills • Novice and Intermediate: self, family, studies, interests • Advanced and Superior: Beyond ‘self’, abstract themes, politics, economics, news items, ecology, etc.

33. Bloom’s Taxonomy

34. Real Life and Materials Development • Real life situations determine how we engage with the text (either written or aural/oral) (H.Byrnes in The Routledge Handbook of SLA, 2012)

35. Simple Tasks Made Real

36. Interpretive Modes: Listening and Reading • E-mails • Blogs • Statistics • Announcements • Short texts on a variety of topics • YouTube excerpts from movies, interviews • Incorporating authentic materials • Creating real life tasks using critical thinking approach

37. Authentic Materials: Scaffolding • "Scaffolding refers to providing contextual supports for meaning through the use of simplified language, teacher modeling, visuals and graphics, cooperative learning and hands-on learning" (Ovando, Collier, & Combs, 2003, p. 345). • "as students become more proficient, the scaffold is gradually removed" (Diaz-Rico & Weed, 2002, p. 85). Source: Scaffolding Academic Learning for Second Language Learners Karen Sue Bradley & Jack Alden BradleyInternet TESL Journal, Vol. X, No. 5, May 2004http://iteslj.org/

38. Look at Slides 36-44 • Chose: : 36-37; 38; 39; 40; 41; 42 • Decide what kinds of ‘real life’ assignments you can give students at the 1) Novice level 2) Intermediate level

39. Рецепт манной каши • Нам понадобятся молоко, вода, сливочное масло, соль, сахар и, конечно, манная крупа.

40. Манная каша готова! Перекладываем в миску, добавляем сливочное масло и можно есть!Всем приятного аппетита!

41. Сотрудник «Большого города» ищет квартиру • Мой молодой человек, наш попугай, кот и я ищем квартиру в Москве — однушку, рядом с метро, предпочтительно  на Сокольнической или Калужско-Рижской ветке. Вредных привычек нет ни у кого, включая животных. Животные воспитанные, люди тоже, я вообще работаю в «Большом городе».  Очень бы хотелось не ждать до осени и переехать в августе.   Юля  zabrodina@bg.ru

42. Квартира у Парка культуры • Пока хозяйка работает в Нью Йорке, сдается 1-комнатная квартира у метро «Парк культуры». Можно арендовать на 3 или 6 месяцев. Можно с последуюшей продажей. Недорого. • Владислав, 8 903 729 94 84

43. Об’явление • Сниму комнату • Сниму маленькую изолированную комнату в старом доме поближе к центру, в пределах 15 тыс. рублей. Я очень тихая, аккуратная девушка, которая много пишет. Не курю, люблю дома и книги. • Камила, kamila.nicholls@gmail.com

44. Статистика • Территория России составляет 17.075.260 кв. км и в основном лежит севернее 50° с.ш.Средние температуры января, по разным регионам, от 0 до -50 °C, июля от 1 до 25 °C; осадков от 150 до 2000 мм в год.Вечная мерзлота (районы Сибири и Дальнего Востока) занимает 65% территории России.Более 70% российской территории - это зона рискованного земледелия.Свыше 50% территории занимают леса.

45. Журнал «Большой город» • Лена ищет Аркадия и плащ • Девушка Лена просит отозваться хоккеиста Аркадия, который подвозил ее в субботу в клуб и в автомобиле которого она оставила свой плащ. • Лена, dealena@mail.ru

46. Парень в рыжем пальто • Где-то в начале марта в 10 часов вечера на станции «Новослободская» встретился парень в рыжем пальто. Сообщил, что видел меня в декабре, но не успел заговорить, потому что я быстро бежала. И еще сказал, что любит Чехова. Я тоже люблю Чехова. Молодой человек, как вас зовут? • Камила, kamila.nicholls@gmail.com Журнал «Большой город»

47. Даю уроки • Научу желающих писать, читать и говорить на хинди. За плечами — МГИМО и победа на конкурсе UK Hindi Samiti 2011. Занятия эффективные, интересные и без занудства. В качестве бонуса могу научить писать, читать и говорить на урду. Занятия от 500 р. • Полина, polinaryjova@gmail.com

48. YouTube: «Маша и медведь» Школа: первый раз в первый класс • http://www.youtube.com/watch?v=VKS2JRidfmk&feature=related

49. Опросы • Умеете ли Вы пользоваться Интернетом? • Умеете ли вы пользоваться компьютером? • Есть ли у Вас дома? • Есть ли на Вашем мобильном телефоне функция выхода в Интернет, и если да, пользуетесь ли Вы этой функцией? • Сколько, в среднем, часов в неделю вы проводите в Интернете (кроме переписки по электронной почте)? (в % от тех, кто пользуется)? • Как или где Вы научились пользоваться Интернетом? (в % от пользующихся) • Сколько примерно книг Вы купили за последние шесть месяцев?(в % от покупающих) • Читаете ли Вы сейчас какую-нибудь книгу, если да, то где Вы ее взяли? • Какие журналы Вы в последнее время читаете или покупаете чаще всего? (ответы ранжированы) • Играете ли Вы сами на каких-либо музыкальных инструментах, и если да, то на каких? (в % от тех, кто играет)

50. Part 1: Conclusions • Use formative testing at short intervals • Use summative testing (ACTFL OPI) at big junctions • Think of assessment for “real life purposes” • Think of “real life purposes” when creating teaching materials • Use critical thinking approach • Allow students to act cognitively at their age level