CEFR in Finland – uses and adaptations – Possible implications for JS?

1. CEFR in Finland – uses and adaptations – Possible implications for JS? Sauli Takala Tokyo, December 12, 2010

2. Overview • What is CEFR? • Work on curriculum development • Work on scale development and scale validation • Work on relating language examinations to the CEFR levels • Work on national assessments of FL proficiency in schools

3. Before CEFR • LOTS of seminars • LOTS of case reports (language study provision) • Narratives and anecdotes without a common frame of reference: • ”All Dutch speak English very well.” • ”The further south you go in Europe, the less people speak foreign languages.” • Case 1: ”In my country…” • Case 2: ”In my country…” • Ad infinitum I SUPPOSE this is useful … ….but it´s so bOOORING! (Wandering mind) ”I wonder if there isn´t a better way?”

4. 50 years work on language education by the Council of Europe 1960s - A unit-credit scheme for languages (adults; migrant workers) 1970s Development of a functional communicative approach (Threshold etc) 1991 Coherence and transparency in language learning and teaching (start work on the CEFR and the European Language Portfolio, ELP) 2001 publication of the CEFR and European Languages Portfolio 2001 – 2008 Languages for Social Cohesion 2008 + Towards a plurilingual, pluricultural, inclusive society; integration of all languages

5. CEFR & its Finnish translation

6. 65% of students reach the target level, 15% one level and 5% two levels above it, 10% one level and 5% two levels below it. After CEFR Our B2 looks like this. What is your B2 like? What evidence do you have for such claims? Our target is B1 at the end of compulsory education in ”A”-language. Our goal is A2 in ”B”-language at the end of compulsory education.

7. ”The Blue Bible” (??)

8. Look! There are the Portflio people. How nice to meet them!

9. How do I know that my B2 is your B2?

10. Title:Common European Framework of Reference for Languages: Learning, Teaching, Assessment Author: Council of Europe Published: in 2001 by Cambridge University Press Available online: http://www.coe.int/T/E/Cultural%5FCo%2Doperation/education/Languages/Language%5FPolicy/Common%5FFramework%5Fof%5FReference/ What is the CEFR? F. Kaftandjieva

11. CEF construct of language proficiency • Language use, embracing language learning, comprises the actions performed by persons who as individuals and as social agents • develop a range of competences, both general and in particular communicative language competences. • They draw on the competences at their disposal in various contexts under various conditions and under various constraints • to engage in language activities involving languageprocesses • to produce and/or receive texts in relation to themes in specific domains, • activating those strategies which seem most appropriate for • carrying out the tasks to be accomplished. • The monitoring of these actions by the participants leads to thereinforcement or modification of their competences.

13. General competences Strategies Communicative competences sociolinguistic linguistic pragmatic Domains & topics Language activities (rec/prod) Situations TASK Identifiable result Frank Heyworth 2010

14. Why was there a need ofa framework? need of: • Co-operation and co-ordination in educational efforts • Mutual recognition of language qualifications F. Kaftandjieva

15. Planning Language certification Language learning programmes Self-directed learning For what uses is the CEFR intended? F. Kaftandjieva

16. Comprehensiveness Transparency Coherence What criteria must the CEFR meet? F. Kaftandjieva

17. Linguistic Reception Reception Pragmatic Interaction Interaction Socio-linguistic Production Production Mediation CEFR: Horizontal dimension Overall Language Proficiency Communicative Language Competence Communicative Language Activity Use of Strategies F. Kaftandjieva

18. CEFR: Vertical dimension C2 C1 B2 Common Reference Levels B1 A2 A1 F. Kaftandjieva

19. Language Proficiency: Common Reference Levels C2 Mastery C1 Effective Operational Proficiency B2 Vantage B1 Threshold A2 Waystage A1 Breakthrough F. Kaftandjieva

20. Language Proficiency: Common Reference Levels Broader Level Distinction C2 Mastery C Proficient user C1 Effective Operational Proficiency B2 Vantage B Independent user B1 Threshold A2 Waystage A Basic user A1 Breakthrough F. Kaftandjieva

21. Language Proficiency: Common Reference Levels Finer Level Distinction C2.2 C2 Mastery C2.1 C1.2 C1 Effective Operational Proficiency C1.1 B2.2 B2 Vantage B2.1 B1.2 B1 Threshold B1.1 A2.2 A2 Waystage A2.1 A1.2 A1 Breakthrough A1.1 F. Kaftandjieva

23. CEFR-adapted target levels defined in the current curricula in the basic school (2003) and the upper secondary school (2004)

24. CEFR – adaptation to school curricula • Needed to be adapted to the context, not just adopted as such • Keep the well-established curriculum traditions: balance between tradition and reform • Add as a new component the proficiency levels to facilitate definition of progression • Indicate target levels for grades 6, 9 and 12 • Need for more fine-grained levels at A1 • fast qualitative progress at lower levels • to sustain and support motivation

25. New Finnish FL Syllabuses

26. Language Proficiency Levels: in the Finnish Core Curriculum Mastery C1.2 Vantage B1.2 Threshold Breakthrough

27. New Finnish FL Syllabuses

28. Taitotaso Kuullun ymmärtäminen Puhuminen Luetun ymmärtäminen Kirjoittaminen A1.1 Kielitai-don alkeiden hallinta *Ymmärtää erittäin rajallisen määrän tavallisia sanoja ja fraaseja (tervehdyksiä, nimiä, lukuja, käskyjä) arkisissa yhteyksissä. *Tarvitsee erittäin paljon apua: toistoa, osoittamista, käännöstä. *Osaa vastata häntä koskeviin yksinkertaisiin kysymyksiin lyhyin lausein. Vuorovaikutus on puhekumppanin varassa ja puhuja turvautuu ehkä äidinkieleen tai eleisiin. * Puheessa voi olla paljon pitkiä taukoja, toistoja ja katkoksia. * Ääntäminen voi aiheuttaa suuria ymmärtämisongelmia. * Osaa hyvin suppean perussanaston ja joitakin opeteltuja vakioilmaisuja. * Puhujan hallitsemat harvat kaavamaiset ilmaisut voivat olla melko virheettömiä. *Tuntee kirjainjärjestelmän, mutta ymmärtää tekstistä vain hyvin vähän. *Tunnistaa vähäisen määrän tuttuja sanoja ja lyhyitä fraaseja ja osaa yhdistää niitä kuviin. *Kyky lukea entuudestaan tuntemattomia sanoja on hyvin rajallinen. *Osaa kirjoittaa kielen kirjaimet ja numerot, merkitä muistiin henkilökohtaiset perustietonsa ja kirjoittaa joitakin tuttuja sanoja ja fraaseja. *Osaa viestiä välittömiä tarpeita hyvin lyhyin ilmaisuin. *Vähänkin vieraampien sanojen kirjoittaminen virheellistä. A1.2 Kehitty-vä al-keiskieli- taito *Ymmärtää rajallisen määrän sanoja, lyhyitä lauseita, kysymyksiä ja kehotuksia, jotka liittyvät henkilökohtaisiin asioihin tai välittömään tilanteeseen. *Joutuu ponnistelemaan suuresti ymmärtääkseen yksinkertaistakin puhetta ilman selviä tilannevihjeitä. *Tarvitsee hyvin paljon apua: puheen hidastamista, toistoa, näyttämistä ja käännöstä. *Osaa viestiä suppeasti joitakin välittömiä tarpeita ja kysyä ja vastata henkilökohtaisia perustietoja käsittelevissä vuoropuheluissa. Tarvitsee usein puhekumppanin apua. *Puheessa on taukoja ja muita katkoksia. *Ääntäminen voi aiheuttaa usein ymmärtämisongelmia. *Osaa suppean sanavaraston, joitakin tilannesidonnaisia ilmaisuja ja peruskieliopin aineksia. *Puheessa esiintyy hyvin paljon kaikenlaisia virheitä. *Pystyy lukemaan nimiä, kylttejä ja muita hyvin lyhyitä ja yksinkertaisia tekstejä, jotka liittyvät välittömiin tarpeisiin ja tunnistaa niistä yksittäisen tiedon, jos voi lukea tarvittaessa uudelleen. *Kyky lukea entuudestaan tuntemattomia sanoja on rajallinen. *Osaa viestiä välittömiä tarpeita lyhyin lausein. *Osaa kopioida perustietoja ohjeista ja aikatauluista ja kirjoittaa muutamia lauseita ja fraaseja itsestään ja lähipiiristään (esim. vastauksia kysymyksiin tai muistilappuja). * Ulkoa opetellut fraasit voivat olla oikein kirjoitettuja, mutta itsenäisemmässä tekstissä vilisee kaikenlaisia virheitä. A1.3 Toimiva alkeis-kieli-taito *Ymmärtää henkilökohtaisia kysymyksiä ja jokapäiväisiä ohjeita, pyyntöjä ja kieltoja rutiinimaisissa keskusteluissa tilanneyhteyden tukemana. *Ymmärtää huomattavin ponnistuksin yksinkertaisia keskusteluja kiinnostavista asioista. *Ymmärtäminen edellyttää normaalia hitaampaa ja kuulijalle kohdennettua yleiskielistä puhetta. *Osaa kertoa lyhyesti itsestään ja lähipiiristään. Selviytyy kaikkein yksinkertaisimmista vuoropuheluista ja palvelutilanteista. Tarvitsee joskus puhekumppanin apua. * Kaikkein tutuimmat jaksot sujuvat, muualla tauot ja katkokset ovat hyvin ilmeisiä. *Ääntäminen voi joskus tuottaa ymmärtämisongelmia. *Osaa rajallisen joukon lyhyitä, ulkoa opeteltuja ilmauksia, keskeisintä sanastoa ja perustason lauserakenteita. *Puheessa esiintyy paljon virheitä. *Pystyy lukemaan tuttuja ja joitakin tuntemattomia sanoja ja lyhyitä tekstikappaleita, jotka käsittelevät arkielämää, rutiinitapahtumia tai yksinkertaisia ohjeita. *Osaa paikantaa ja verrata yhtä tai useampaa yksityiskohtaa laajemmassa tekstissä. *Lukeminen ja ymmärtäminen on hyvin hidasta. *Selviytyy yksinkertaisista helposti ennustettavista kirjoitustehtävistä tutuimmissa arkitilanteissa. Osaa kirjoittaa yksinkertaisia viestejä (postikortin, lyhyen esittelyn) todellisista tai kuvitteellisista henkilöistä ja hyvin tutuista aiheista. Osaa kopioida yksittäisiä tietoja ja kirjoittaa muistiin yksinkertaista sanelua. *Osaa muutamia kaikkein tavallisimpia sanoja ja ilmauksia, jotka liittyvät oman elämän yksityiskohtiin tai konkreettisiin tarpeisiin. Osaa kirjoittaa yksilauseisia virkkeitä tai rinnasteisia lauseita, joissa esiintyy perusaikamuotoja. *Tekstissä esiintyy hyvin paljon virheitä.

29. A1.1 Speaking: First stage of elementary proficiency • Can answer simple personal questions with short phrases. Needs considerable assistance and depends on gestures to express meaning. May also switch to first language at times. • Makes often long pauses and repetitions. • Pronunciation difficulties may seriously impede communication. • Has a very limited repertoire of basic vocabulary and a few memorised sentence patterns. • Cannot produce extended speech, but shows reasonable control of the very limited linguistic repertoire.

30. Categories incuded in the Finnish syllabus adaptation • ListeningReading • Themes, texts, tasks 1) Themes, texts, tasks • 2) Conditions & 2) Conditions & constraints • constraints • Speaking Writing • - Themes/texts/tasks Themes/texts/tasks • (narrative/interaction) Range of language • - Fluency Accuracy • Pronunciatton • Range of language • Accuracy

32. Developing rating scales for assessing oral performance (computerized testing) • Story line with 6 different tasks • Task-specific criteria for: • Telephone conversation • Reading aloud • Summarizing a tex (mediation: L1-> L2) • Description (of pictures) • Pragmatic: situated responses • Monologue/speech

33. Task-specific rating scales are needed • Two main parts: • Task performance and interaction (task-specific) • Language-related part (basically indentical for all tasks) • See next slide for a visual summary

35. Scale development and scale validation

36. CEFR Scale Validation/National Scale Validation Interrater reliability: 0.87-0.99 Correlation with CEFR: above 0.92 Pattern matching (Trochim 1999): theory vs. empirical outcomes: L: .89, R: .91, W: .84 Discriminant analysis: probablity of ”correct” membership - > .985 Aiken agreement coefficient: L .90, R .90, W .80 SAME level as CEFR: L 75%, R 65%, W 52% Conclusion: CEFR scales are valid enough to be used as a framework for FL teaching & assessment Several scales have been developed/adapted and validated for different contexts in Finland

37. CEFR in the Examination and National Assessment context

38. Linking Matriculation Examinations (high stakes) to the CEFR: • What level is obtained at the end of the Upper Secondary School (age 19)?

40. How to accommodate national grading and reporting systems and the CEFR (levels)? • Matriculation exam grades from top to pass: roughly 5%, 15%, 20%, 24%, 20%, 11% <> CEFR 6 levels C2-A1 • One solution: by means of conversion tables/ charts, which show how national grades are related to the CEF levels.

42. Increased transparency and comparability: English (10 yrs) vs Swedish (6 years)

43. FIGURE 1a. Distribution of CEF levels:) FIGURE 1b Distribution of CEF_levels: A-English B-Swedish

44. Linking National Assessment outcomes to the CEFR • What level is obtained in English at the end of the Comprehensive School after seven years of study (age 15-16)? • cf: EU-project ”SurveyLang”

46. Linking examinations results has only begun. • Replication to verify tentative linkages. • International co-operation to develop compeence in linking examinations/tests to the CEFR (cf. EALTA workshops Barcelona, 2007; Budapest, Turku; workshop in Siena, May 2011) • International co-operation in mutual verifying of national efforts of linkage? • International teams of judges? • External validation by sharing tests?

47. A rough time/level (English) estimate based on CEFR • In the Finnish context (L1 And L2 not related): • Getting from A1.1 (age 9/10) to the average of B1 (age 15/16) takes about 300 lessons and perhaps 100 hours of homework -> 400 hours. • Getting from the average of B1 to the average of B2 (at 18/19) takes about 250 lessons and probably some 200-250 hours of homework -> 450 – 500 lessons/hours • A1 -> B2: 800 – 900 hours I could never have predicted such develop-ments!

49. Summing up

50. Finnish perspective on the CEFR- Implications? • A valuable tool in all national language education • A valuable tool in international contacts and co-operation • Not prescriptive or dogmatic but descriptive; responsibility for thoughtful application lies with the user (eg. Japanese context) • A reference tool – it is not a curriculum or a programme • While comprehensive, does not cover everything