Lesing Hva skal vi vurdere?

1. LesingHva skal vi vurdere? Inger Langseth Program for lærerutdanning NTNU Utdanningsdirektoratet 1.nov. 2010

2. Karakter - sensur Tekstforståelse (engelsk vg1 sensorveiledning) Tekstforståelse kan komme til uttrykk som direkte svar på oppgaver knyttet til tekstutvalget, og/eller gjennom at eleven bruker denne forståelsen i utformingen av sine egne tekster både når det gjelder innhold og komposisjon. Ikke nevnt i vurderingsskjemaet

3. Innhold • Hvor langt er vi kommet i vurdering av leseforståelse? • I lærebøkene? • I sluttvurdering? • Hvilke utfordringer står vi overfor? • Lesing – Hva består lesing i? • Lesing – Hvordan tester vi lesing? Konstrukt

4. Veien videre VFL VAL Kommentarer • Tilbakemeldinger • Fremovermeldinger Karakterer Egenvurdering Sluttvurdering

5. Utfordringer i Sluttvurdering må modellere god undervisning Washback effekt på fagenes premisser om

7. Visible Visible teaching Innhold Awarenessofthelearningintentions Know enoughaboutthecontent to providemeaningful and chalenginglearningexperiences Visible learning • Student • Knowingwhenthe student is successful • Havingsufficientunderstandingofthestudent’sunderstanding • John Hattie • Professor of Education, Facultyof Education, • The University of Auckland

8. Et konkret eksempel Lesing – i 2010 • http://www.udir.no/grep/Grunnleggende-ferdigheter/?visning=2 Can’t I just e-mailyou a link to my blog, miss?

9. Lesing Hvilke spørsmål vil du stille til en tekst for å fremme lesing/vurdere leseferdighet? Hvordan vil du systematisere spørsmålene gjennom begrep?

10. Lesing Konstrukt Ditt svar viser ditt syn på lesing, hva du mener lesing er og hvordan du vil vurdere lesing.

11. To viktige poeng først Kontekst 50% Hva vet du om tema? Vi bidrar til å gjøre elevene til gode eller dårlige lesere gjennom de tekstene vi velger ut. Vokabular Forstår du ordene i teksten? Den viktigste indikatoren på tekstforståelse er vokabular.

12. Avisartikkel Kontekst Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law. http://www.aftenposten.no/nyheter/iriks/article3036474.ece

13. Avisartikkel Vokabular La situationdes roms en France atteintunpointcritique [FR] [en] Publié: 07 décembre 2005 Unrécent rapport du Centre européenpour les droitsdes Roms (ERCC) indiqueque les populationsroumaines et tsiganes de France vivent dans unclimatperpétuel de racisme et de discrimination. Peuaprès les émeutes dans les banlieuesfrançaises, le Centre européenpour les droitsdes roms, basé à Budapest, a publiéun rapport détaillé sur la situationdestsiganes, desvoyageurs et des roms migrants en France. IntituléHors d'ici! Anti-tsiganisme en France, ce rapport résume les résultatsdesrecherches et activités de suivimenées par l'ERCCdepuis 2003.Selon le rapport, la population de tsiganesinstallés en France s'élèveofficiellement à environ 500 000 personnes, bien quecechiffresoit, seloncertainesestimations, plusproche de 1,2 million. Le rapport établitque la grande majoritédestsiganes et desvoyageurs en France sont desressortissantsfrançais. Les gens du voyage sont sensésêtredes nomades.Dans ce rapport, l'ERRCdéclareque "La France est reconnue comme sourcehistorique et gardiennedesvaleurs de la démocratie moderne ainsiquedesdroits et libertés individuelles; toutefoisdesmilliers de citoyensfrançais sont victimes de violations graves de leursdroitscivils et politiques les plusélémentaires sans quececi ne soulève le moindresoupçon de réprobation, encoremoinsuntollépublicface à cetteatteinteauxprincipesfondamentaux de la RépubliqueFrançaise ! Beaucoup de personnesvictimes de cesviolations sont en fait tsiganes et voyageurs, cequisembleindiquer le caractèreracistesous-tendu par celles-ci."Les minoritéstsiganes sont généralementconsidérées comme les plusvulnérables au racisme et à la discrimination dans les nouveaux Etats membreségalement, notamment en Bulgarie, en Républiquetchèque, en Hongrie et en Slovaquie.

14. Avisartikkel Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law.The Frenchexecutiveannounced Jul. 29 that 300 illegal Roma camps would be demolished in thenextthreemonths. According to thePresident'soffice, the camps are "sourcesof illegal trafficking, profoundlyshocking living standards, exploitationofchildren for begging, prostitution and crime." By the end ofthisyear, France is set to adoptlegislation to expelundocumented Roma residing in thecountry, "for reasonsofpublic order." Germany is set to deport 12,000 Roma back to Kosovo over thenextyears. Half ofthemarechildren and adolescentswhogrew up in Germany. Sweden has thisyeardeported 50 Roma from EasternEurope for begging, eventhoughbegging is not a crime in thiscountry. Denmarkdeported 23 Eastern European Roma in July. In Belgium, 700 Roma wereforced to exit Flanders in July, and given onlytemporaryshelter in Wallonia. The UK government last monthannouncedlegislationthatwould lead to theevictionoftensof families of Roma and travelers, pushing themintoillegality. The stepstaken by Western governmentscome right in themiddleoftheDecadeof Roma Inclusion (2005-2015), "an unprecedentedcommitment by European governments to improvethesocio-economic status and socialinclusionof Roma." In 2008, Italydeclared a stateofemergency over Roma immigrants. Around 10 million Roma areestimated to be living in Europe. The largestconcentration is in Romania, at two million according to unofficialestimates. Hundredsofthousands live in other Central and Eastern European countries.

15. Vurdering Konstrukt ( hva vi tenker om lesing) • Teksten vi velger • Oppgavene vi gir • Svarene vi fokuserer på • Hvordan vi tolker svarene Disse valgene baseres på en teoretisk forankring OECD -PISA IEA -PIRLS Assessingreading J Alderson

16. Reading 1 PURPOSE hensikten med lesingen 2 PROCESS forholdet mellom tekst og leser 3 PRODUCT tekstforståelsen-meningspotensialet 4 BEHAVIORS/ATTITUDES strategier og interesse 5 ASSESSMENT for/av læring PIRLS Alderson

17. 1 Purpose Three aspectsofstudent’sreadingbaseduponwhat students read (IEA PIRLS): Purposes for reading • Reading for literaryexperience 50% (rauding) • Reading to acquire and useinformation 50% (scanning, learning, memorising)

18. Purpose - Literary experience Imagine: Recallown: Experiences Feelings Appreciationoflanguage Knowledgeofliterary forms • Events • Settings • Actions • Consequences • Characters • Atmospheres, feelings • Ideas

19. Purpose - Reading for information Understand the world Structure Chronologicalorganisation Logicalorganisation Cause and effect Arguments and counter arguments Viewpoint and supportingevidence Persuasive texts Problem and solution Documentedwithtablesetc Non continoustext • Past, present, future • Reasoningbasedontext • Action basedontext

20. Purpose - Reading for information Understand the world Seks hovedsjangre Gjenfortelling ( recount) Rapport (report) Forklaring (explanation) Diskusjon (discussion) Overtalelse (exposition)  Instruksjon (prosedure) • Past, present, future • Reasoningbasedontext • Action basedontext

21. 2 Process Five readingprocesses: • Skimming – lese fort for en generell forståelse 1000 ord pr minutt. • Scanning – lese for å finne informasjon • Rauding - lesning hvor leseren forstår alle setningene med letthet ca 300 ord pr minutt • Learning –lese for å forstå noe nytt • Memorising – lese for å huske Carver 1990 s52

22. Eksempel 1 PIRLS 4 leseprosesser

23. Process • IEA PIRLS Four processesofcomprehension • Focuson and retrieveexplicitlystatedinformation 20% • Make straight forward inference 30% • Interprete and integrateideas and information 30% • Examine and evaluatecontent, language and textual elements 20%

24. 1) focuson and retrieveexplicitlystatedinformation 20% • Basert på setningsnivå. • Meningen er tydelig uttrykt i teksten • Leseren må knytte spørsmålet til informasjonen i teksten Examples: • Identifyinginformationthat is relevant to thespecific goal ofreading • Looking for specificideas • Searching for definitionofwords or phrases • Identifyingthe setting of a story • Findingthetopicsentence, mainideawhenexplicitlystated IEA PIRLS

25. 2) make straight forward inference 30% • Basert på over setningsnivå • Fylle inn informasjonsgap i teksten • Sette sammen to ideer eller to informasjonsdeler • Informasjonen er eksplisitt tilgjengelig i teksten Examples • Inferringthatoneeventcausedanother • Concludewhat is themainpointmade by a series of arguments • (Lokal: En person beskrives på samme måte flere ganger og det danner et karaktertrekk. Global: Teksten beskriver et tema i flere sammenhenger) • Determinethe referent of a pronoun • Identifyinggeneralisationsmade in thetext • Describingtherelationshipbetweentwocharacters IEA PIRLS

26. 3) interprete and integrateideas and information 30% • Basert på over setningsnivå. • Tolker og integrerer tekstelementer, ofte basert på egne erfaringer og kunnskap • Knytte detaljer til overordnede mål, tema, ideer… • Svarene gir en holistisk forståelse av teksten • Svarene varierer etter kunnskap og erfaringer Example: • Discerningthe overall message or themeof a text • Considering an alternative to actionsofcharacters • Comparing and contrastingtextinformation • Inferring a story’smood or tone • Interpreting a real-worldapplicationoftextinformation • IEA PIRLS

27. 4) examine and evaluatecontent, language and textual elements 20% • Basert på teksten og analyse av den (ikke mening) • Basert på kunnskap om verden og tekster • Innhold: aksepterer, avviser eller er nøytral til innholdet • Struktur: sjanger, tekstoppbygging, konvensjoner, • Språk: god kjennskap til språket er nødvendig • Forfatterens: hensikt, perspektiv eller ferdighet Example: • Evaluatethelikelihoodthattheeventcouldreallyhappen • Describehowtheauthordevised a surprise ending • Judgingthecompleteness or clarityofinformation in thetext • Determining an author’sperspectiveonthecentraltopic • IEA PIRLS

28. Eksempel 2 PISA 5 leseprosesser

29. PROCESS- OECD PISA

30. Metakognisjon ”Kunnskap om og ferdigheter i å bruke strategier når du leser tekster i en viss hensikt”. Leseren spiller en aktiv rolle i lesingen ved å sammenstille informasjon, fylle inn hull i teksten og skape makrostrukturer • Kunnskap om språk, struktur og innhold ( PISA 2009): • Identifisere viktig informasjon • Bruke tidligere tekstinformasjon • Hente og bruke kunnskap fra langtidsminnet • Velge riktig leseprosess for oppgavene og å bruke tekstinnholdet videre i nye sammenhenger

31. Dan Willingham, Youtube

32. 3 Product Skal språket testes (språktest)? Constructofreading • Tekstforståelsen og meningspotensialet (elevens) • Hvor godt leser eleven (target languageusesituation) • Hvor effektivt leser leseren en tekst i en spesiell hensikt • Constructofreading ( hva består lesing i) • Constructoftest ( hva er hensikten med lesingen?) Constructof test Kommer fra en teori om lesing som realiseres gjennom: teksten du velger, oppgavene du gir, forståelsen det innebærer og hvordan du vurderer produktet til slutt. COE, Europarådet

33. 4 Behaviours and attitudes • Readingliteracybehaviours I fremmedspråk kan ikke elevene bruke sine L1 lesestrategier i særlig grad før de har nådd et nivå hvor de fungerer språklig. Nivået for bruk av strategier avhenger av kunnskaper og tekstens tema. • Readingliteracyattitudes Leserens holdning og interesse for teksten er avgjørende for leseforståelsen. Mange er nervøse før en test.

34. Nyforskningviser at engasjertelesere: Mål for leseopplæringen! Hartydeligeinteresseområderogfavorittemnerellerlesestoff (interest); De verdsetterå ha kontroll over lesingen sin, og de tar selvinitiativtilålese (autonomy); De har et sosialtnettverk for åutvikle sine kompetanserog dele sine kunnskaperogerfaringer (social disposition); De leserofteogbredt (behaviour). p. 71 PISA 2009

35. 5 Assessment • Europarådet COE • American Council for the Teaching of Foreign Language • AustralianSecondLanguageProficiencyRatings • Association ofLanguage Testers in Europe ALTE • Theories, but not empiricallygroundedideas Hva kan gode lesere gjøre som svake lesere ikke kan? Hvilke stadier går leseren igjennom i fremmedspråk? VFL av leseprosessen! 2010

36. Construct of reading (North COE) mastery • Strategic competence – can adapt style and speed of reading to different texts and purposes • Linguistic competence – can read with a large degree of independence, using appropriate reference sources effectively • Discourse competence –can distinguish in detail the various part of the treatment of a theme and understand their interrelations • Sociolinguistic competence – can understand a vide variety of slang and pertinent references. Can appreciate humour and subtle or culturedependent nuances of meaning or style.

37. Constructoftext • Lexis, ord i teksten ( viktigste elementet) • Innhold ( skjema, knytte gammel til ny kunnskap/ abstrakt-konkret innhold/ kjent-ukjent innhold) - kunnskap • Medium hvor teksten forekommer - kontekst • Teksttyper (faktatekster litterære tekster ;åpnere svar). Kjente sjangere er letter å lese enn ukjente osv. Korte versus lengre tekster - sjanger • Tekstens indre organisering ( hjelper leseren. Cohesion ikke så viktig) • Tekstens tone, stemning og forfatterens hensikt med teksten står sentralt • Setningsstrukturer ( ingen effekt å forenkle strukturen i tester, bruk autentisk tekst fremfor konstruerte tekster) • Typografi, layout, verbal og ikke verbal tekst ( bildebruk)

38. Constructof test • Ord gjenkjenning – automatisering ( tidsfaktoren) • Tekstmengde – hastighet (tidsfaktoren) • Syntese og evaluering av innholdet • Metakognisjon ( har sammenheng med leseferdighet) • Bakgrunnskunnskap vurderes i testen dersom det er et mål, ellers ikke • Metalingvistikk (L1) vurderes dersom elevene er på et høyere språklig nivå (språktest- grammatikk) • Lesestrategier ( L1) vurderes i testen dersom elevene er på et høyere språklig nivå (er en generell kompetanse)

39. Constructoftask Hensikten (purpose) med tekstlesingenkangjernegissominstruksjon: • Ex. In this activity you will practise scanning the information in the text in order to find specific information • Ex. The purpose of this activity is to encourage you to look at how the passage has been organized into sections. • Ex. This activity is designed to help you explore the characters in the extract and the techniques of characterization used by the author p. 328

40. Test design Formell – Vurdering av Lesing Multiple choice: Cloze test: Orderingtask Matching task Editing test Short answers test Freerecall test (L1 always) Real lifemethod ( text and action) First CertificateofEnglsih

41. Spørsmål til teksten 12 spørsmål pr tekst: • Multiple choice (50%) 1 poeng (4 alternativer) • Half constructedresponse item format 50% • Kortspørsmål (5 min) 1-2 poeng • Langspørsmål (10 min) 3 poeng http://www.pearsonlongman.com/ae/marketing/sfesl/practicereading.html Longman

42. Spørsmål til teksten First CertificateEnglsih 25-29 spørsmål pr test (B2): • Del 1 før teksten: multiple choice 6-7 stk med fire valg • Del 2 etter tekst: multiple choice 6-7 stk med fire valg • Del 3 tekst: avsnittene er flyttet om, finn rekkefølgen • Del 4 tekst: 13-15 multiple matching textsdependingontext Tekstlengde 350-750 ord= 1900-2300 ord totalt=75 min.

43. Vurdering UFORMELL Vurdering For Læring Group review Individualinterview Openquestions Short discussions Casualconversations Talk withlearnersabout progress Readingaloud Checkreading speed Answeringquestionson a passage Gap fillingexercise Logg • Predictcontent+ jutify (process) • Criticalreading + jusify • Selfassessment • Hva fører tekstoppgavene til?

44. Noen råd om tekster • Sørg for at instrukser, rubrikker og lignende. Har et språk som alle forstår. • Finn tekster som har et innhold/kultur som er like kjent eller ukjent for alle testtakere. Finn tekster fra L1 situasjoner som forekommer ofte. (Blogginnlegg, e-post…allinclusive) • Bruk autentiske tekster. Unngå å endre tekstene, det fører ikke til bedre leseforståelse og er ikke reell lesing. Oppgi eventuelt ord, nøkkelord, indiker kontekst (bilder, definisjoner, tabeller som støtter innholdet) • Skill mellom metakognisjon (tekstforståelse) og metalingvistikk (grammatikk) som ikke sier noe om tekstforståelse.

45. Noen råd om tekster • Leseferdighet overføres fra L1 først ved en viss språklig L2 ferdighet ( 95% /5000 ord). Tema, språket, bakgrunnskunnskap og oppgavetype avgjør vanskegrad. • Vokabularforståelse er den beste indikatoren for leseforståelse – tidsfaktor • Finn oppgaver som knyttes til virkelighetsnære situasjoner på rett nivå. Velg en av fem prosesser med sine særegne prosesser, mål og resultat. • Motivasjon og følelser: finn tekster som skaper positive følelser og svar med positiv affektiv verdi ( ikke negativ)

46. Noen råd om tekster • Lesere reflekterer forskjellig i forhold til litterære tekster ( personlige åpne svar) og i forhold til faktatekster (holdninger, system). Tester bør avspeile dette. • Forfatterens hensikt med teksten, tonen i teksten og stemningen i teksten er viktige elementer i tekstforståelse Speatitt 72 • Vurder: print, font, layout etc. slik det normalt forekommer i tekst • Tekstens lengde må vurderes i forhold til ”purpose” – tidsbegrensing?

47. PISA 2009 readingliteracy The PISA 2009 definition of reading adds engagement in reading as an integral part of reading literacy: Reading literacy is understanding, using, reflecting on and engaging with written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society.

48. Konklusjon • Det finnes ingen lesetester for fremmedspråk som tester separate ferdigheter og som viser hva eleven kan og ikke kan i leseprosessen. • Vi må teste holistisk. Alderson JC. • Vi mangler begreper som definerer og skiller lesestrategier (process) fra leseferdigheter ( product) etc.

49. PISA tabell 1.5 s. 44 The PISA readingliteracyassessment is builtonthree major taskcharacteristics: • situation –the range ofbroadcontexts or purposes for whichreadingtakesplace; (Domener) • text– the range of material that is read;(4 distinctions, navigationtools, environment) • aspect – thecognitiveapproachthatdetermineshowreadersengagewith a text. (mentale strategier) All threecontribute to ensuringbroadcoverageofthedomain. In PISA, features ofthetext and aspect variables (but not ofthesituation variable) arealsomanipulated to influencethedifficultyof a task.

50. PISA 2009 • Ferdigheter elevene må tilegne seg • Prosesser de må utføre • Kontekst for kunnskap og ferdigheter de skal utføre There is evidencethat skills relating to engagement and metacognitioncan be taught. Interest in measuringbothmetacognition and engagement as part of PISA 2009 thereforeassumesthatresultscanyieldinformationthatwill be highly relevant to policy makers and thatcanalsoinfluencethepracticeofreading and learning and ultimatelylevelsofreadingproficiency.