Hva skal vi vurdere?

1. Hva skal vi vurdere? Inger Langseth Program for lærerutdanning NTNU Sandefjord 27.-28. september 2010

2. Karakterer - sensur • Vurderingskriterier og forholdet mellom dem: • Språk • Struktur • Innhold • Kapittel 7 i boka • Kreativitet originalitet • Higher order thinking • Bruk av tidligere tekster • Svarer på oppgaven • Lengde på teksten

3. Karakter - sensur Tekstforståelse (engelsk vg1 sensorveiledning) Tekstforståelse kan komme til uttrykk som direkte svar på oppgaver knyttet til tekstutvalget, og/eller gjennom at eleven bruker denne forståelsen i utformingen av sine egne tekster både når det gjelder innhold og komposisjon. Ikke nevnt i vurderingsskjemaet

5. Visible Visible teaching Innhold Awarenessofthelearningintentions Know enoughaboutthecontent to providemeaningful and chalenginglearningexperiences Visible learning • Student • Knowingwhenthe student is successful • Havingsufficientunderstandingofthestudent’sunderstanding • John Hattie • Professor of Education, Facultyof Education, • The University of Auckland

6. Et eksempel Lesing – i 2010 • http://www.udir.no/grep/Grunnleggende-ferdigheter/?visning=2 Can’t I just e-mailyou a link to my blog, miss?

7. Lesing Hvilke spørsmål vil du stille til en tekst for å fremme lesing/vurdere leseferdighet? Hvordan vil du systematisere spørsmålene gjennom begrep (VFL)?

8. Lesing Konstrukt Ditt svar viser ditt syn på lesing, hva du mener lesing er og hvordan du vil vurdere lesing.

9. Avisartikkel Refser behandling av romanifolket 21.04.09 Den Norske Helsingforskomité retter knallhard kritikk mot Norges behandling av romanifolket, og krever en «sannhetskommisjon». http://www.aftenposten.no/nyheter/iriks/article3036474.ece

10. Avisartikkel Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law. Around 10 million Roma areestimated to be living in Europe. The largestconcentration is in Romania, at two million according to unofficialestimates. Hundredsofthousands live in other Central and Eastern European countries.

11. Avisartikkel Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law.The Frenchexecutiveannounced Jul. 29 that 300 illegal Roma camps would be demolished in thenextthreemonths. According to thePresident'soffice, the camps are "sourcesof illegal trafficking, profoundlyshocking living standards, exploitationofchildren for begging, prostitution and crime." By the end ofthisyear, France is set to adoptlegislation to expelundocumented Roma residing in thecountry, "for reasonsofpublic order." Germany is set to deport 12,000 Roma back to Kosovo over thenextyears. Half ofthemarechildren and adolescentswhogrew up in Germany. Sweden has thisyeardeported 50 Roma from EasternEurope for begging, eventhoughbegging is not a crime in thiscountry. Denmarkdeported 23 Eastern European Roma in July. In Belgium, 700 Roma wereforced to exit Flanders in July, and given onlytemporaryshelter in Wallonia. The UK government last monthannouncedlegislationthatwould lead to theevictionoftensof families of Roma and travelers, pushing themintoillegality. The stepstaken by Western governmentscome right in themiddleoftheDecadeof Roma Inclusion (2005-2015), "an unprecedentedcommitment by European governments to improvethesocio-economic status and socialinclusionof Roma." In 2008, Italydeclared a stateofemergency over Roma immigrants. Around 10 million Roma areestimated to be living in Europe. The largestconcentration is in Romania, at two million according to unofficialestimates. Hundredsofthousands live in other Central and Eastern European countries.

12. La situationdes roms en France atteintunpointcritique Publié: 07 décembre2005 Unrécent rapport du Centre européenpour les droitsdes Roms (ERCC) indiqueque les populationsroumaines et tsiganes de France vivent dans unclimatperpétuel de racisme et de discrimination. Peuaprès les émeutes dans les banlieuesfrançaises, le Centre européenpour les droitsdes roms, basé à Budapest, a publiéun rapport détaillé sur la situationdestsiganes, desvoyageurs et des roms migrants en France. IntituléHors d'ici! Anti-tsiganisme en France, ce rapport résume les résultatsdesrecherches et activités de suivimenées par l'ERCCdepuis 2003.Selon le rapport, la population de tsiganesinstallés en France s'élèveofficiellement à environ 500 000 personnes, bien quecechiffresoit, seloncertainesestimations, plusproche de 1,2 million. Le rapport établitque la grande majoritédestsiganes et desvoyageurs en France sont desressortissantsfrançais. Les gens du voyage sont sensésêtredes nomades.Dans ce rapport, l'ERRCdéclareque "La France est reconnue comme sourcehistorique et gardiennedesvaleurs de la démocratie moderne ainsiquedesdroits et libertés individuelles; toutefoisdesmilliers de citoyensfrançais sont victimes de violations graves de leursdroitscivils et politiques les plusélémentaires sans quececi ne soulève le moindresoupçon de réprobation, encoremoinsuntollépublicface à cetteatteinteauxprincipesfondamentaux de la RépubliqueFrançaise ! Beaucoup de personnesvictimes de cesviolations sont en fait tsiganes et voyageurs, cequisembleindiquer le caractèreracistesous-tendu par celles-ci."Les minoritéstsiganes sont généralementconsidérées comme les plusvulnérables au racisme et à la discrimination dans les nouveaux Etats membreségalement, notamment en Bulgarie, en Républiquetchèque, en Hongrie et en Slovaquie.

13. Vurdering Konstrukt • teksten vi velger • Oppgavene vi gir • Svarene vi fokuserer på • Hvordan vi tolker svarene ut fra en mal Disse valgene baseres på en teoretisk forankring

14. Reading 1 PURPOSE hensikten med lesingen 2 PROCESS forholdet mellom tekst og leser 3 PRODUCT tekstforståelsen-meningspotensialet 4 BEHAVIORS/ATTITUDES strategier og interesse 5 ASSESSMENT for learning

15. 1 Purpose Three aspectsofstudent’sreadingbaseduponwhat students read (IEA PIRLS): Purposes for reading • Reading for literaryexperience 50% (rauding) • Reading to acquire and useinformation 50% (scanning, learning, memorising)

16. Purpose - Literary experience Imagine: Recallown: Experiences Feelings Appreciation og language Knowledgeofliterary forms • Events • Settings • Actions • Consequences • Characters • Atmospheres, feelings • Ideas

17. Purpose - Reading for information Understand the world Structure Chronologicalorganisation Logicalorganisation Cause and effect Arguments and counter arguments Viewpoint and supportingevidence Persuasive texts Problem and solution Documentedwithtablesetc Non continoustext • Past, present, future • Reasoningbasedontext • Action basedontext

18. 2 Process Five readingprocesses: • Skimming – lese fort for en generell forståelse 1000 ord pr minutt. • Scanning – lese for å finne informasjon • Rauding - lesning hvor leseren forstår alle setningene med letthet ca 300 ord pr minutt • Learning –lese for å forstå noe nytt • Memorising – lese for å huske Carver 1990 s52

19. Process Four processesofcomprehension • Focuson and retrieveexplicitlystatedinformation 20% • Make straight forward inference 30% • Interprete and integrateideas and information 30% • Examine and evaluatecontent, language and textual elements 20% IEA PIRLS

20. a) focuson and retrieveexplicitlystatedinformation 20% • Basert på setningsnivå. • Meningen er tydelig uttrykt i teksten • Leseren må knytte spørsmålet til informasjonen i teksten Examples: • Identifyinginformationthat is relevant to thespecific goal ofreading • Looking for specificideas • Searching for definitionofwords or phrases • Identifyingthe setting of a story • Findingthetopicsentence, mainideaehenexplicitlystated IEA PIRLS

21. b) make straight forward inference 30% • Basert på over setningsnivå • Fylle inn informasjonsgap i teksten • Sette sammen to ideer eller to informasjonsdeler • Informasjonen er eksplisitt tilgjengelig i teksten Examples • Inferringthatoneeventcausedanother • Concludewhat is themainpointmade by a series of arguments • (Lokal: En person beskrives på samme måte flere ganger og det danner et karaktertrekk. Global: Teksten beskriver ettema i flere sammenhenger) • Determinethe referent of a pronoun • Identifyinggeneralisationsmade in thetext • Describingtherelationshipbetweentwocharacters IEA PIRLS

22. c) interprete and integrateideas and information 30% • Basert på over setningsnivå. • Tolker og integrerer tekstelementer, ofte basert på egne erfaringer og kunnskap • Knytte detaljer til overordnede mål, tema, ideer… • Svarene gir en holistisk forståelse av teksten • Svarene varierer etter kunnskap og erfaringer Example: • Discerningthe overall message or themeof a text • Considering an alternative to actionsofcharacters • Comparing and contrstingtextinformation • Inferring a story’smood or tone • Interpreting a real-worldapplicationoftextinformation • IEA PIRLS

23. d) examine and evaluatecontent, language and textual elements 20% • Basert på teksten og analyse av den (ikke mening) • Basert på kunnskap om verden og tekster • Innhold: aksepterer, avviser eller er nøytral til innholdet • Struktur: sjanger, tekstoppbygging, konvensjoner, • Språk: god kjennskap til språket er nødvendig • Forfatterens: hensikt, perspektiv eller ferdighet Example: • Evaluatethelikelihoodthattheeventcouldreallyhappen • Describehowtheauthordevised a surprise ending • Judgingthecompleteness or clarityofinformation in thetext • Determining an author’sperspectiveonthecentraltopic • IEA PIRLS

24. PROCESS- OECD PISA

25. Metakognisjon ”Kunnskap om og ferdigheter i å bruke strategier når du leser tekster i en viss hensikt”. PISA 2009 Leseren spiller en aktiv rolle i lesingen ved å sammenstille informasjon, fylle inn hull i teksten og skape makrostrukturer: • Kunnskap om språk, struktur og innhold ( PISA 2009): • Identifisere viktig informasjon • Bruke tidligere tekstinformasjon • Hente og bruke kunnskap fra langtidsminnet • Velge riktig leseprosess for oppgavene og å bruke tekstinnholdet videre i nye sammenhenger

26. Dan Willingham, Youtube

27. 3 Product Tekstforståelsen, meningspotensialet (individualvariation) • Hvor godt leser eleven (target languageusesituation) • Hvor effektivt leser leseren en tekst i en spesiell hensikt • Constructofreading ( hva består lesing i) • Constructof test/VFL,VAL ( hva er hensikten med lesingen?) Kommer fra en teori om lesing som realiseres gjennom teksten du velger, oppgavene du gir, forståelsen de innebærer og hvordan du vurderer produktet til slutt. COE, European Comission Skal språket testes ( språktest) + leseferdigheten?

28. 4 Behaviours and attitudes • Readingliteracybehaviours I fremmedspråk kan ikke elevene bruke sine L1 lesestrategier i særlig grad før de har nådd et nivå hvor de fungerer språklig. Nivået for bruk av strategier avhenger av kunnskaper og tekstens tema. • Readingliteracyattitudes Leserens holdning og interesse for teksten er avgjørende for leseforståelsen. Mange er nervøse før en test.

29. Hvordan blir undervisningen ifølge disse forskningsresultatene? Current research suggests that engaged readers: possess well-formed interests and favourite topics or types of reading material (interest); they value being in control of their reading, and self-initiate reading activities (autonomy); they rely on a social network to extend their competencies and share their knowledge and experience (social disposition); and they read frequently and widely (behaviour). p. 71 PISA 2009

30. 5 Assessment • Europarådet COE • American Council for the Teaching of Foreign Language • AustralianSecondLanguageProficiencyRatings • Association ofLanguage Testers in Europe ALTE • Theories, but not empiricallygroundedideas Hva kan gode lesere gjøre som svake lesere ikke kan? Hvilke stadier går leseren igjennom i fremmedspråk? VFL av leseprosessen! 2010

31. Vurdering av lesing Construct of reading (North COE) mastery • Strategic competence – can adapt style and speed of reading to different texts and purposes • Linguistic competence – can read with a large degree of independence, using appropriate reference sources effectively • Discourse competence –can distinguish in detail the various part of the treatment of a theme and understand their interrelations • Sociolinguistic competence – can understand a vide variety of slang and pertinent references. Can appreciate humour and subtle or culturedependent nuances of meaning or style.

32. Vurdering av teksten • Lexis, ord i teksten ( viktigste elementet) • Innhold ( skjema, knytte gammel til ny kunnskap/ abstrakt-konkret innhold/ kjent-ukjent innhold) - kunnskap • Medium hvor teksten forekommer - kontekst • Teksttyper (faktatekster litterære tekster ;åpnere svar). Kjente sjangere er letter å lese enn ukjente osv. Korte versus lengre tekster • Tekstens indre organisering ( hjelper leseren. Cohesion ikke så viktig) • Tekstens tone, stemning og forfatterens hensikt med teksten står sentralt • Setningsstrukturer ( ingen effekt å forenkle strukturen i tester, bruk autentisk tekst fremfor konstruerte tekster) • Typografi, layout, verbal og ikke verbal tekst ( bildebruk)

33. Vurdering av produktet Constructof test • Ord gjenkjenning – automatisering ( tidsfaktoren) • Tekstmengde – hastighet (tidsfaktoren) • Syntese og evaluering av innholdet • Metakognisjon ( har sammenheng med leseferdighet) • Bakgrunnskunnskap vurderes i testen dersom det er et mål, ellers ikke (finn ukjente tema) • Metalingvistikk (L1) vurderes dersom elevene er på et høyere språklig nivå (språktest- grammatikk) • Lesestrategier ( L1) vurderes i testen dersom elevene er på et høyere språklig nivå (er en generell kompetanse)

34. Vurdering - purpose Hensikten med tekstlesingenkangjernegissominstruksjon: • Ex. In this activity you will practise scanning the information in the text in order to find specific information • Ex. The purpose of this activity is to encourage you to look at how the passage has been organized into sections. • Ex. This activity is designed to help you explore the characters in the extract and the techniques of characterization used by the author p. 328

35. Assessment Formell - Vurdering Av Læring Multiple choice: Cloze test: Orderingtask Matching task Editing test Short answers test Freerecall test (L1 always) Real lifemethod ( text and action)

36. Spørsmål til teksten 12 spørsmål pr tekst: • Multiple choice (50%) 1 poeng • Half constructedresponse item format 50% • Kortspørsmål (5 min) 1-2 poeng • Langspørsmål (10 min) 3 poeng http://www.pearsonlongman.com/ae/marketing/sfesl/practicereading.html

37. Spørsmål til teksten 25-29 spørsmål pr test (B2): • Del 1 før teksten: multiple choice 6-7 stk med fire valg • Del 2 etter tekst: multiple choice 6-7 stk med fire valg • Del 3 tekst: avsnittene er flyttet om, finn rekkefølgen • Del 4 tekst: 13-15 multiple matching textsdependingontext Tekstlengde 350-750 ord= 1900-2300 ord totalt=75 min.

38. Vurdering UFORMELL Vurdering For Læring Group review Individualinterview Openquestions Short discussions Casualconversations Talk withlearnersabout progress Readingaloud Checkreading speed Answeringquestionson a passage Gap fillingexercise Logg • Predictcontent+ jutify (process) • Criticalreading + jusify • Selfassessment • Hva fører tekstoppgavene til?

39. Tekster Varierer i: • Lengde • Syntaktisk kompleksitet • Abstrakthet mh.t ideer • Organisering av teksten Ingen oppgavetyper kan derfor betraktes som lette eller vanskelige. Det avhenger av teksttypen.

40. Noen råd om tekster • Sørg for at instrukser, rubrikker og lignende. Har et språk som alle forstår. • Finn tekster som har et innhold/kultur som er like kjent eller ukjent for alle testtakere. Finn tekster fra L1 situasjoner som forekommer ofte. (Blogginnlegg, e-post…allinclusive) • Bruk autentiske tekster. Unngå å endre tekstene, det fører ikke til bedre leseforståelse og er ikke reell lesing. Oppgi eventuelt ord, nøkkelord, indiker kontekst (bilder, definisjoner, tabeller som støtter innholdet) • Skill mellom metakognisjon (tekstforståelse) og metalingvistikk (grammatikk) som ikke sier noe om tekstforståelse.

41. Noen råd om tekster • Leseferdighet overføres fra L1 først ved en viss språklig L2 ferdighet ( 95% /5000 ord). Tema, språket, bakgrunnskunnskap og oppgavetype avgjør vanskegrad. • Vokabularforståelse er den beste indikatoren for leseforståelse – tidsfaktor • Finn oppgaver som knyttes til virkelighetsnære situasjoner på rett nivå. Velg en av fem prosesser med sine særegne prosesser, mål og resultat. • Motivasjon og følelser: finn tekster som skaper positive følelser og svar med positiv affektiv verdi ( ikke negativ)

42. Noen råd om tekster • Lesere reflekterer forskjellig i forhold til litterære tekster ( personlige åpne svar) og i forhold til faktatekster (holdninger, system). Tester bør avspeile dette. • Forfatterens hensikt med teksten, tonen i teksten og stemningen i teksten er viktige elementer i tekstforståelse Speatitt 72 • Vurder: print, font, layout etc. slik det normalt forekommer i tekst • Tekstens lengde må vurderes i forhold til ”purpose” – tidsbegrensing?

44. Konklusjon • Det finnes ingen lesetester for fremmedspråk som tester separate ferdigheter og som viser hva eleven kan og ikke kan i leseprosessen. • Vi må teste holistisk. Alderson JC. • Vi mangler begreper som definerer og skiller lesestrategier (process) fra leseferdigheter ( product) etc.

45. Lesing http://www.aftenposten.no/http://www.bbc.co.uk/http://english.aljazeera.net/http://dsc.discovery.com/ Kontekst for teksten sier noe om innholdet (sjanger) ”Lesestrategier må læres, men kunnskap om verden er viktigere” Dan Willingham Avkoding Tolking Kritisk tolking aftenposten Hvordan kan elevene være kritiske til hva de leser? Nyheter Aktuelle hendelser Digitale tekster Læreboka Litterære lesestunder Hva kan elevene noe om, og hva interesserer de seg for? Subjektifisering ( individets utvikling): Dannelse er å reise kognitivt og reisen danner deg. Egenutvikling preget av kreativitet og ny forståelse. ( K Smith)

46. PISA 2009 readingliteracy The PISA 2009 definition of reading adds engagement in reading as an integral part of reading literacy: Reading literacy is understanding, using, reflecting on and engaging with written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society.

47. PISA tabell 1.5 s. 44 The PISA readingliteracyassessment is builtonthree major taskcharacteristics: • situation –the range ofbroadcontexts or purposes for whichreadingtakesplace; (Domener) • text– the range of material that is read;(4 distinctions, navigationtools, environment) • aspect – thecognitiveapproachthatdetermineshowreadersengagewith a text. (mentale strategier) All threecontribute to ensuringbroadcoverageofthedomain. In PISA, features ofthetext and aspect variables (but not ofthesituation variable) arealsomanipulated to influencethedifficultyof a task.

48. PISA 2009 • Ferdigheter elevene må tilegne seg • Prosesser de må utføre • Kontekst for kunnskap og ferdigheter de skal utføre There is evidencethat skills relating to engagement and metacognitioncan be taught. Interest in measuringbothmetacognition and engagement as part of PISA 2009 thereforeassumesthatresultscanyieldinformationthatwill be highly relevant to policy makers and thatcanalsoinfluencethepracticeofreading and learning and ultimatelylevelsofreadingproficiency.

49. Print / electronicreading Whilemanyofthe skills required for print and electronicreadingaresimilar, electronicreadingdemandsthatnewemphases and strategies be added to therepertoiresofreaders. Gatheringinformationonthe Internet requiresskimming and scanningthrough large amountsof material and immediatelyevaluatingitscredibility. Criticalthinking, therefore, has become more importantthan ever in readingliteracy (Halpern, 1989; Shetzer & Warschauer, 2000; Warschauer, 1999). Warschauerconcludesthatovercomingthe “digital divide” is not only a matter ofachieving online access, butalsoofenhancingpeople’sabilities to integrate, evaluate and communicateinformation.

50. PISA - Readingtasks • For example, a readermay be taught to generatequestionsabout a text as it is read. Thesequestionsareofthewhy, what, how, when, or wherevariety. • By generatingsuchquestions and trying to answerthem, thereaderprocessesthetext more actively. • Otherstrategies relevant to different purposes ofreadingarevarious forms ofhighlighting and summing up importanttextinformation (identifyingmainideas); frequentcomprehensionmonitoring and self-checking; and a repertoireofapproaches for dealingwithtextdifficulties (clarifying).