Hva skal vi vurdere?

1. Hva skal vi vurdere? Inger Langseth Program for lærerutdanning NTNU Sandefjord 27.-28. september 2010

2. Sluttvurdering - sensur • Vurderingskriterier og forholdet mellom dem: • Språk • Struktur • Innhold • Kapittel 7 i boka • Holistiske variabler: • Kreativitet, originalitet • Higher order thinking • Bruk av tidligere tekster • Svarer på oppgaven • Lengde på teksten • Lesing-skriving (skriftlig eks)

3. Sluttvurdering - kjennetegn Lesing (engelsk vg1 sensorveiledning) Tekstforståelse kan komme til uttrykk som direkte svar på oppgaver knyttet til tekstutvalget, og/eller gjennom at eleven bruker denne forståelsen i utformingen av sine egne tekster både når det gjelder innhold og komposisjon. Ikke nevnt i vurderingsskjemaet

4. Sluttvurdering - oppgaver Forberedelsesdel: Magasin deles ut. Focus Magazine is a new monthly magazine. The editor has asked for comments from the reader. • Write two paragraphs about your impressions of the magazine. • The first paragraph should say what you like about the magazine and why. • The second paragraph should comment on how the magazine could be improved. • Choose one article which you find interesting • Is the article you have chosen a good example of this particular type of text? Why/why not?

5. Fra Ord til Handling (…)det er en kritisk faktor at de innsatser som gjennomføres er målsituerte, det vil si at de finner sted så nær undervisningssituasjonen som mulig. (…) Vi har dog funnet at det er vanligere at middelsituerte strategier anvendes. (…) Det er en strategi som bygger på at lærere sammen i en gruppe reflekterer rundt (…)underundervisningen. Den reflekterende lærer-gruppen utgjør et middel der lærerne skal vinne innsikter som de siden kan ta med seg til klasserommet, hvor innsiktene kan tillempes og målet oppnås. Disse middelsituerte strategiene ser etter vår vurdering ikke ut til å virke spesielt godt. (UDIR 2010 s.11) • Å skape endring i klasserommet Et hovedfunn (OTH) er at de eksterne kompetansemiljøenes støtte til skolene i beskjeden grad har grepet inn i undervisningssituasjonen og det arbeidet som skjer i klasserommene på skolene. Trekantsamarbeidet berører ofte ikke det elementet i læringsmiljøet som har størst betydning for elevenes læring, nemlig undervisningen. (…) Derfor finner vi i casene få eksempler på at undervisningen har blitt påvirket, utover enkelte individuelle endringer. (UDIR 2010 s. 9)

6. Innhold – mål • Hvor langt er vi kommet i VFL? • Har vi en felles begrepsforståelse? • Hvordan gå fra teori om VFL/VAL til fagene i praksis? • VFL i fag • Et eksempel • Vurdering av og vurderingskriterier for lesing

7. Veien videre i VFL Kommentarer • Tilbakemeldinger • Fremovermeldinger Karakterer Egenvurdering Sluttvurdering

8. Utfordring til lærerutdannere i Skape endring i undervisningen, ikke bare snakke om undervisningen Fra teori til praksis på fagenes premisser om

9. Etterutdanning i skolen Hvilket innhold kan vektlegges i VFL? Hvilken pedagogikk skal vektlegges? Synlig-usynlig (Bernstein) • Grunnleggende ferdigheter på fagets premisser? • Lesing • Skriving ( produksjon, samhandling) • Muntlig (produksjon, samhandling, lytting) • Digitale verktøy • Regning • Trenger lærere kunnskaper og generell kompetanse for å utvikle elevenes ferdigheter? (Kvalifikasjonsrammeverket))

11. Visible Visible teaching Innhold Awarenessofthelearningintentions Know enoughaboutthecontent to providemeaningful and chalenginglearningexperiences Visible learning • Student • Knowingwhenthe student is successful • Havingsufficientunderstandingofthestudent’sunderstanding • John Hattie • Professor of Education, Facultyof Education, • The University of Auckland

12. Et eksempel Lesing – i 2010 • http://www.udir.no/grep/Grunnleggende-ferdigheter/?visning=2 Can’t I just e-mailyou a link to my blog, miss?

13. Lesing Hvilke spørsmål vil du stille for å fremme lesing/vurdere leseferdighet? Hvordan vil du systematisere spørsmålene gjennom begrep (VFL)?

14. Lesing Konstrukt Ditt svar viser ditt syn på lesing, hva du mener lesing er og hvordan du vil vurdere lesing.

15. To viktige poeng Kontekst 50% Hva vet du om tema? Vi bidrar til å gjøre elevene til gode eller dårlige lesere gjennom de tekstene vi velger ut. Vokabular Forstår du ordene i teksten? Den viktigste indikatoren på tekstforståelse er vokabular.

16. Avisartikkel - kunnskap Romanifolket http://www.aftenposten.no/nyheter/iriks/article3036474.ece

17. Avisartikkel - kunnskap Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law. Around 10 million Roma areestimated to be living in Europe. The largestconcentration is in Romania, at two million according to unofficialestimates. Hundredsofthousands live in other Central and Eastern European countries.

18. Avisartikkel – kunnskap og vokabular La situationdes roms en France atteintunpointcritique [FR] [en] Publié: 07 décembre 2005 Unrécent rapport du Centre européenpour les droitsdes Roms (ERCC) indiqueque les populationsroumaines et tsiganes de France vivent dans unclimatperpétuel de racisme et de discrimination. Peuaprès les émeutes dans les banlieuesfrançaises, le Centre européenpour les droitsdes roms, basé à Budapest, a publiéun rapport détaillé sur la situationdestsiganes, desvoyageurs et des roms migrants en France. IntituléHors d'ici! Anti-tsiganisme en France, ce rapport résume les résultatsdesrecherches et activités de suivimenées par l'ERCCdepuis 2003.Selon le rapport, la population de tsiganesinstallés en France s'élèveofficiellement à environ 500 000 personnes, bien quecechiffresoit, seloncertainesestimations, plusproche de 1,2 million. Le rapport établitque la grande majoritédestsiganes et desvoyageurs en France sont desressortissantsfrançais. Les gens du voyage sont sensésêtredes nomades.Dans ce rapport, l'ERRCdéclareque "La France est reconnue comme sourcehistorique et gardiennedesvaleurs de la démocratie moderne ainsiquedesdroits et libertés individuelles; toutefoisdesmilliers de citoyensfrançais sont victimes de violations graves de leursdroitscivils et politiques les plusélémentaires sans quececi ne soulève le moindresoupçon de réprobation, encoremoinsuntollépublicface à cetteatteinteauxprincipesfondamentaux de la RépubliqueFrançaise ! Beaucoup de personnesvictimes de cesviolations sont en fait tsiganes et voyageurs, cequisembleindiquer le caractèreracistesous-tendu par celles-ci."Les minoritéstsiganes sont généralementconsidérées comme les plusvulnérables au racisme et à la discrimination dans les nouveaux Etats membreségalement, notamment en Bulgarie, en Républiquetchèque, en Hongrie et en Slovaquie.

19. Fremmedspråk Språkkunnskaper: Det viser seg at ord og kunnskap om emnet ofte er nok for god leseforståelse ( struktur er mindre viktig). For at leseferdigheter i morsmålet skal kunne brukes på fremmedspråket må det et visst nivå til. Hvordan kan en slik tekst brukes til å vurdere leseferdighet?

20. Avisartikkel – kunnskap og vokabular Citizen Rights Don'tApply to Roma By Claudia CiobanuBUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan massexpulsionsof Roma or demolitionsof Roma settlements. Rights groupswarnthatthesemeasuresentailthecriminalisationof an entireethnicgroup, and break EU law.The Frenchexecutiveannounced Jul. 29 that 300 illegal Roma camps would be demolished in thenextthreemonths. According to thePresident'soffice, the camps are "sourcesof illegal trafficking, profoundlyshocking living standards, exploitationofchildren for begging, prostitution and crime." By the end ofthisyear, France is set to adoptlegislation to expelundocumented Roma residing in thecountry, "for reasonsofpublic order." Germany is set to deport 12,000 Roma back to Kosovo over thenextyears. Half ofthemarechildren and adolescentswhogrew up in Germany. Sweden has thisyeardeported 50 Roma from EasternEurope for begging, eventhoughbegging is not a crime in thiscountry. Denmarkdeported 23 Eastern European Roma in July. In Belgium, 700 Roma wereforced to exit Flanders in July, and given onlytemporaryshelter in Wallonia. The UK government last monthannouncedlegislationthatwould lead to theevictionoftensof families of Roma and travelers, pushing themintoillegality. The stepstaken by Western governmentscome right in themiddleoftheDecadeof Roma Inclusion (2005-2015), "an unprecedentedcommitment by European governments to improvethesocio-economic status and socialinclusionof Roma." In 2008, Italydeclared a stateofemergency over Roma immigrants. Around 10 million Roma areestimated to be living in Europe. The largestconcentration is in Romania, at two million according to unofficialestimates. Hundredsofthousands live in other Central and Eastern European countries.

21. Dan Willingham, Youtube

22. Vurdering Konstrukt for lesing • teksten vi velger • Oppgavene vi gir • Svarene vi fokuserer på • Hvordan vi tolker svarene ut fra en mal Disse valgene baseres på en teoretisk forankring

23. Teori Lesing Readingliteracy AssessingreadingJ. Alderson(Cambridge University Press) Hva gjør lærere i stand til å vurdere for læring i lesing? Hvilke spørsmål stiller læreren til en tekst?

24. Reading 1 PURPOSE hensikten med lesingen 2 PROCESS forholdet mellom tekst og leser 3 PRODUCT tekstforståelsen-meningspotensialet 4 BEHAVIORS/ATTITUDES strategier og interesse 5 ASSESSMENT for learning

25. 1 Purpose Three aspectsofstudent’sreadingbaseduponwhat students read (IEA PIRLS): Purposes for reading • Reading for literaryexperience 50% (rauding) • Reading to acquire and useinformation 50% (scanning, learning, memorising)

26. Purpose - Literary experience Imagine: Recallown: Experiences Feelings Appreciation og language Knowledgeofliterary forms • Events • Settings • Actions • Consequences • Characters • Atmospheres, feelings • Ideas

27. Purpose - Reading for information Understand the world Structure Chronologicalorganisation Logicalorganisation Cause and effect Arguments and counter arguments Viewpoint and supportingevidence Persuasive texts Problem and solution Documentedwithtablesetc Non continoustext • Past, present, future • Reasoningbasedontext • Action basedontext

28. Purpose - Reading for information Understand the world Seks hovedsjangre Gjenfortelling ( recount) Rapport (report) Forklaring (explanation Diskusjon (discussion Overtalelse (exposition)  Instruksjon (prosedure) • Past, present, future • Reasoningbasedontext • Action basedontext

29. 2 Process Five readingprocesses: • Skimming – lese fort for en generell forståelse 1000 ord pr minutt. • Scanning – lese for å finne informasjon • Rauding - lesning hvor leseren forstår alle setningene med letthet ca 300 ord pr minutt • Learning –lese for å forstå noe nytt • Memorising – lese for å huske Carver 1990 s52

30. Process Four processesofcomprehension • Focuson and retrieveexplicitlystatedinformation 20% • Make straight forward inference 30% • Interprete and integrateideas and information 30% • Examine and evaluatecontent, language and textual elements 20% IEA PIRLS constructofreadingliteracy

31. a) focuson and retrieveexplicitlystatedinformation 20% • Basert på setningsnivå. • Meningen er tydelig uttrykt i teksten • Leseren må knytte spørsmålet til informasjonen i teksten Examples: • Identifyinginformationthat is relevant to thespecific goal ofreading • Looking for specificideas • Searching for definitionofwords or phrases • Identifyingthe setting of a story • Findingthetopicsentence, mainideaehenexplicitlystated IEA PIRLS

32. b) make straight forward inference 30% • Basert på over setningsnivå • Fylle inn informasjonsgap i teksten • Sette sammen to ideer eller to informasjonsdeler • Informasjonen er eksplisitt tilgjengelig i teksten Examples • Inferringthatoneeventcausedanother • Concludewhat is themainpointmade by a series of arguments • (Lokal: En person beskrives på samme måte flere ganger og det danner et karaktertrekk. Global: Teksten beskriver et tema i flere sammenhenger) • Determinethe referent of a pronoun • Identifyinggeneralisationsmade in thetext • Describingtherelationshipbetweentwocharacters IEA PIRLS

33. c) interprete and integrateideas and information 30% • Basert på over setningsnivå. • Tolker og integrerer tekstelementer, ofte basert på egne erfaringer og kunnskap • Knytte detaljer til overordnede mål, tema, ideer… • Svarene gir en holistisk forståelse av teksten • Svarene varierer etter kunnskap og erfaringer Example: • Discerningthe overall message or themeof a text • Considering an alternative to actionsofcharacters • Comparing and contrstingtextinformation • Inferring a story’smood or tone • Interpreting a real-worldapplicationoftextinformation • IEA PIRLS

34. d) examine and evaluatecontent, language and textual elements 20% • Basert på teksten og analyse av den (ikke mening) • Basert på kunnskap om verden og tekster • Innhold: aksepterer, avviser eller er nøytral til innholdet • Struktur: sjanger, tekstoppbygging, konvensjoner, • Språk: god kjennskap til språket er nødvendig • Forfatterens: hensikt, perspektiv eller ferdighet Example: • Evaluatethelikelihoodthattheeventcouldreallyhappen • Describehowtheauthordevised a surprise ending • Judgingthecompleteness or clarityofinformation in thetext • Determining an author’sperspectiveonthecentraltopic • IEA PIRLS

35. PROCESS- OECD PISA

36. Prosess - metakognisjon ”Kunnskap om og ferdigheter i å bruke strategier når du leser tekster i en viss hensikt”. PISA 2009 Leseren spiller en aktiv rolle i lesingen ved å sammenstille informasjon, fylle inn hull i teksten og skape makrostrukturer: • Kunnskap om språk, struktur og innhold ( PISA 2009): • Identifisere viktig informasjon • Bruke tidligere tekstinformasjon • Hente og bruke kunnskap fra langtidsminnet • Velge riktig leseprosess for oppgavene og å bruke tekstinnholdet videre i nye sammenhenger

37. 3 Product Constructofreading Hva består lesing i? • Tekstforståelsen og meningspotensialet (elevens) • Hvor godt leser eleven (target languageusesituation) • Hvor effektivt leser leseren en tekst i en spesiell hensikt • Readingthe lines – litterær mening avkoding • Readingbetweenthe lines – inferredmeaning, tolking forstå mening som ikke er direkte uttalt i teksten • Readingbeyondthe lines - kritisk lesing ( Gray 1960)

38. Leseresultat Sammanhengen mellom originalteksten og leseresultatet. Teksten er ikke objektiv. Tekstforståelse skjer i samspillet mellom tekst og leser. Hva er da definisjonen på god tekstforståelse? Hva er forståelse og hva er misforståelse (noe blir feil i forhold til tekstens intensjon). Tekstforståelse delen inn i hierarki, men det er lite belegg for å bruke taksonomi for leseforståelse, selv om lærere gjør det. Alle nivå er like vanskelige og de overlapper. Produkt og prosess skilles ikke tydelig. Halliday1979:

39. Utfordringer • Skal språket testes ( teori om grammatikk) • Tester vi intelligens eller leseferdighet når vi stiller vanskelige spørsmål? • Tester vi bakgrunnskunnskap eller tekstforståelse når vi stiller for eksempel kulturelle spørsmål? • Tester vi strategier eller ordforståelse når vi ber om ordforklaringer når vi har ordbøker tilgjengelige? • Tester vi husk eller leseforståelse når teksten ikke er tilgjengelig? • Skal elevenes involvering ( engagement) i lesinge være en del av testingen? ( Det er et mål: PISA)

40. 4 Behaviours and attitudes • Readingliteracybehaviours I fremmedspråk kan ikke elevene bruke sine L1 lesestrategier i særlig grad før de har nådd et nivå hvor de fungerer språklig. Nivået for bruk av strategier avhenger av kunnskaper og tekstens tema. • Readingliteracyattitudes Leserens holdning og interesse for teksten er avgjørende for leseforståelsen. Mange er nervøse før en test/noen mangler motivasjon for å prøve

41. Hvordan blir undervisningen ifølge disse forskningsresultatene? Current research suggests that engaged readers: possess well-formed interests and favourite topics or types of reading material (interest); they value being in control of their reading, and self-initiate reading activities (autonomy); they rely on a social network to extend their competencies and share their knowledge and experience (social disposition); and they read frequently and widely (behaviour). p. 71 PISA 2009

42. 5 Assessment • Europarådet COE • American Council for the Teaching of Foreign Language • AustralianSecondLanguageProficiencyRatings • Association ofLanguage Testers in Europe ALTE • Theories, but not empiricallygroundedideas Hva kan gode lesere gjøre som svake lesere ikke kan? Hvilke stadier går leseren igjennom i fremmedspråk? VFL av leseprosessen! 2010

43. Vurdering av lesing Construct of reading (North COE) mastery • Strategic competence – can adapt style and speed of reading to different texts and purposes • Linguistic competence – can read with a large degree of independence, using appropriate reference sources effectively • Discourse competence –can distinguish in detail the various part of the treatment of a theme and understand their interrelations • Sociolinguistic competence – can understand a vide variety of slang and pertinent references. Can appreciate humour and subtle or culturedependent nuances of meaning or style.

44. Vurdering av lesing • Lexis, ord i teksten ( viktigste elementet) • Innhold ( skjema, knytte gammel til ny kunnskap/ abstrakt-konkret innhold/ kjent-ukjent innhold) - kunnskap • Medium hvor teksten forekommer - kontekst • Teksttyper (faktatekster litterære tekster ;åpnere svar). Kjente sjangere er letter å lese enn ukjente osv. Korte versus lengre tekster • Tekstens indre organisering ( hjelper leseren. Cohesion ikke så viktig) • Tekstens tone, stemning og forfatterens hensikt med teksten står sentralt • Setningsstrukturer ( ingen effekt å forenkle strukturen i tester, bruk autentisk tekst fremfor konstruerte tekster) • Typografi, layout, verbal og ikke verbal tekst ( bildebruk)

45. Vurdering av produktet Constructof test • Ord gjenkjenning – automatisering ( tidsfaktoren) • Tekstmengde – hastighet (tidsfaktoren) • Syntese og evaluering av innholdet • Metakognisjon ( har sammenheng med leseferdighet) • Bakgrunnskunnskap vurderes i testen dersom det er et mål, ellers ikke (finn ukjente tema) • Metalingvistikk (L1) vurderes dersom elevene er på et høyere språklig nivå (språktest- grammatikk) • Lesestrategier ( L1) vurderes i testen dersom elevene er på et høyere språklig nivå (er en generell kompetanse)

46. Vurdering - (spørs)mål Hensikten med tekstlesingenkangjernegissominstruksjon: • Ex. In this activity you will practise scanning the information in the text in order to find specific information • Ex. The purpose of this activity is to encourage you to look at how the passage has been organized into sections. • Ex. This activity is designed to help you explore the characters in the extract and the techniques of characterization used by the author p. 328

47. Vurdering av læring Formell - Vurdering Av Læring Multiple choice: Cloze test: Orderingtask Matching task Editing test Short answers test Freerecall test (L1 always) Real lifemethod ( text and action)

48. Spørsmål til teksten 12 spørsmål pr tekst: • Multiple choice (50%) 1 poeng • Half constructedresponse item format 50% • Kortspørsmål (5 min) 1-2 poeng • Langspørsmål (10 min) 3 poeng http://www.pearsonlongman.com/ae/marketing/sfesl/practicereading.html

49. Spørsmål til teksten 25-29 spørsmål pr test (B2): • Del 1 før teksten: multiple choice 6-7 stk med fire valg • Del 2 etter tekst: multiple choice 6-7 stk med fire valg • Del 3 tekst: avsnittene er flyttet om, finn rekkefølgen • Del 4 tekst: 13-15 multiple matching textsdependingontext Tekstlengde 350-750 ord= 1900-2300 ord totalt=75 min.

50. Vurdering for læring UFORMELL Vurdering For Læring Group review Individualinterview Openquestions Short discussions Casualconversations Talk withlearnersabout progress Readingaloud Checkreading speed Answeringquestionson a passage Gap fillingexercise Logg • Predictcontent+ jutify (process) • Criticalreading + jusify • Selfassessment • Hva fører tekstoppgavene til?