Námsmat og prófagerð 30. mars – 1. apríl staðlota Um námsmat, innra mat, endurgjöf, einkunnir og vitnisburð

1. Námsmat og prófagerð30. mars – 1. apríl staðlotaUm námsmat, innra mat, endurgjöf, einkunnir og vitnisburð MÞ

2. Dæmi um vitniburð í grunnskóla með 1.-7. bekk • 1. bekkur – Umsagnir (orðaður vitnisburður) • 2.-4. bekkur – Bókstafir (Mg, G, S, Sl) • 5.-7. bekkur – Tölur í heilum og hálfum (1-10). • Markviðmiðað: 80-100%, 60-79%, 40-59%, 0-39%. • Allt er þetta háð tilgangi, hvað er metið, hvernig er metið, hver metur, hvenær er metið og hvað á að gera með niðurstöður. Síðast en ekki síst háð því hvaða “pólitík”(skólastefna, hugmyndafræði) ræður ferðinni.

3. “Evesdropping... • Góður kennari er virkur og uppbyggjandi hlustandi, síspyrjandi, skráir hjá sér, rannsakar, ígrundar, heldur vel utan um gögn, “njósnar” um nemendur sína:

4. Mat á skólastarfi... • Skv. lögum um grunnskóla nr. 66/1995 á hver grunnskóli að gera áætlanir um mat á starfi sínu. • Gert er ráð fyrir að menntamálaráðuneytið geri úttekt á þessum sjálfmatsaðferðum á 5 ára fresti

5. Mat á skólastarfi... • Matið á að fela í sér formlega og víðtæka upplýsingaöflun um skólastarfið sbr. leiðbeiningar um viðmið og matsþætti samkvæmt gátlista • Eðlilegt er að líta á skólanámskrá sem grundvöll að sjálfsmati, enda er þar gerð grein fyrir markmiðum skólastarfsins, inntaki, viðfangsefnum, kennsluaðferðum, námsmati, samstarfi við heimilin og aðra aðila o.fl. sjá nánar Sjálfsmat skóla 1997

6. Dæmi um matsþætti... • Námskráin og hinar skrifuðu áætlanir, námog kennsla • Reynsla og upplifun nemenda og annarra, sem er ekki endilega fyrirfram og formlega ákveðin og skráð, sbr. „dulin“ gildi og leikreglur skólans (norms and rules of the school game) • Starfsandinn, mórallinn, viðhorfin, viðmótið, skoðanirnar: Ethos = climate, atmosphere, spirit, attitude, beliefs, … • Stjórnun, starfsfólk, nemendur, námsmat, aðbúnaður, foreldrasamstarf…

7. Formlegt, altækt, áreiðanlegt, samstarfsmiðað, umbótamiðað, árangursmiðað, stofnana- og einstaklingsmiðað, lýsandi, greinandi, opinbert...

8. Hvers vegna formlegt innra mat á skólastarfi? Innri ástæður: • Vænlegasta leiðin til að skólinn geti útskýrt stefnu sína og réttlætt gerðir sínar. • Tilgangurinn ræðst jafnan af því fyrir hvern (hverja) er metið: foreldra, fræðsluyfirvöld, nemendur, kennara, skólanefndir o.s.frv. • Skólastarfið er ófyrirsjáanlegt og síbreytilegt (dýnamískt). Eftir 5 ár hefur a.m.k. helmingur þess fólks sem starfar í 10 árganga skóla horfið á braut og nýir eru komnir í staðinn!

9. Hvers vegna formlegt mat á skólastarfi?Innri ástæður: • Mat á skólastarfi er vænlegasta leiðin til að efla kennarastéttina og um leið sú einfaldasta til að auðvelda skólum að standa skil á vinnu sinni gagnvart ytra umhverfi á eigin forsendum -Steinunn Lárusdóttir • Schools must speak for themselves: „Allir sem koma að stjórnun og starfi skóla ættu að fá tækifæri til að meta og gera grein fyrir frammistöðu skólans. Þar með taldir kennarar, nemendur, foreldrar og stjórnendur svo þeir geti svarað ytri aðilum.“ -John Macbeath, Strathclyde Univ.

10. Hvers vegna formlegt mat á skólastarfi?Innri ástæður: • Greining á stöðu, t.d. líðan nemenda á ákveðnum tímapunkti, viðhorfum, kunnáttu o.s.frv. Greining á stöðu áður en skólastarf hefst. • Stuðningur við skólastarf og þróun þess (Evaluation for school development). Endurgjöf (feedback). • Pólitískar ástæður. Ýmiss konar hagsmunir geta verið í húfi. • Forsendur ákvarðanatöku. Skipulagsbreytingar byggja oft á niðurstöðum mats. • Umbætur á námi og kennslu. Nýbreytni-skólaþróun • Greining og leiðsögn (diagnostic & formative) eða vottun og dómur (summative).

11. Hvers vegna formlegt mat á skólastarfi?Ytri ástæður: • Lagaákvæði sem byggja á pólitískum ákvörðunum. • Áhersla á upplýsingaskyldu og skilaskyldu (accountability) opinberra stofnana óx til muna með tilkomu nýrra laga á síðasta áratug, sbr. stjórnsýslulög (1994), grunnskólalög (1995) og upplýsingalög (1997). • >Neytendur þjónustunnar orðnir meðvitaðri um rétt sinn. • Krafa um samræmda upplýsingaöflun vegna alþjóðlegs samstarfs, sbr. OECD, Evrópusambandið o.fl.

12. Námsmat Námsmat (e.assessment, evaluation, n. vurdering): • Námsmat: Mat á námi, námsárangri og námsframvindu. Nær bæði til nemenda sjálfra, hegðunar þeirra, hugsunar og frammistöðu og einnig til verka þeirra, til dæmis skriflegra svara á prófum, hugverka eða handverka. -D. Rowntree, N. Gronlund, W. Harlen, Ó.Proppé • Norman Gronlund: Mikilvægt er að greina að árangur sjálfs námsins annars vegar og hegðunarþátta hins vegar.

13. Hugtök og skilgreiningar • Óhefðbundið/öðru vísi námsmat (Alternative assessment) • Rauntengt/Heildrænt námsmat (Authentic assessment) • Frammistöðumat (Performance-based assessment) • Alhliða námsmat/samþætt (Holistic / integrated) • Hefðbundið námsmat – t.d. Skrifleg próf (Traditional achievement assessment)

14. Matstæki - matsaðfeðir Námsmöppur/vinnumöppur (portfolios): • Algengar undir merkjum óhefðb., rauntengds námsmats • Nemendamiðað, verk sem nemendur velja sjálfir metin. • Námsmöppur geta innihaldið margbreytileg verk nemenda allt eftir því hver tilgangurinn er hverju sinni. Skráning (record keeping): • Gátlistar (checklists), marklistar (rating scales), óformleg skráning (anecdotal notes), viðmiðatöflur (Rubrics)

15. Matstæki - matsaðfeðir • Gátlistar (checklists) • Marklistar (rating scales) • Óformleg skráning (anecdotal notes) • Viðmiðatöflur (Rubrics) Nokkur dæmi Rubrics

16. Prófatriði: Valkostir Valið stendur milli: • Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni. Og • Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

17. Fjölval: Túlkunarverkefni (Interpretive exercises) • Sett er fram einhvers konar kynningarefni, t.d. texti, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun. • Kostir/styrkleikar: Mat auðvelt, auðveldasta leiðin til að meta “læsi” og ýmsa hæfni til að tengja sbr. PISA. Hægt að meta flókin “learning outcomes” • Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

18. Dæmi um túlkunarverkefni í PISA rannsókn OECD PISA 2002. http://www.pisa.oecd.org/dataoecd/43/54/33690904.pdf

19. Túlkunarverkefni Að hverju þarf að huga við samningu túlkunarverkefna: • Velja kynningarefni sem hæfir þeim námsafrakstri(learning outcomes) sem á að meta. • Velja kynningarefni sem er hæfilega framandi. • Hafa efnið hnitmiðað og læsilegt. • Ekki hafa spurningar þannig að hægt sé að svara þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið. • Fylgja má vinnureglum um fjölvalsverkefnaform.

20. Fjölval:krossaspurningar • Langalgengasta gerðin af prófatriðum • Má nota til að meta margvíslegan námsafrakstur (learning outcomes). • Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika). • Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær.

21. Eðli krossaspurninga Krossaspurning samstendur af: • Stofni (Stem) sem gefur til kynna meginefni spurningarinnar, eitthvert vandamál sem þarf að bregðast við. Getur verið bein spurning eða ókláruð fullyrðing. og • Valmöguleikum með mögulegum lausnum á vandamálinu. Einn möguleikinn er réttur en hinir eru rangir svarmöguleikar eða villusvör (distractors).

22. Eðli krossaspurninga • Sama krossaspurning getur innihaldið spurningu eða ófullkomna fullyrðingu í stofni. Það síðarnefnda er jafnan talið heppilegra. • Stundum er látinn felast sannleiki í öllum svarmöguleikum, en krossa á við “besta svarið”. Reynir meira á skilning og rökhugsun. • Svarmöguleikar ýmist þrír, fjórir eða fimm.

23. Fjölval: Annað en krossaspurningar • Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu. • Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise). • Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni(Interpretive exercise).

24. Rétt-rangt (S/Ó) verkefni • Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun. • Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi... • Heppilegt að nota S/Ó spurningar og biðja nemendur svo að rökstyðja svarið

25. Pörunarverkefni • Í raun afbrigði af krossaspurningaforminu. • Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum. • Ath. styrkleika og veikleika pörunarspurninga

26. Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna: • Hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra. • Hafa möguleikana ekki of marga, innan við 10. • Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa má kost á fleiri en einni tengingu við sama svarmöguleika.

27. Dæmi um pörunarspurningu Í dálki I eru fullyrðingar um persónur sem komu við sögu við kristnitökuna á Íslandi. Í dálki II er nöfn nokkurra persóna sem þá komu við sögu.

28. Innfyllingaratriði (Supply type): Stutt svör • Meta vel hvort nemendur muna og/eða skilja. • Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar. • Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið

29. Innfyllingaratriði (Supply type): Ritgerðir • Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o.s.frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun. • Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það. • Fer alveg eftir samhengi hversu skýr og nákvæm viðmið eru viðhöfð við mat. • Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum

30. Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun • Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist. • Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur! • Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e.t.v. frekar til að örva og styðja við nám.

31. Samræmd „vitpróf” á 20. öld • Steingrímur Arason kynnir til sögunnar skrifleg próf með vísindalegum mælingaaðferðum 1921, hafði verið nemandi Thorndikes í New York. • Skólakerfið hallaðist mjög að samræmdum viðmiðum alla 20. öld með hlutlægum mælingum, skilgreindri einkunnagjöf og tilraunum til vandaðrar samræmdrar prófagerðar sem átti helst að leiða til staðlaðra prófa.

32. Samræmd „vitpróf” á 20. öld • Eitt af aðalhlutverkum skólans er að þaulkynnast hverjum nemanda og uppgötva með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn og hjálpa honum til að velja sér lífsstarf samkvæmt viti hans, hneigð og hæfni. Sérstök bók ætti að fylgja honum frá upphafi. Þar væri skráð ekki aðeins öll skólasaga hans, heldur og upplýsingar að heiman og úr umhverfinu. Þótt vitprófleysi ekki alla þessa þraut, eru þau einn sá meginþáttur, sem ekki má án vera. Steingrímur Arason 1948

33. Samræmd „vitpróf” á 20. öld • Ýmist stuðst við hópbundna („relatífa“) túlkun niðurstaðna og einkunnagjöf...

34. Samræmd „vitpróf” á 20. öld • ...eða námskrárbundna/markmiðabundna („absolúta“) túlkun niðurstaðna og einkunnagjöf. • Nefndarálit 1972 er hallast frekar að þessu af því „obbi seinfærra nemenda á naumast möguleika á öðru en lágum einkunnum“ í hópbundna kerfinu „...og því er líklegt, að kerfið meini þeim námshvatningu, sem önnur kerfi gætu hugsanlega miðlað.“

35. Samræmd „vitpróf” á 20. öld • Árin 1977 til 1984 var notast við einkunnakerfið A, B, C, D og E og lagað að normaldreifingu þannig að einkunnina A fengu 7%, B fengu 24%, C fengu 38%, D fengu 24% og E fengu 7%. • Núgildandi reglugerð frá 2000: Samræmdar einkunnir og námsþáttaeinkunnir. • Til stuðnings við túlkun á frammistöðu nemenda getur framkvæmdaaðili birt og notað einkunnakvarða er veita gagnlegar og túlkanlegar upplýsingar um kunnáttu og stöðu nemenda til viðbótar við samræmdar einkunnir og námsþáttaeinkunnir.

36. Gildi samræmdra prófa og áhrif (washback) á skólastarf • Kostir: Trygging þess að allir fáist við mikilvæga þætti í námi, viðhalda almennum gæðum (standards), tækifæri til samanburðar á árangri, tryggja stýringu og eftirlit, tækifæri til að skoða stöðu menntunar í landinu, t.d. að gefa skólum tækifæri að bera árangur sinn við árangur annarra, sterk ytri hvatning (mótivasjón). • Gallar: Samanburður og röðun geta haft skaðleg áhrif á nám og námsáhuga, stuðla að stöðlun og einsleitni náms, rýra möguleika skóla og einstaklinga til að rækta sérkenni sín og sérstæða hæfileika, í andstöðu við einstaklingsviðmið, tilhneiging til að líta á niðurstöður sem algild, vísindaleg sannindi.

37. Hvað gerist í „svarta kassanum“? (Inside the black box) Input Output Áhrif frá pósitívisma, raunhyggju og atferlishyggju: Nám er röklegt, línulegt og mælanlegt Áhrif frá rökhyggju og hugsmíðihyggju: Nám er flókið, ófyrirséð, afstætt og erfitt að meta

38. Flokkun Blooms og fél... Vitsmunasvið - stigbundið kerfi Nýmyndun – skapandi hugsun Mat – gagnrýnin hugsun Greining Greining Beiting Skilningur Þekking - minni

39. Hvað stýrir einkunnagjöf? • Fáar hefðir eru jafnrótfastar og kennsla hefðbundinna námsgreina og einkunnagjöf í þeim. • 100 stiga skali var algengur: “Fallinn með 4,9!” • Jafnvel 1000 stiga skali: Aðaleinkunn 5,64 • Vangaveltur um hvort stætt væri á að nota svo nákvæman einkunnakvarða? • Hver var tilgangur slíks mats? Hvað var metið? Hvernig var metið? Hvernig var unnið úr niðurstöðum matsins?

40. Hvað stýrir einkunnagjöf? Til að mat, t.d. próf, standist kröfur: • ...þarf einkunnin (vitnisburðurinn) fyrir það að gefa traustar og heiðarlegar upplýsingar um það hversu vel nemandi hefur náð tökum á því sem hann átti að læra (learning outcomes). • ...þarf einkunn að vera í góðu samræmi við þá stefnu sem skólinn hefur sett sér í námsmati og einkunnagjöf. • ...þarf það að vera fjölbreytt og hafa sem hæst réttmæti. Einkunn byggist á margs konar matsniðurstöðum og gögnum.

41. Hvað stýrir einkunnagjöf? Hefðir stýra birtingu og búningi einkunna: • Gronlund um bandaríska einkunnagjöf: A, B, C, D, F. • Ísland: Einkunnakvarðinn 1-10 algengastur • Hvernig sem birtingin er, þá þarf hún að a)Byggjast á gefnum viðmiðum (hópmiðað, markviðmiðað o.s.frv.), b)fela í sér skýrar upplýsingar um þau matsgögn sem liggja að baki og vægi þeirra. c)fela í sér upplýsingar um hvernig gætt verður réttmætis og að matið gefi áreiðanlegar og “heiðarlegar” upplýsingar.

42. Grundvöllur einkunnagjafar Tölulegar einkunnir geta átt sér tvenns konar grundvöll: • A)Markmið og námsþættir (learning outcomes) sem viðmið (e. absolute grading = markmiðabundnar einkunnir). • B)Hópurinn sem var metinn, t.d. bekkurinn, árgangurinn, allt landið...(e. relative grading = samanburðareinkunnir eða raðeinkunnir). ... • Nemandinn sjálfur og framfarir hans (ónávæmur grundvöllur við einkunnagjöf).

43. Markmiðabundnar einkunnir (absolute)

44. Samanburðareinkunnir (relative) Einkunnir: Hlutfall nemenda

45. Markmiðabundnar einkunnir Kostir: • Einkunnir endurspegla beint hæfileika nemenda án samanburðar við aðra • Flestir, jafnvel allir nemendur geta “skorað hátt” ef þeir leggja sig fram og kennsla er góð Gallar: • Viðmið geta verið óljós og því erfitt að treysta á eink. • Viðmið og prófatriði geta verið breytileg og því misþung og mismikilvæg.

46. Samanburðareinkunnir Kostir: • Auðvelt að lýsa raðeinkunnum og túlka þær • Einkunnir greinandi og hjálpa því við að spá um getu nemenda og velja t.d. inn á næsta skólastig. Gallar: • Erfitt er að ákveða dreifingu sem er réttlát og eðlileg • Merking einkunna getur verið breytileg eftir því hver geta hópsins í heild er. • Hægt er að gefa einkunnir án þess að ljóst sé hvað nemandi gat.

47. Einstaklingsviðmið • Freistandi er að gefa börnum sem eiga við námserfiðleika háar einkunnir fyrir að bæta sig, leggja sig fram og ná framförum miðað við eigin stöðu. • Meginvandi: Það ruglar merkingu einkunna almennt og ber því að forðast. • Velja frekar aðrar leiðir fyrir endurgjöf og námshvatningu.

48. Að tengja saman “absolute” og “relative” einkunnir Lágmarksþekking, skilningur og færni metin: • Þá er eðlilegt og reyndar óhjákvæmilegt að skilgreina vel námsþætti (learning outcomes) og prófa úr þeim með “absolute” leiðinni. Æðri námsþættir, sjálfstæð vinnubrögð, “higher-order-thinking skills”: • Nánast engin takmörk og alltaf hægt að bæta sig. Þá er e.t.v. eðlilegt að meta með “relative” aðferðinni. Í þessu sambandi er eðlilegast að setja skýra stefnu innan skólans um viðmið við námsmat.

49. Að tengja saman mismunandi einkunnir Einkunnir Bjarna: • Próf (50%) : 5, þ.e. 0,5*5 = 2,5 • Vinnubók (15%) : 8, þ.e. 0,15*8 = 1,2 • Heimavinna (10%) : 7, þ.e. 0,1*7 = 0,7 • Vetrareinkunn (25%) : 7, þ.e. 0,25*7 = 1,75 • Samtals einkunn: 2,5+1,2+0,7+1,75 = 6,15 eða 6,0 sem þýðir að 57,5-63,4% markmiða hafi verið náð.

50. Góð og réttlát einkunnagjöf • Upplýsa nemendur og aðstandendur um einkunnakerfið sem er notað og hvernig það er hugsað. • Halda einkunnum fyrir námsárangur sér og hegðun, einstaklingsframförum eða öðrum ytri áhrifaþáttum sér. • Byggja á sem víðtækustum gögnum og tryggja þannig réttmæti einkunna og túlkunar á þeim. • Huga vel að vægi þátta sem liggja að baki einkunn. • Velja viðeigandi viðmið, markviðmið og/eða hópviðmið. • Endurskoða einkunnir sem eru á mörkum t.d. undir 5 • Loks: Samræmdar tölulegar einkunnir skiljast vel, en ekki alltaf viðeigandi að nota þær í námsmati.