The What , Why and How of Assessment

1. Tanja Westfall-Greiter, M.A. The What, WhyandHowof Assessment

2. Von „Osterhasenpädagogik“ hin zu Transparenz “We need to let students into the secret, allowing them to become insiders of the assessment process. We need to make provision for them to become members of the guild of people who can make consistently sound judgments and know why those judgments are justifiable.” - Royce Sadler, University of Queensland Sadler, R. (1998). Letting students into the secret: Further steps in making criteria and standards work to improve learning. Paper, Annual Conference for State Review Panels and District Review Panel Chairs, July 1998.

3. „Vom Ende her“ „Learning startswith ‚backward design‘ […]withtheteacher (andpreferably also thestudent) knowingthedesiredresults(expressedassuccesscriteriarelatedtolearningintentions) andthenworkingbackwardstowherethestudentstartsthelesson(s) – both in termsofhisor her priorknowledgeandwhere he orsheis in thelearningprocess. The purposeistoreducethegapbetweenwherethestudentstartsandthesuccesscriteria ….“ - John Hattie Hattie, J. (2012). Visible Learning forTeachers: Maximizing Impact on Learning. S. 93.

4. The pleaforreform in assessment • Paul Black & Dylan Wiliam: Out ofthe „Black Box“ to formative assessment • Rick Stiggins: Fromselectiontoachievement • John Hattie: Fromarbitrarytoeffective • Lorna Earl: Fromassessmentoflearningtoassessmentaslearning • W. James Popham: „Transformative Assessment“ • Grant Wiggins: „EducativeAssessment“ • Carol Ann Tomlinson: „Informative Assessment“

5. Why Assessment? “We assess for two reasons: (1) to gather evidence to inform instructional decisions and (2) to encourage students to try to learn. Both purposes must be well served for schools to be effective.” - Rick Stiggins Stiggins, R. (2008). Assessment Manifesto: A Call forthe Development ofBalancedAssessment Systems. Portland: ETS Assessment Training Institute S. 3.

6. The Assessment Experience “For the student, regardless of the level of achievement demonstrated, a productive reaction leaves them confident and willing to keep trying. A counterproductive response leaves the student confused, frustrated, and ready to give up in hopelessness. For the teacher, the assessment is helpful if it reveals what comes next in the learning; the assessment is counterproductive when it leaves them with no idea what to do next.” - Rick Stiggins (2008)

7. Vignette 35 „Einige von euch haben brav geübt, andere habenjedoch noch etwas Übungsbedarf“, verkündet Herr Oppitz, wie zu sich selbst, und teilt die Diktathefte aus. Rasch wird auf die Ergebnisseite geblättert, die Erfolgreiches und weniger Gelungenes aufzeigt. Hefte werden geöffnet und geschlossen. Einige verschwinden nach kurzem, prüfendenden Blick in den Schultaschen. Blicke, die „Wie viele Fehler hast du?“ wortlos zum Ausdruck bringen, werden ausgetauscht. „JA!“, platzt es erleichtert aus Othmar heraus. 7F! steht dort in grüner Farbe. Er starrt auf sein Ergebnis und zieht ruckartig seine zu Fäusten geballten Hände zu sich heran. „Bist du zufrieden?“, fragt Frau Ostermann, die Teamlehrerin. Othmar blickt überrascht, beinahe ertappt, auf, schließt sein Heft mit einem knappen „Es geht!“ und beginnt seinen Bleistift zu spitzen.

8. Vignette 72 „Im Großen und Ganzen habt ihr recht brav gearbeitet. Ich bin zufrieden mit euren Leistungen!“, betont Frau Ostermann, die Englischlehrerin, einen Stapel Schularbeitenhefte in ihren Händen haltend. Wie magnetisch angezogen, starren 34 Augenpaare auf den Stapel Hefte. Die Zeitspanne, bis sie ihren Besitzern zurückgegeben werden, scheint endlos: Sekunden werden zu Minuten, Minuten zu Stunden. Nervosität und Anspannung beherrschen den Raum. Olivera kaut auf ihrer Unterlippe. Otto kann sich kaum ruhig auf seinem Stuhl halten dreht seinen Körper im Sekundentempo ruckartig nach rechts, links, rechts, links. Othmar schlurft mit seinen Hausschuhen über den Boden. „Was hab ich, Frau Fachlehrer?“, sprudelt es fast flehend aus Oskars Mund. Frau Ostermann lässt seine Frage unbeantwortet. Stattdessen erinnert sie in ihrer Staccato ähnlichen Abfolge von Worten an die Eigenverantwortung eines jeden einzelnen bei der Auswahl von Aufgabenteilen der Schularbeit und deren Auswirkung auf die Benotung. „Wenn ihr zum B Teil den A Teil gewählt habt, und diese halbwegs fehlerfrei gemeistert habt, dann gibt es ein Befriedigend, das war die Sicherheitsvariante. Wenn ihr zum B Teil den C Teil gewählt habt, dann ist ein Sehr gut und Gut möglich, das war die risikoreichere Variante. Einige von euch werden sich vielleicht ärgern, dass sie nicht die herausfordernde Variante gewählt haben. Ich weiß, dass ihr diese hättet schaffen können.“ Endlich, die Erlösung. Frau Ostermann teilt die Hefte aus. „Ich könnte mich ohrfeigen! Warum hab ich nicht Teil C gewählt? Ich hätte das alles können!“, ärgert sich Oskar lautstark über sich selbst. Selbst die Beschwichtigungsversuche der Fachlehrerin, dass er aus seiner Fehlentscheidung lernen und es beim nächsten Mal besser machen werde, prallen an ihm ab. Oskar kann und will sich nicht beruhigen. Er beschimpft sich selbst und wendet sich verzweifelten Blickes an Frau Ostermann und an seinen Sitznachbarn, mehrmals wiederholend „Aber das hätte ich alles gekonnt. Aber das hätte ich doch alles gekonnt!“

9. Assessment for Learning “If they are to have a productive impact on the learner, … the assessment results must go beyond merely providing judgments about to providing rich descriptions of student performance. In other words, if assessments are to support improvements in student learning, their results must inform students how to do better the next time.” - Rick Stiggins (2008)

10. The Phenonemonof Practice accordingto Jim Spillane • Practice manifestsitself in interactions. • Practice issituatedandisconstructedbyand in thesituation. • The situationenablesorrestrictspractice, depending on whoandwhat(tools, routines, structures) areavailable. • Whattools, routinesandstructuresdeterminetheteachers‘ assessmentpractice? • Whattools, routinesandstructuresdeterminethestudents‘ learningpractice?

11. 3-K Orientierung für die Beurteilungspraxis

12. An apple a day: Whatcriteria do youusetobuyapples? • Condition • Freshness • Gloss • Color • Size • Taste • Variety • Price • Storability • Purpose • Source

13. Whytheseapples (and not those), Ms. Teacher? Becausetheyaredelicious, ideal for an applepieandthey‘reorganic! Criteria: • Taste • Purpose • Source

14. Criteriaalwayspredicateperformance Ifcriteriaare not clear, • (self-)assessmentissubjectiveandarbitrary • developmentofunderstandingandcompetenceisrestricted • itisimpossibletodocumentgrowthandprogress

15. Kompetenzraster setzen Kriterien voraus Kompetenzbeschreibung aus einem Kompetenzraster: Die Schülerinnen und Schüler können über Begebenheiten und Erfahrungen verständlich sowie thematisch zusammenhängend sprechen. • Welches Fach vermuten Sie? • Welche Schulstufe? • Stellen Sie sich vor, Sie müssen diese Kompetenz beurteilen. Was brauchen Sie noch? Antwort: Fach Deutsch Bildungsstandard Volksschule 4. Klasse Mögliche Kriterien: Aufgabe erfüllt Struktur / roter Faden / Nachvollziehbarkeit Wortschatz & Satzstruktur / Verwendung von Konnektoren / Variation Wirksamkeit / Spannungsaufbau

16. Dimensionsofassessmentrubrics • Criteria, whichareauthenticand valid (What‘sthemeasuring stick?) • Indicators, whichdescribetheperformance (Whatdoes a competentactionlook like?) • Levels ofquality, whichdefinetherequirements in a specificphaseofdevelopemtn (Howgoodistheperformanceregardingthegoalsforthisyear?)

17. GERS: „Checklist“ Indicators

18. GERS Rubric/Scale Criteria Indicators Levels of Quality

19. Assessment for Learning “Further, to support learning, assessments must evolve from being isolated occasional events attached to the end of teaching to becoming an ongoing series of inter-related events that reveal changes in student learning over time. Such evidence will reveal to the learner and the teacher not only current achievement status, but also improvements in the student’s capabilities—a powerful booster of confidence and motivation.” - Rick Stiggins (2008)

20. An effectivetoolandroutine: thecompetencediagramme

21. Example in PracticeLaura Bergman, Akademisches Gymnasium Graz

22. Erfolgsfaktoren Kompetenzdiagramm Liefern 2 Informationen für Schüler/innen, Lehrer/innen und Eltern: • Der Beurteilungsrasterbeschreibt die Qualitätsstufenorientiert am Zielbild, d.h. ermachtAnforderungender Schulstufeklar. • Das Diagrammstellt die Leistungsentwicklungdes Schülers/der SchülerinimHinblick auf den Anforderungendar. Fokus + klareAnforderungen + aktuelleInformationenzurLeistungsentwicklungin KombinationhabeneinesignifikanteWirkung auf die Leistungsentwicklung der Schüler/innen (biszu +32% lautMarzano 2007).

23. Weitere Belegstücke

24. Belegstück InnovativEnglisch, 5. SchulstufeVeronika Weiskopf-Prantner, NMS-Landeck

25. Belegstück „beginnend“