Vergleichsarbeiten “DVA” Mathematik

1. Vergleichsarbeiten “DVA” Mathematik KonzeptionUmgang mit den Ergebnissen imRahmen der Selbstevaluation

2. Impressum • Diese Materialien wurden von K. Reiber, Landesinstitut für Schulentwicklung erstellt. Sie sind für den Einsatz im Rahmen der Fortbildungs-veranstaltungen vorgesehen. • Die Materialien dürfen von den Multiplikatoren für ihren eigenen Einsatz angepasst werden

3. Inhalt • Konzeption der Vergleichsarbeiten ‘DVA’ - Ziele- Aufgabenkonstruktion - Unterschied Lernaufgaben – Testaufgaben- Aufgabenformate- Verfahrensschritte - Aufgabenauswahl • Umgang mit deren Ergebnissen im Rahmen der Selbstevaluation - Analyse - Interpretation - Konsequenzen ziehen

4. DVA - Ziele • Qualitätsentwicklung der SchuleDie Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort.Die Arbeiten liefern landesweite Vergleichswerte für die Selbst-evaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation. • Individueller Lernstand der SchülerDie Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in ausgewählten Fächern objektive Informationen über den jeweiligen individuellen Lernstand in Hinblick auf bestimmte in den Bildungsstandards ausgewiesene Kompetenzen.

5. Vergleichsarbeiten ‘DVA’standardisierte Tests, die - unabhängig vom Unterricht und der Klassensituation - das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Klassenarbeiteninformelle Verfahren, die - abhängig vom Unterricht und der Klassensituation - den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. DVA – Unterschied zu Klassenarbeiten

6. Vergleichsarbeiten sind standardisierte Tests, die nach sozialwissenschaftlichen Methoden entwickelt werden zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens DVA - Anforderungen an Vergleichsarbeiten

7. Gütekriterien für Vergleichsarbeiten als standardisierte Tests Validität (Wie gut misst der Test, was er zu messen soll?) Reliabilität(Wie genau misst der Test, was er misst?) Objektivität(Wie unabhängig ist das Testergebnis von Einflüssen außerhalb der Testperson?) DVA - Anforderungen an Vergleichsarbeiten

8. Lernaufgaben - Lernprozesse initiieren und unterstützen häufig „komplexe“ Aufgaben mit diversen LösungsmöglichkeitenFehler als Lernmöglichkeit Testaufgaben - Lernstand ermitteln “produktorientierte Momentaufnahme“ erfassen möglichst abgrenzbare Teilkompetenzen standardisierte Bedingungen objektiv auswertbare Aufgaben mit eindeutigen Lösungen können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden Zum Unterschied von Lernaufgaben und Testaufgaben

9. Lernaufgabe Zum Unterschied von Lernaufgaben und Testaufgaben

10. Testaufgabe (DVA 2008, GY8M) Zum Unterschied von Lernaufgaben und Testaufgaben

11. Zieldefinition - Vor der Entwicklung der Aufgabe muss die zu überprüfende Kompetenz festliegen Validität - Die Aufgabenstellung muss das abprüfen, was sie vorgibt zu messen Objektivität - Die Aufgabenstellung und die Korrekturanweisung müssen eindeutig, das heißt klar und unmissverständlich sowie vollständig formuliert sein Die Einzelaufgaben sollten voneinander unabhängig sein Die verschiedenen Aufgabenformate – geschlossen, halboffen, offen– und ihre jeweiligen Besonderheiten sind zu beachten Konstruktion von Testaufgaben: zielgerichtet und systematisch

12. DVA - Aufgabenformate

13. DVA - Aufgabenformate

14. DVA - Aufgabenformate

15. DVA - Aufgabenformate

16. DVA - 10 Verfahrensschritte • Curriculare Analyse und Zieldefinition • Aufgabenformulierung - Itemdefinition • Zusammenstellung von Pilotierungsmodulen • Herstellung der Materialien für die Pilotierung • Pilotierung der Aufgaben • Teststatistische Analysen • Auswahl der Aufgaben für den Test (Vergleichsarbeit) • Herstellung der Materialien für den Test • Einsatz der Vergleichsarbeiten • Auswertung der Erfahrungen (Evaluation) 1. Schuljahr 2. Schuljahr 3. Schulj.

17. Prüflesung Externe Fachberater Aufgabenfindungsgruppe Standardexperte Fachdidaktiker drei Schulpraktiker Gruppenleiter (LS) DVA - Aufgabenentwicklung im LS

18. Anhand statistischer Kennwerte, ermittelt in der Pilotierung Schwierigkeit(ermittelt aus Lösungshäufigkeit in Pilotierung) Trennschärfe(Item wird von fachlich starken Schülern deutlich häufiger als von fachlich schwächeren Schülern gelöst) Schwerpunktbereichesindnotwendig genügend Items („Messpunkte“) für zuverlässige Messung => nicht der gesamte Bildungsstandard kann überprüft werden DVA - Auswahl der Aufgaben

19. Auswahl der Aufgaben für den Test Aufgaben zu Schwerpunktbereich II x x x x x x x x x x x x x xxx x x x x x x x x x x x x x x x x x x x x x x x x x x x x mittlere Lösungshäufigkeit(Schüler mittlerer Fähigkeit löst ca. 50% der Items) 31 - Reiber x x x x x x x xx x xx x x x x x xx xxx x xx x x x x x x xxxx x xxx

20. DVA – Materialien: Schülerarbeitsblätter

21. DVA – Materialien: Testspezifische Hinweise

22. DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

23. DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

24. DVA – Materialien: Auswertungsmappe “Schule”

25. DVA – Materialien: Auswertungsmappe “Schule”

26. Selbstevaluation und Fremdevaluation im Schulgesetz verankert(1)Die Schulen führen zur Bewertung ihrer Schul- und Unterrichtsqualität regelmäßig Selbstevaluation durch…. Das LS führt in angemessenen zeitlichen Abständen Fremdevaluation durch…. (2) Das KM kann Schüler und Lehrer verpflichten, an Lernstandserhebungen von internationalen, nationalen und landesweiten Vergleichsuntersuchungen teilzunehmen….. (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006) EvaluationsVO § 5 Verfahren, MethodenDie Ergebnisse von zentralen Leistungsfeststellungsverfahren sind bei der Selbstevaluation einzubeziehen. (Verordnung des Kultusministeriums vom 01.08.2008) Bildungsplan 2004… empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort…. (Einführung in den Bildungsplan) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten vom 17.05.2009... In den Klassen 7, 9 und in der ersten Jahrgangsstufe des Gymnasium der Normalform ... werden jeweils zu Beginn des Schuljahres schriftliche Arbeiten angefertigt ... (Vergleichsarbeiten) ... Diese Arbeiten sind ein diagnostisches Instrument, das sich auf den Lernstand des jeweils vorangegangenen Schuljahres bezieht. Sie werden nicht benotet. (§5 der Notenbildungsverordnung entfällt) DVA - Vorgaben im Kontext der Schulentwicklung

27. Orientierungsrahmen zur Schulqualität Qualitätsbereich I Unterricht, Kriterium I 2:„Aufbereitung , Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Diagnose- und Vergleichsarbeiten“ Ergebnisse und Wirkungen, fachliche und überfachliche Lernergebnisse „Die Schule reflektiert ihre Arbeit an den von den Schüler/innen erbrachten fachlichen Leistungen…“ Beispiel: Diagnose- und Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung:„Verpflichtende Instrumente der Selbstevaluation - 6.1. Diagnose- und Vergleichsarbeiten“ Handreichung Schulportfolio Ergebnisbezogene Angaben: Darzustellen sind Diagnose- und Vergleichsarbeiten auf Ebene der Klassenstufe DVA – Einbettung in Orientierungsrahmen und Schulportfolio

28. Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. 1. Schritt: Analyse der Ergebnisse 2. Schritt: Interpretation derErgebnisse 3. Schritt: Konsequenzen ziehen DVA - Umgang mit den Ergebnissen

29. Ergebnisse analysieren:die in der Auswertungsmappe dargestellten Ergebnisse systematisch betrachten und Auffälligkeiten feststellen Bedeutungen von Zahlenwerten und Darstellungen klären extrem hohe und niedrige Werte erkennen (z.B. stark unter- oder überbesetzte Gruppen) Vergleiche ziehen und Abweichungen feststellen (z.B. zu landesweiten Vergleichswerten, zu eigenen Erwartungen) inhaltliche Zuordnungen vornehmen (z.B. zum Bildungsplan) 1. Schritt: Analyse der Ergebnisse

30. Auswertungsmappe “Klasse” für die durchführenden Lehrkräfte zeigt den Lernstand der Klassekonzipiert für den klassenbezogenen Vergleich Auswertungsmappe “Schule” für die Schulleitung oder SchulteamsÜberblick über Leistungen der Schule insgesamtkonzipiert für den klassenübergreifenden Vergleich 1. Schritt: Analyse der Ergebnisse (Klasse)

31. 1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft zurück

32. 1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft

33. 1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft

34. 1. Schritt: Analyse der Ergebnisse (Klasse) neue und alte Fachlehrkraft, Fachschaft

35. 1. Schritt: Analyse der Ergebnisse (Klasse) neue und alte Fachlehrkraft, Lehrkräfte der Klasse

36. 1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

37. 1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

38. Schülermittung als Rückmeldemöglichkeit Kann optional eingesetzt werden

39. Ergebnisse interpretieren: erste Bewertungen vornehmen und Erklärungen suchen Auffälligkeiten und Abweichungen umfassend deuten mögliche Ursachen und Hintergründe suchen Vermutungen über Zusammenhänge formulieren Schulleistungen werden durch vielfältige Faktoren beeinflusst, die in einem komplexen Zusammenhang zueinander stehen und sich wechselseitig bedingen (Schule und Unterricht, Persönlichkeit des Kindes, Gleichaltrige, Familie und Erziehung, …) (Näheres vgl. Handreichung „Vergleichsarbeiten ‘DVA’ - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“) 2. Schritt: Interpretation der Ergebnisse

40. Konsequenzen ziehen:Ziele für das weitere Vorgehen formulieren, Maßnahmen planen und umsetzen für die Schule für eine bestimmten Fachbereich für eine gesamte Jahrgangsstufe für den eigenen Unterricht für bestimmte Klassen für die einzelne Schülerin/ den einzelnen Schüler (Näheres vgl. Handreichung „Vergleichsarbeiten DVA - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“) 3. Schritt: Konsequenzen ziehen

41. GrundschuleKlasse 3VERA 3 (bundesweites Verfahren, Projektleitung Universität Koblenz-Landau) HauptschuleKlasse 7 (Bildungsstandard 6)Deutsch und Mathematik RealschuleKlasse 7 (Bildungsstandard RS6)Deutsch und Mathematik RealschuleKlasse 9 (Bildungsstandard RS8)Deutsch und Mathematik, Englisch oder Französisch GymnasiumKlasse 7 (Bildungsstandard GY6)Deutsch und Mathematik GymnasiumKlasse 9 (Bildungsstandard GY8)Deutsch und Mathematik, Englisch oder Französisch oder Latein Ab 2011: Gymnasium Klasse 11 (Bildungsstandard GY10)Deutsch und Mathematik, Biologie oder Chemie oder Physik Umfang der Diagnose- und Vergleichsarbeiten

42. Aktuelle Informationen zu den Vergleichsarbeiten: www.dva-bw.de