Die Konzeption der Vergleichsarbeiten „VERA“ als standardisierte Lernstandserhebung

1. Die Konzeption der Vergleichsarbeiten „VERA“als standardisierte Lernstandserhebung Landesakademie Esslingen VERA-Lehrgang vom 07.11. - 09.11.2011

2. Die Konzeption der Diagnosearbeiten „VERA“ als standardisierte Lernstandserhebung • Umgang mit den Ergebnis-Rückmeldungen VERA 2011

3. Diagnosearbeiten VERA als Instrument der Evaluation EVALUATION Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen „VERA/DVA“ Gegenstand ist der Umgang mit den Lernstandserhebungen „VERA/DVA“

4. Vorgaben für zentrale Lernstandserhebungen im Kontext der Schulentwicklung in BW • Bildungsplan 2004… empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort….(Einführung in den Bildungsplan) • Selbstevaluation und Fremdevaluation im Schulgesetz verankert (1)Die Schulen führen zur Bewertung ihrer Schul- und Unterrichtsqualität regelmäßig Selbstevaluation durch…. Das LS führt in angemessenen zeitlichen Abständen Fremdevaluation durch…. (2) Das KM kann Schüler und Lehrer verpflichten, an Lernstandserhebungen von internationalen, nationalen und landesweiten Vergleichsuntersuchungen teilzunehmen….. (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006) • EvaluationsVO § 5 Verfahren, MethodenDie Ergebnisse von zentralen Leistungsfeststellungsverfahren sind bei der Selbstevaluation einzubeziehen.(Verordnung des Kultusministeriums vom 01.08.2008) • Verwaltungsvorschrift des Kultusministeriums zu den VergleichsarbeitenDie VwV schreibt in der Klasse 3 der Grundschule zentrale schriftliche Arbeiten in den Fächern Deutsch und Mathematik vor, die nicht benotet werden. Die Grundschulen beteiligen sich damit an dem Projekt VERA, an deren Aufgabenentwicklung alle Bundesländer beteiligt sind. … Die Ergebnisse der Vergleichsarbeiten werden mit den Schülern, Eltern und in Lehrerkonferenzen besprochen. Auf Wunsch werden die korrigierten Arbeiten den Schülern mit nach Hause gegeben. (Verwaltungsvorschrift vom 17. Mai 2009)

5. Vera 3 wird vom IQB in Berlin als standardisierte Lernstandserhebung (Test) entwickelt und bundesweit eingesetzt. An Verfahren dieser Art werden folgende Anforderungen gestellt: zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter/bundesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens Die Universität Koblenz-Landau übernimmt die Durchführung: Bereitstellung der Testmaterialien und Rückmeldeportal, teststatische Analysen, Ergebnis-Rückmeldung an die Schulen. VERA 3 ist ein internetbasiertes Verfahren. VERA 3 - Standardisiertes Testverfahren

6. Unterscheidung zentrale Lernstandserhebungen und Klassenarbeiten • Vergleichsarbeiten „DVA“ sind standardisierte Tests, die – unabhängig vom Unterricht und der Klassensituation – das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Die Bewertungsmaßstäbe werden empirisch ermittelt. • Klassenarbeiten sind informelle Verfahren, die – abhängig vom Unterricht und der Klassensituation – den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. Die Bewertung unterliegt dem pädagogisch-didaktischen Expertenurteil der Lehrkräfte Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule!

7. Weiterentwicklung von Unterricht, Fach und Schule Ein Angebot von fachlichen, fachdidaktischen und pädagogisch-psychologischen Impulsen für die Schul- und Unterrichtsentwicklung bieten. Die aktive Beteiligung an der Durchführung und Auswertung soll zur schulinternen Kooperation und Diskussion, z.B. von Standards, Unterrichtsgestaltung oder Beurteilungspraxis, anregen. Ziel 1 Schul – und Unterrichtsentwicklung (siehe Landau) Grundlagenpapier Projekt VERA: Pädagogische Nutzung der Vergleichsarbeiten Vergleichsarbeiten – Chancen und Grenzen

8. Ziel 2 Bestandsaufnahme: Standardsicherung/-entwicklung (siehe Landau) Orientierung an den KMK-Bildungsstandards für den Primarbereich, unterschiedliche Vergleichsperspektiven werden ermöglicht. • Inhaltlicher Vergleich: Vergleich der Leistungen einzelner Schüler/innen auf der Grundlage von inhaltlich beschriebenen Fähigkeitsniveaus ermöglicht eine Orientierung an den Bildungsstandards…. • Bezugsorientierter Vergleich: VERA ermöglicht eine Standortbestimmung durch den Vergleich der Ergebnisse der Klassen untereinander und durch den Vergleich mit den jeweiligen Landesergebnissen • Fairer Vergleich: Durch Berücksichtigung des schulischen Einzugsgebiets – das heißt des sozialen Kontextes – können sich Klassen auch mit einer Gruppe von Klassen vergleichen, deren Schülerschaft der eigenen Klasse ähnlich ist.

9. Lehrkräfte schätzen vor der Vergleichsarbeit die Lösungshäufigkeiten der Aufgaben für ihre Klasse ein. Der Vergleich dieser Voraussage mit den tatsächlichen Lösungshäufigkeiten ermöglicht jeder Lehrkraft eine Auseinandersetzung mit der eigenen Diagnosegenauigkeit Ziel 3 Professionalisierung : Erfassung und Verbesserung der Diagnosegenauigkeit (siehe Landau)

10. Grundlage: KMK-Bildungsstandards Orientierung an den KMK-Bildungsstandards für den Primarbereich • Grundlage für Baden-Württemberg: -BW-Bildungsplan - Hinweise zur Umsetzung des Bildungsplans 2004 GS unter Beachtung der KMK-Standards (siehe DVA-Homepage) • Sonderfall: Der Unterbereich „Wahrscheinlichkeiten von Ereignissen in Zufallsexperimenten vergleichen“ aus den KMK-Standards wird in den oben genannten Hinweisen unter „5. Leitidee: Daten und Sachsituationen“ erläutert.

11. Die Konzeption der Diagnosearbeiten „VERA“ als standardisierte Lernstandserhebung • Umgang mit den Ergebnis-Rückmeldungen VERA 2011

12. Prozesse I Unterricht Ergebnisse und Wirkungen Voraussetzungen und Bedingungen • Rahmen-vorgaben • Sächliche und personelle Ressourcen • Schüler/-innen sowie deren Lebensumfeld II Professionalitätder Lehrkräfte III Schulführung und Schulmanagement • Fachliche und überfachliche Lernergebnisse • Schul-/Laufbahnerfolg • Bewertung schulischer Arbeit IV Schul- und Klassenklima V Inner- und außerschulische Partnerschaften Qualitätssicherung und Qualitätsentwicklung SEV in BW: Qualitätshaus jeder einzelnen Schule

13. SEV in BW: Qualitätshaus jeder einzelnen Schule Einordnung in den „Orientierungsrahmen zur Schulqualität“ • „Prozesse“ – „Qualitätsbereich I, Unterricht“Bei der „Gestaltung der Lehr- und Lernprozesse“ wird die Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten, in den Blick genommen. • „Ergebnisse und Wirkungen“ – „fachlichen Lernergebnissen“ aufgeführt. Die Rückmeldungen dienen dazu, dass die Schule ihre Arbeit an den von den Schülerinnen und Schülern erbrachten fachlichen Leistungen, zum Beispiel aus den Vergleichsarbeiten, reflektiert. • „Qualitätssicherung und Qualitätsentwicklung“Der Blick wird auf die systematische Weiterentwicklung von Schule und Unterricht gerichtet. Dementsprechend wird gefragt, wie die Schule Selbstevaluation durchführt, ob sie sich beispielsweise an einer systematischen Abfolge von einzelnen Schritten orientiert

14. Die Statistik ist ein Werkzeug, um größere Menge von Daten zu erfassen, zu strukturieren und aufzuarbeiten. Dies geschieht mit Hilfe von statistischen Kennwerten: Häufigkeiten (Anzahl von Elementen, die ein bestimmtes Merkmal erfüllen, ausgedrückt in absoluten und relativen Zahlenwerten, z.B. Lösungshäufigkeiten) Mittelwerte(Maßzahlen, die die verschiedenen Messwerte einer Gruppe zu einem zentralen Wert zusammenfassen, z.B. das arithmetische Mittel) Verteilungen(Obwohl ähnliche Mittelwerte ausgewiesen werden, kann sich eine Verteilung der Messwerte bei Gruppen unterscheiden, z.B. Leistungsgruppen) Abweichungen(Differenzen sind signifikant, wenn die Wahrscheinlichkeit gering ist, dass sie durch Zufall zustande gekommen sind, z.B. bedeutsame Differenzen) Statistik: Kennwerte

15. Es lassen sich vier Bezugsrahmen unterscheiden Gruppenorientierter Bezugsrahmen(Vergleich mit einer Gruppe, Stellung in Relation zur Gruppe, Abweichungen zur Gruppe in Form von „bedeutsamen Differenzen“ ) Kriterienorientierter Bezugsrahmen(Vergleich mit einem inhaltlich definierten Kriterium wie Bildungsstandardsoder Erreichung eines Niveaus, Kompetenzstufenmodelle) Intraindividueller Bezugsrahmen(Vergleich der Ergebnisse einer Person in verschiedenen Bereichen,ergibt ein Profil) Temporaler Bezugsrahmen(Vergleich einer Gruppe zu verschiedenen Zeitpunkten, Längsschnitt, Entwicklungsverlauf) Statistik: Bezugsrahmen

16. Die statistischen Angaben lassen sich auf verschiedene Arten grafisch und tabellarisch darstellen und veranschaulichen mit Hilfe von Säulendiagrammen, siehe geschätzte und tatsächliche Lösungshäufigkeit Balkendiagrammen, siehe Lösungshäufigkeiten der einzelnen Aufgaben Streifendiagrammen, siehe Fähigkeitsniveaus Kreisdiagrammen , --- Liniendiagrammen, --- Streudiagramme, --- mit Hilfe von Tabellen, siehe Fähigkeitsniveaus aller Schülerinnen und Schüler Jede Darstellung hat bestimmte Vorteile und bestimmte Nachteile! Statistik: Darstellungen

17. Wer kann die Daten aus VERA nutzen ? Die Daten können von verschiedenen Personengruppen unterschiedlich genutzt werden: • in erster Linie von der einzelnen teilnehmenden Fachlehrkraft hinsichtlich des eigenen Unterrichts • von Lehrerteams - einer Klasse, hinsichtlich der Förderung von Einzelschüler/innen oder Schülergruppen - eines Faches, hinsichtlich der fachdidaktischen Weiterentwicklung- der Jahrgangsstufe, hinsichtlich der Förderung ganzer Klassen oder klassenübergreifender Schülergruppen • von benannten und befugten Schulteams hinsichtlich der schulischen Grundsätze, des Leitbilds, der Rahmenbedingungen, ….

18. Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen (Ziele werden formuliert, Maßnahmen geplant und umgesetzt) Die Auswertungsergebnisse werden in eigener Verantwortung für die internen Schulentwicklung genutzt Umgang mit den Ergebnissen

19. Ergebnisse analysieren heißt, die in der Ergebnisrückmeldung ausgewiesenen Zahlenwerte systematisch zu betrachten und gegebenenfalls Auffälligkeiten festzustellen: Bedeutung von Zahlenwerten und Darstellungen klären Extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen(Parallelklassen, Schule, Land, Gesamtheit) Bedeutsame Unterschiede feststellen Inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen herstellen Dies geschieht jeweils auf der Ebene einzelner Schüler/innen, der Klasse, der Parallelklassen, der Schule und der Diagnosefähigkeit der Lehrkraft. Ergebnisse analysieren Analyse schriftlich dokumentieren!

20. Ergebnisrückmeldung: Seitenstruktur im geschützten VERA-Internetbereich 1. Rückmelde-Welle Unter Ergebnisse/Allgemein „Ergebnisse zu VERA als Gesamtdokument „ 2. Rückmelde-Welle

21. Kompetenzstufen: Schülerinnen und Schüler 5-stufiges Modell: Je höher die Kompetenzstufe, desto besser die Leistung. Schülerin Nr. 1 hat in allen Bereichen nur die Kompetenzstufe 1 erreicht. Schülerin Nr. 6 weist große Unterschiede in den Bereichen auf. Besetzung der Kompetenzstufen durch einzelne Schüler/-innen: Welche Kompetenzstufen wurden von einzelnen Schüler/-innen erreicht? Wie unterscheiden sich die Bereiche? Welche inhaltlichen Bezüge lassen sich herstellen? Welche Leistungen haben auffällige Schüler/-innen bisher gezeigt?

22. Kompetenzstufen: Vergleich Klasse-Schule-Land 5-stufiges Modell : Je höher die Kompetenzstufe, desto besser die Leistung. Auf den unteren Kompetenzstufen 1 und 2 : 37% der Schüler/-innen im Land gegenüber 31% der Schüler/-innen der Schule gegenüber 29% der Schüler/-innen derKlasse Verteilung der Schüler/-innen der Klasse auf die Kompetenzstufen: Wie verteilt sich die Klasse im Vergleich zur Schule und zum Land und zu anderen Bereichen? Wo treten bedeutsame Unterschiede * auf ? Welche inhaltlichen Bezüge lassen sich herstellen?

23. Kompetenzstufen: Innerschulischer Vergleich In Kl. 3b sind viele Schüler/-innen auf den unteren Kompetenzstufen 1 und 2 (63%) im Vergleich zu Kl. 3a (45%) und zu Kl. 3c (38%) In Kl. 3c sind viele Schüler/- innen auf den oberen Kompetenzstufen 4 und 5 (54%) im Vergleich zu Kl. 3b (25%) und Kl. 3a (20%). Verteilung der Parallelklassen auf die Leistungsgruppen: Wie sieht die Verteilung der Parallelklassen aus, auch hinsichtlich der Verteilung von Schule und Land?

24. Lösungshäufigkeiten (Anzahl richtiger Lösungen) Anzahl der Schüler/-innen in dieser Klasse (absolut und in Prozent), die ... … Aufgabe 1.1 im Inhaltsbereich Lesen (absolut und in Prozent)in der Klasse und in der Vergleichsgruppe Land richtig gelöst haben. Lösungshäufigkeiten von Klasse und Land einschließlich Differenzen: Bei welchen Aufgaben werden besonders hohe/niedrige Lösungshäufigkeiten festgestellt? Bei welchen Aufgaben und in welche Richtung werden besonders große Unterschiede ermittelt?Welche inhaltlichen Bezüge lassen sich bei auffälligen Aufgaben herstellen?

25. Diagnosegenauigkeit: Vergleich Aufgabenebene Unterschätzung der Klassenleistung Überschätzung der Klassenleistung Mittelwert derLehrerschätzung wird dem tatsächlich erreichten Mittelwert gegenübergestellt. Geschätzte und tatsächliche Lösungshäufigkeiten: Welche Aufgaben wurden deutlich unterschätzt, welche deutlich überschätzt? Weist der Mittelwert tendenziell eher auf Über- oder Unterschätzung hin?

26. Diagnosegenauigkeit: Vergleich Lehrkräfte Genauigkeitsindex: Index = -1,0genau gegenläufige Schätzung Index ~0gar kein Zusammenhang zwischen Schätzung und Ergebnis, die Schätzung erscheint zufällig Index ab 0,5mittlerer Zusammenhang Index ab 0,8starker Zusammenhang Index =1,0 perfekter Zusammenhang Je näher der Index bei 1,0 liegt, desto besser passt die eigene Einschätzung zu der tatsächlich erreichten Klassenleistung Vergleich mit allen Lehrkräften (Deutsch Lesen) Der Diagnosegenauigkeitsindex gibt die Genauigkeit an, mit der die Aufgabenschwierigkeiten vorab eingeschätzt wurden. Wie liegt die Fachlehrkraft, wie liegen die anderen Fachlehrkräfte einer Schule mit ihrer Einschätzung?

27. Vielen Dank für Ihre Aufmerksamkeit! www.dva-bw.de PPT unter „Wir über uns/Veranstaltungen“ www.projekt-vera.de