„Nach PISA“: Zur Kraft von Zauberformeln in der Bildungspolitik

1. „Nach PISA“: Zur Kraft von Zauberformeln in der Bildungspolitik Vortrag vor der Jahreshauptversammlung der IHK Siegen am 14.12.2004 von Hans Brügelmann (Universität Siegen)

2. Eine kleine Geschichte vorweg... ... um verständlich zu machen, warum ich die aktuellen „Reform“bemühungen, • die Lehrpläne auf sog. Kerncurricula zu konzentrieren, • gleiche Leistungsanforderungen für alle SchülerInnen zum gleichen Zeitpunkt in sog. „Bildungs“standards festzulegen • deren Erreichen durch landesweite Vergleichstests zu überprüfen und das alles „mit PISA“ zu begründen, nicht sine ira et studio behandeln kann:

3. Was mich konkret ärgert... Die gängige These: Deutsche SchülerInnen schneiden mit 15 Jahren bei PISA im Lesen schlecht ab, also müssen wir den Anfangsunterricht in der Grundschule ändern: • Verkürzung der Lesekompetenz auf elementare „Fertigkeiten“  Lesen als Textverständnis ist eine komplexe Leistung. • Verkürzung des Leseunterrichts auf einen „Lehrgang“  Lesenlernen ist ein lebenslanger Prozess • Verkürzung von Leistungsproblemen auf Defizite der Schule  Lesen lernt man vor allem durch Lesen im Alltag

4. Darüber hinauszwei zentrale Fragen: • Lässt sich durch PISA belegen, dass das deutsche Schulsystem „versagt“ hat? • Wird die deutsche Schule durch einen Wechsel von der Input- zur Output-Steuerung besser werden?

5. Ein kurzes Fazit in advance • PISA-I und PISA-II legen nicht nahe, von der Input- zur Output-Steuerung zu wechseln. • Darüber hinaus fehlen uns die empirischen Grundlagen, um Leistungsstandards als Minimalanforderungen für alle SchülerInnen zum gleichen Zeitpunkt vorzugeben. • Der Aufwand und die Nebenwirkungen einer Einführung von sanktionsbewehrten Vergleichstests kosten mehr, als an Ertrag zu erwarten ist.

6. PISA sagt uns nicht, wie gut oder schlecht unsere Schulen sind. • PISA beleuchtet nur ausgewählte Aspekte mit begrenzten Instrumenten und die Ergebnisse liefern uns eine Momentaufnahme. PISA ist eine reine Leistungsstudie und erfasst die Qualität der Prozesse nicht. • Insofern sind die Ergebnisse durchaus wichtig – aber nicht als abschließende Urteile zu verstehen, sondern als ernste Warnungen:  „Hier müsst ihr nachschauen!“

7. PISA sagt uns nicht, wo die Ursachen für Probleme liegen. • Die Korrelationen aus PISA liefern gut belegte Hypothesen zu möglichen Gründen und zu bedeutsamen Bedingungen für Unterschiede zwischen und innerhalb von Bildungssystemen. PISA ist aber keine Längsschnittstudie, die Kausalerklärungen ermöglicht. • Insofern sind auch die Interpretationen anregend, aber nicht als verbindliche Erklärungen, sondern als Hilfen bei der Suche nach Gründen:  „Hier lohnt es sich genauer nachzusehen!“

8. PISA sagt uns nicht, was jetzt zu tun ist. • Die Folgerungen der AutorInnen sind gut begründete Vorschläge – gestützt, aber auch begrenzt durch den spezifischen Hintergrund ihrer jeweiligen Disziplin und Position. PISA ist keine Interventionsstudie mit Kontrollgruppen. • Insofern sind ihre Empfehlungen interessant, aber nur als bedenkenswerte Anregungen zu verstehen:  „Das sollte man ernsthaft ausprobieren!“

9. Kurzinfo: PISA-2003 vs. PISA-2000 • Mit Platz 13-19 unter 29 Ländern erreicht Deutschland durchschnittliche Rangplätze im Nationenvergleich • leichte Verbesserung 2000  2003 (kann nicht Folge der Maßnahmen nach 2002 sein!) • große und wachsende Spreizung zwischen Spitze und „Risikogruppe“ • hohe Abhängigkeit des Schulerfolgs von der sozialen Herkunft (anders als in der Grundschule) • besondere Benachteiligung von Migrantenkindern (stärker als in der Grundschule)

10. Brauchen wir einen Wechselvon der „Input“- zur „Output“-Steuerung? • „Input“-Steuerung erfolgt über Lehrpläne, über die Qualifikaitonsanforderungen an LehrerInnen und die Prozesskontrolle durch Schulaufsicht. • „Output-Steuerung“ definiert erwartete Leistungen im voraus und überprüft deren Erreichen mit standardisierten Kompetenztests.

11. Die gängige These: „Das ‚Input‘-System hat versagt, denn...“ • Deutschlands 15-Jährige haben bei PISA schlecht abgeschnitten. • Deutschland hat ein Input-System. • Viele der bei PISA erfolgreicheren Länder haben eine Output-Steuerung. • Also ist das Input-System schuld an der PISA-“Katastrophe“. • Wenn Deutschland auch ein Output-System einführt, werden die Schülerleistungen besser.

12. Meine Gegenthese: „... oder doch nicht, denn ...“ • Deutschlands 10-Jährige haben 2001 bei IGLU gut abgeschnitten. • Die Grundschule und die Sekundarstufe arbeiten beide in einem Input-System. • Also kann das Steuerungssystemnicht die Ursache für den PISA-“Misserfolg“ und zugleich für den „IGLU“-Erfolg sein.

13. Und:Sind deutsche SchülerInnen wirklich so schlecht? • Beginnen wir mit einem Vergleich der deutschen Ergebnisse mit den allseits hoch gelobten Ländern Schweden und Finnland

14. Warum fahren alle nach Schweden?

15. Wie verlässlich sind internationale Vergleiche? Vergleichen wir die Rangpositionen von • von Deutschland und • den USA in verschiedenen Leistungsstudien 

16. Leseleistungen der deutschen SchülerInnen im internationalen Vergleich

17. Leseleistungen der US-SchülerInnen im internationalen Vergleich

18. Beliebigkeit der Urteile Nicht nur die internationalen Rangplätze im Vergleich zwischen den Ländern – auch die Einschätzung der Anteile von „Risikogruppen“ innerhalb der Länder schwankt erheblich 

19. Ab wann ist jemandein „Risiko“-Schüler ?

20. Zwei Gründe fürdie breite Streuung der Schätzungen Schwellenwerte des Lesen-“Könnens“ zur Abgrenzung von Risikogruppen werden festgelegt ohne empirische Absicherung • ihrer alltagsökologischen Validität, d. h. ohne Überprüfung ihrer Passung auf Anforderungen in den Lebens- und Berufswelten; • ihrer lernbiografischen Validität, d. h.ohne Absicherung ihrer Prognosekraft als „Voraussetzung“ für den weiteren Schul- und (Aus-)Bildungsweg.

21. Die alltagsökologische Validität ist fraglich... ... weil die Mindestniveaus festgelegt werden, ohne zu berücksichtigen, • dass es erhebliche Unterschiede zwischen objektiven Testleistungen und subjektiver Bewältigung von Anforderungen im individuellen Alltag gibt; • dass die Testleistungen innerhalb vergleichbarer Gruppenerheblich erheblich streuen, obwohl die meisten dieser Personen den täglichen Anforderungen durchaus gewachsen sind.

22. Streuung der Leseleistungeninnerhalb von Gruppen

23. Die lernbiografische Validität ist fraglich... • wegen der geringen Determinationskraft von Leistungen: Erhöhtes Risiko zu Termin-2 bei schlechten Leistungen zu Termin-1 bedeutet NICHT, dass die Mehrheit der SchülerInnen mit schlechten Leistungen zu Termin-1 auch bei Termin-2 versagt.  „Kompensations-Effekt“ • wegen der Vernachlässigung der Zuwächse beim Lernen: Selbst wenn schwache SchülerInnen ihre Rangposition nicht verbessern, ist ihr Lernzuwachs im Durchschnitt vergleichbar mit dem der leistungsstarken SchülerInnen. „Karawanen-Effekt“

24. Zwischenbilanz I:Leistungsniveaus... • ...lassen sich als „Risikoschwelle“ aktuell weder im inter-nationalen Vergleich noch systemintern überzeugend bestimmen; • ...sind bisher nicht als „Voraussetzung“ für späteren Schul- oder Berufserfolg nachgewiesen worden; • ...machen als „Standards“ wenig Sinn, wenn die Leistungen aller Jahrgänge in denselben Klassen 4-5 Altersstufen auseinander liegen; • ...werden den individuellen Lernfortschritten von unterschiedlichen Ausgangspunkten nicht gerecht.

25. Leistungsstandards und Kompetenztestsals zentrale Elemente des Evaluationssystems • Über die im ersten Teil genannten inhaltlichen Schwierigkeiten hinaus gibt es auch organisationssoziologische Probleme, die bei einer Einführung verbindlicher Lernzielvorgaben und landesweiter Vergleichstests bedacht werden müssen: • eine Überlastung des Instrumentariums mit zu vielen, zum Teil widersprüchlichen Funktionen; • negative Nebenwirkungen, wie sie sich an Erfahrungen angelsächsischer Länder über die letzten 30 Jahre hinweg beobachten lassen.

26. Funktionsüberlastung von Standards und Tests Mit der Einführung von Leistungsstandards und Kompetenztests werden drei Ziele verbunden • bildungspolitisch eine Verbesserung des „System Monitoring“; • für die Verwaltung eine klarere Zielorientierung und Qualitätskontrolle der Arbeit von Schulen bzw. LehrerInnen; • auf der Unterrichtsebene eine genauere Erfassung des Lernerfolgs von SchülerInnen bzw. eine differenziertere Diagnose ihrer Lernschwierigkeiten.

27. System Monitoring Standards und Tests können das deutsche Evaluationssystem sinnvoll ergänzen. ABER: • In den aktuell forcierten Maßnahmen zentraler Rechenschaft gibt es eine Schlagseite zu Lasten von Evaluationselementen auf anderen Ebenen. • Statt jährlicher Erhebungen würden auf System-Ebene Bestandsaufnahmen alle vier bis sechs Jahre völlig ausreichen. • Dafür genügen außerdem Stichproben-Erhebungen, die die Schulen erheblich weniger belasten und Ressourcen für unterrichtsnahe Aktivitäten freigeben würden.

28. Qualitätskontrolle der Schulen Standards können die Arbeit der Schulen stärker fokussieren, Tests ihre Einhaltung überprüfen helfen. ABER: Verbindlich vorgeschrieben und mit – zumindest indirekten – Sanktionen verknüpft, führen sie leicht zu • einer nur oberflächlichen Anpassung („teaching to the test“) • einer Schrumpfung des Curriculums im Unterrichtsalltag • wachsenden Drop-out- oder sogar Push-out-Quoten – vor allem von benachteiligten SchülerInnen (Selektion statt Förderung) • Umgehungs- oder sogar Betrugsversuchen. einige Belege aus den USA 

29. Schülerleistungen in US-Bundesstaatenhigh- vs. low-stakes testing

30. Alter Test – Neuer Test

32. Bewertung von Schülerleistungen Standardisierte Tests können LehrerInnen helfen, ihre Maßstäbe zu kalibrieren und ihre Beobachtungen zu kontrollieren – ABER sie können das Lehrerurteil nicht ersetzen: • standardisierte Tests können nur Ausschnitte der pädagogisch bedeutsamen Erfahrungen erfassen, sind also ergänzungsbedürftig durch andere Evaluationsformen; • ein- bis zweistündige Tests sind weniger valide als Lernbeobachtungen in verschiedenen Aufgaben über das Schuljahr hinweg; • Messfehler sind auf der individuellen Ebene so hoch, dass genaue Punktwerte nicht verlässlich zu interpretieren sind.

33. Zwischenbilanz II:Evaluation durch Standards und Tests ... kann andere Formen der Rechenschaft sinnvoll ergänzen, aber nicht ersetzen, sonst • kommt es zu einer Funktionsüberlastung mit zum Teil widersprüchlichen Anforderungen der verschiedenen Aufgaben; • werden wesentliche Bedürfnisse und Ressourcen unterrichtsnaher Evaluation vernachlässigt; • sind negative Nebenwirkungen zu befürchten, die den erhofften Ertrag konterkarieren.

34. Was ist zu tun? • Statt eines Paradigmenwechsels von der Input- zur Output-Steuerung brauchen wir eine Umorientierung der Qualitätssicherung • mit einer Balance von der Produkt- zur Prozessevaluation.  Erziehung ist mehr als Training. Die langfristigen Wirkungen von Unterricht hängen von der Qualität der Aktivitäten und Interaktionen ab.

35. Resümee Das Output-Modell ist zu einfach und zu mechanistisch – auf allen Ebenen pädagogischen Handelns: • individuelle Entwicklung lässt sich nicht planen als klein- und gleichschrittige Addition von Kenntnissen und Fertigkeiten; • Unterricht kann SchülerInnen anregen, herausfordern und unterstützen – aber nicht „lernen machen“: es gibt keine direkte Kausalität zwischen Lehren und Lernen; • Bildungspolitik und –verwaltung kann die Qualität von Schulen nicht entwickeln, indem sie erwartete Ergebnisse vorschreibt und kontrolliert.

36. Danke für Ihre Aufmerksamkeit! Ausführlicher ist meine Argumentation entfaltet in: Brügelmann, H. (i. D.): Schule verstehen – Forschungsbefunde zu Kontroversen über Erziehung und Unterricht. Libelle: CH-Lengwil (erscheint im Sommer 2005).Kap. 49-51 Brügelmann, H. (2004): International tests and comparisons in education performance: A pedagogical perspective on standards, core curricula, and the quality of schooling in the German education system. www.uni-siegen.de/~agprim/printbrue.htm