440 likes | 804 Views
Universität Flensburg – Institut für Schulpädagogik – Dr. Hans Toman Seminar S06B: Bildung in Deutschland – PISA : Ergebnisse und öffentlicher Diskurs. Thema 7: Vorläufer von PISA: IGLU- & TIMS-Studie. Philipp Hauptmann Johannes Nikolei Gunnar Petersen. 8. Mai 2007.
E N D
Universität Flensburg – Institut für Schulpädagogik – Dr. Hans Toman Seminar S06B: Bildung in Deutschland – PISA : Ergebnisse und öffentlicher Diskurs Thema 7:Vorläufer von PISA: IGLU- & TIMS-Studie Philipp Hauptmann Johannes Nikolei Gunnar Petersen 8. Mai 2007
Einführung Schulvergleichsstudien Überblick Konstruktion & Durchführung Kritische Betrachtung Beispiel 1: TIMS - Studie Ansatz Aufbau Ergebnisse Beispiel 2: IGLU - Studie Ansatz Aufbau Ergebnisse Diskussion Gliederung
Die wichtigsten Studien vor PISA2000 in Deutschland1 __________________________________________________________________________ 1 WEINERT (2002), S. 14 ff.
Fächerschwerpunkte: 7x Mathematik 7x Deutsch 3x Naturwissenschaften 3x allg. geistige Entwicklung 3x Sozialverhalten i.w.S. 2x fächerübergreif. Kompetenzen 2x Englisch öffentliche Beachtung / Konsequenzen: Bis auf TIMS- & IGLU- Studie „fast nur“ Diskussionsgrundlage für (Experten-) Kommissionen. Kurzanalyse der Studien • Weiteres: • „Boom“ an Studien ab den 1990ern • der Großteil waren „nur“ einmalige Studien • viele Studien waren auf ein Bundesland beschränkt
Weshalb werden Vergleichsstudien durchgeführt? • Zustand des Bildungssystems eines Landes feststellen (Qualitätskontrolle / effiziente Mittelverwendung) • Informationen für die Weiterentwicklung des Bildungs-systems auf allen Ebenen erhalten (Qualitätsmanagement) • signifikante Zusammenhänge zwischen Schulleistungen und individuellen Schülermerkmalen aufdecken Vergleichsstudien haben ihre Berechtigung
Ablauf einer Vergleichsstudie (1) • Vorüberlegungen (Anforderungen an den Test): • Umfang der Studie? (Vollerhebung vs. repräsent. Stichprobe) • Wer soll getestet werden? (ein Schuljahrgang vs. ein Alter) • Was soll getestet werden? (ein oder mehrere Fächer, fächerübergreifend, Sozialverhalten ...) • Welche Zusammenhänge werden vermutet? • Konstruktion des Tests: • Aufstellen der Fragenkataloge unter Beachtung obiger und allgemeiner statistischer Anforderungen: • Reliabilität: Ein wiederholter Test soll das gleiche Ergebnis liefern. • Validität: Das Richtige soll gemessen werden (insb. nicht: Testangst). • Normierung: Für Einschätzung muss ein Standard definiert werden (frühere Leistungen, sachliches Kriterium). • Welche individuellen Schüler- und Schulmerkmale sind für die Ziele der Studie relevant?
Ablauf einer Vergleichsstudie (2) Hat der Pre-Test keine gravierenden konstruktive Mängel aufgedeckt, folgen: • Durchführung des Test: • für reguläre Testbedingungen / Objektivität sorgen, am besten die Lehrperson nicht beteiligen • Motivation für gewissenhafte Teilnahme erreichen • Auswertung der ausgefüllten Tests: • wird gewöhnlich von speziellen Instituten ausgeführt • Aufbereitung der Datenflut in leicht zu interpretierende Variablen (dabei gehen Detailinformationen verloren!) • Interpretation der Ergebnisse (& MEHR?): • Schlussfolgerungen und Empfehlungen durch Experten • gegebenenfalls Umsetzung durch Schulbehörden / Schulen
Fragenentwicklung • Aufstellen einer Lehrzielmatrix: Themenauswahl und Lehrzieltaxonomie • verschiedene Fragenformate: • gebundene Aufgabenformen • freie Aufgabenformen
Nutzen von Vergleichsstudien • Beurteilung öffentlicher Einrichtungen durch Externe • Tests decken statistisch signifikante Zusammenhänge zwischen Leistungen und individuellen Merkmalen von Schülern auf (Statistik liefert keine Ursachen Interpretation) • standardisierte Tests sind weniger fehleranfällig als Lehrerurteile (klasseninternes Bezugssystem; Erwartungen) • Unterschiede zwischen den Ländern werden aufgedeckt • bei den Testleistungen • bei den individuellen Daten • Ländervergleich kann Hinweise auf empfehlenswerte Änderungen im Schulsystem liefern
Kritische Betrachtung von Tests (1) • Allgemein (Ländervergleiche unberücksichtigt): • Sind die zu prüfenden Kompetenzen unstrittig? • Wurden die überprüften Lehrplaninhalte im Unterricht behandelt oder andere Schwerpunkte gesetzt? • Konstrukt-Validität: Wird das Gewünschte gemessen? • Lern-Ausgangslagen werden fast nie berücksichtigt. • Bei Stichproben: Risiko der fehlerhaften Auswahl • Interpretation der statistischen Ergebnisse durch (objektive? / subjektive?) Menschen • Wessen Leistungen oder Verfehlungen sind es? (Gesellschaft!?!) • Gefahr von Pauschalierungen und Lobbyarbeit
Kritische Betrachtung von Tests (2) • Bei Ländervergleichen: • Auswahl der Testgruppen vergleichbar? • Rahmenbedingungen gleich? (z.B. Einschulungsalter, Mindestschulzeit, Beginn 1. Fremdsprache …) • curriculare Validität gegeben? • Haben Schüler einzelner Länder Nachteile, weil ihnen die Methode der Frageformulierung unbekannt ist? • Überbewertung der Unterschiede in den errechneten Leistungszahlen (Varianz oftmals nicht angegeben)
TIMS - Studie Quelle (Hauptseite TIMSS & PIRLS International Study Center : www.timss.org
Einführung in die TIMS - Studie • TIMSS = Third International Mathematics and Science Study seit TIMSS 2003 ,,Trends in Mathematics and Science Study” • international vergleichende Schulleistungsuntersuchung • Gesamtleitung IEA, Amsterdam IEA = International Association for the Evaluation of Educational Achievement • Deutsche Beteiligung: Max-Planck-Institut für Bildungsforschung (MPIB) Inst. für die Pädagogik der Naturwissenschaften an der Universität Kiel (IPN) Humboldt-Universität zu Berlin (HUB)
TIMS - Studie zyklisch angelegte Studie Erste Studie 1994/95 dann 1999, 2003 und 2007 Mit TIMSS werden die Mathematik- und Naturwissenschaftsleistungen zum ersten Mal gleichzeitig untersucht Vorgänger - Studien: erste und zweite Mathematikstudie (FIMS,SIMS)1 1964 bzw. 1980 bis 1982 durchgeführt erste und zweite Naturwissenschaftsstudie (FISS,SISS)2 1970 – 1971 und 1983 – 1984 ---------------------------------------------------------------------------------------------------------------------------------------------------------- 1 (FIMS,SIMS) First and Second International Mathematics Study 2 (FISS,SISS) First and Second International Science Study Einführung in die TIMS - Studie
Generelle Rahmenkonzeption von TIMSS • Intendiertes Curriculum Gesellschaftliches Umfeld • Potentielles Curriculum Lehrbuchanalysen • Implementiertes Curriculum Schul- und Fachleiterfragebogen • Erreichtes Curriculum Schriftlicher Leistungstest u. Schülerfragebogen
TIMS - Studie Welche Untersuchungspopulationen wurden in TIMSS getestet? • 3 Altersgruppen: TIMSS/Population I: Grundschule TIMSS/Population II: Sekundarstufe I TIMSS/Population III: Sekundarstufe II • Deutsche Stichprobe: TIMSS/II : 7.000 Schüler der 7./8. Klassen TIMSS/III : - 3928 Schüler der gymnasialen Oberstufe - 1417 Schüler in beruflichen Bildungsgängen - insgesamt aus 152 Schulen } Deutsche Beteiligung
TIMS - Studie zu Fachleistungen • Zu TIMSS/II : Population II 7./8. Klasse • Mathematik • Naturw. Grundbildung (Phys., Chem., Bio.) • Zu TIMSS/III : Population III 12./13. Klasse • Voruniversitäre Physik • Voruniversitäre Mathematik • Mathematisch- naturwissenschaftliche Grundbildung
Gesamtergebnisse • TIMSS/II • Leistungen liegen in einem breiten Mittelfeld • Leistungsvorsprung von einem Schuljahr bei den meisten nord-, ost- u. westeuropäischen Ländern • Der Leistungsfortschritt in den math.- nat. Fächern von Klasse 7-8 ist gering • Leistungsstreuung innerhalb derselben Schulform • Grundschulniveau 20% der Schüler d. 8. Jahrgangs • Deutliche Unterschiede zwischen den Schulformen
Gesamtergebnisse • TIMSS/III • mathem. naturw. Grundbildung liegt im unteren Bereich • Dt. leistungsstarke Schüler kein Bestehen im intern. Vergleich • In der internationalen Spitzengruppe sind die deutschen Schüler nicht vertreten • Gute Ergebnisse bei Routine-Aufgaben • Schlechte Ergebnisse bei Aufgaben, die • das selbstständige Anwenden von Gelerntem, • die Übertragung in neue Kontexte oder • ein flexibles Umstrukturieren von Problemkonstellationen erfordern.
Generelles • IGLU/PIRLS 2001 und 2006 • IGLU-E • Testbereiche • Lesekompetenz • Mathematik • Naturwissenschaften • Fragebögen
Wer wurde getestet? • 2001 : IGLU/ PIRLS 35 Staaten • IGLU-E: 16 bzw. 12 Bundesländer • 2006 : 42 Staaten • IGLU-E: alle 16 Bundesländer • 147.000 Schüler der 4.ten Schulklasse im Alter 9-10 Jahren • IGLU-E 10.571 Schüler in 246 Schulen
Teilnehmerstaaten Es fehlen Niedersachsen, Sachsen-Anhalt, Brandenburg sowie Mecklenburg-Vorpommern
Testbereiche Lesekompetenzen • Lesen • Schreiben • Orthographie Mathematischen Fähigkeiten • Arithmetik • Geometrie • Sachrechnen Naturwissenschaftliche Fähigkeiten • Fachliche Kompetenzen • Fachübergreifende Kompetenzen • Verständnisebene Fragebögen - Schulleiter - Lehrer - Eltern - Schüler
Es fällt auf, dass… • Deutschland insgesamt im vorderen Drittel • Lesekompetenz • Risikogruppe 10% - Spitzengruppe 18% • Mathematische Fähigkeiten • Mittelmaß • Naturwissenschaften • Insgesamt sehr positiv und ausbaufähig • Ausgeglichenes Verhältnis Jungen und Mädchen • Sowie keine große Diskrepanz zwischen den schwächsten und stärksten Schülern • Jeder Zweite erhält eine falsche Übergangsempfehlung
Diskussionsrunde Gute Testergebnisse: Leistungen der Schule, der Lehrer oder der Schüler? „Internationale Vergleiche haben kaum Aussagekraft, weil die Voraussetzungen zu verschieden sind.“ (eine Mutter) „Die Schulen leisten in Deutschland gute Arbeit – jedoch ist die Unterstützung der Eltern zu gering.“ (ein Lehrer) Gute Testergebnisse: Nur möglich bei TOP-Schulausstattung ? „Das schlechte Abschneiden liegt an der Jugend selbst, lies Dir doch mal Chats durch. Allerdings ist die Ablenkung heute auch sehr groß.“ (ein Sportler) Sind Schulvergleichsstudien in der Sekundarstufe I sinnvoll ? (div. Schulformen; Pubertät …)
Quellen • http://www.fb12.uni-dortmund.de/institute/ifs/index.php?module=Pagesetter&type=file&func=get&tid=2&fid=download&pid=16 • http://www.bildungsqualitaet.lernnetz.de/content/kmk_iglu08042003.php • http://www.bildungsqualitaet.lernnetz.de/docs/iglu_1ste_zusammenfassung.pdf • http://www.gew-bw.de/IGLU.html • http://www.gew-bw.de/Binaries/Binary1727/IGLU-_International_-_Kurzbericht.pdf • http://www.gew-bw.de/Binaries/Binary1726/IGLU_Basisinformation.pdf • http://www.gutschrift-institut.de/i%5CDoRA_erkennt.gif • http://www.spiegel.de/schulspiegel/0,1518,283962,00.html • http://www.spiegel.de/schulspiegel/0,1518,244243,00.html • http://www.spiegel.de/schulspiegel/0,1518,243916,00.html • http://www.wdr.de/themen/kultur/bildung_und_erziehung/iglu_studie/erweitert_040128.jhtml?rubrikenstyle=brennpunkt_schule • http://www.keb-bergstrasse.de/KEB/IGLU/iglu_kurz.pdf • http://www.keb-bergstrasse.de/KEB/IGLU/Seite1.htm • http://www.iatge.de/aktuell/presse/2003/030411.pdf • http://www.iatge.de/aktuell/presse/2003/030411.html • http://openpr.de/news/30945/IGLU-Studie-wir-brauchen-einen-Bildungsplan-fuer-Kinder-von-0-bis-10-Jahren.html • http://www.tagesspiegel.de/politik/index.asp?TextID=56738 • http://www.zeit.de/2004/06/C-Iglu-gro_a7?page=2 • http://www.timss.mpg.de/ • http://de.wikipedia.org/wiki/IGLU-Studie • http://www.iea-dpc.de/Home/Studien/IGLU/body_iglu.html • http://www.iea-dpc.de/Home/Studien/PIRLS/pirls.html • http://www.gesamtschule-hamburg.de/iglu__konzept.htm • http://zeus.zeit.de/text/2003/16/C-Iglu-Dummy • http://www.lpb-bw.de/aktuell/pisa.php • http://gew.de/Binaries/Binary23443/iglu_pirls.pdf
http://www.mpib-berlin.mpg.de/TIMSSII-Germany/index.htm • http://de.wikipedia.org/wiki/TIMSS-Studie • http://did.mat.uni-bayreuth.de/~matthias/timss/ • http://pz.bildung-rp.de/pn/pn2_98/s28-29.htm • http://www.iea-dpc.de/Home/Studien/TIMSS/body_timss.html • Baumert, Jürgen/Bos, Jürgen/Lehmann, Rainer (Hrsg.): TIMSS/III: dritte Internationale Mathematik- und Naturwissenschaftsstudie; mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn, Band 1 mathem. und naturw. Grundbildung am Ende der Pflichtschulzeit, Opladen, 2000 • Bos, Wilfried et al. (Hrsg.): IGLU : Einige Länder der Bundesrepublik Deutschland im nationalen und internationalen Vergleich, Münster 2004 • Bos, Wilfied et al. (Hrsg.): IGLU : Vertiefende Analysen zu Leseverständnis, Rahmenbedingungen und Zusatzstudien, Münster 2005 • Weinert, Franz E. (Hrsg.): Leistungsmessungen in Schulen, Weinheim, Basel, 2002