SAM Self-Assessment-Test Mathematik an der Fakultät für Physik der Universität Wien im WS 2010/11

1. SAMSelf-Assessment-Test Mathematikan der Fakultät für Physik der Universität Wienim WS 2010/11 Franz Embacher Seminar Hochschuldidaktik in der Naturwissenschaft 11. April 2011

2. SAM: Eckdaten • Ziele: • Erhebung mitgebrachter mathematischer Kompetenzen von StudienanfängerInnen • möglichst frühes Feedback an die Studierenden • Wurde durchgeführt zwischen 4. und 15. Oktober 2010 im Rahmen der Block-LV„Einführung in die Physikalischen Rechenmethoden I“ (= „Mathematische Grundlagen für das Physikstudium I“),einer Pflicht-LV für Studierende der StudienrichtungenPhysik BachelorPhysik LehramtMeteorologie Bachelor/Master, die auch von Studierenden der Astronomie besucht wird. • Ergebnisbericht: Jänner 2011 (F.E. und Peter Reisinger, unter Mitarbeit von Hildegard Urban-Woldron und Ingrid Krumphals).

3. SAM: Inhalte • Der SAM enthält 353 Einzelfragen aus 19 für das Physikstudium relevanten mathematischen Themenbereichen: • Zahlen • Terme und Formeln • Elemente dermathematischen Logik • Gleichungen • Gleichungssysteme • Ungleichungen • Funktionen allgemein • Lineare Funktionen • Quadratische Funktionen • Potenz- undWurzelfunktionen Funktionen undFunktionsgraphen allgemein Winkelfunktionen Exponentialfunktionene und e Logarithmus Vektoren Geometrie Differenzieren allgemein Regeln für dasDifferenzieren Integrieren x –x

4. SAM: Inhalte / Punktesystem • Unterabschnitte: entsprechen einigermaßen genau umrissenen Gruppen von Kompetenzen. • Abgefragt wurden • rechentechnische Fertigkeiten und Detailkenntnisse aus dem „Schulstoff“ • konzeptuelles Wissen und Verständnis, das dem „Schulstoff“ entspricht. • Akkordierung der Testfragen im WS 2009/10 unter Lehrenden,die in LVen des ersten Semesters involviert sind.Aus Zeitgründen keine Validierung vor Einsatz. • Sommer 2010: Implementierung als Online-Test(http://www.univie.ac.at/sam-physik/). • Jede Einzelfrage (multiple choice) konnte richtig oder falsch beantwortet werden (1 Punkt / 0 Punkte). • Daneben gab es die Antwortmöglichkeiten „weiß die Antwort nicht“ und „verstehe die Frage nicht“. • Nach Bearbeitung eines Themengebiets: Rückmeldung vom System per eMail (Punktestand).

5. SAM: Durchführung • Die Teilnahme am Test wurde den Studierenden der Physik als verbindlich erklärt. • Resultate flossen aber nicht in die Note der LV ein. • Zusätzlicher Anreiz: bei 17 bearbeiteten Themenbereichen  „Guthaben“ von 15% der erreichbaren Punktezahl bei der LV-Prüfung. • Neben den Antworten auf die Fragen wurde erhoben bzw. ist aufgrund der Authentifizierung (Login) bekannt: • Identität der Studierenden ( Geschlecht) • Vorbildung (Reifeprüfung in welchem Schultyp bzw. Bildungsgang) • Studienrichtung • Geschätzter Zeitaufwand: 5 bis 30 Minuten pro Themenbereich.

6. Die Daten • Nach erster Bereinigung der Daten:Datensätze von 219 Studierenden, die zumindest einen Themenbereich bearbeitet haben. • Davon haben 172 alle 19 Themenbereiche bearbeitet  Auswertung • Die 47 Studierenden, die nicht alle Themenbereiche bearbeitet haben: • 13 Studierende … 18 Themenbereiche • 3 … 17 • 15 … 8 – 16 • 16 … < 8

7. Absolvierte Themenbereiche 225 197

8. Testergebnisse insgesamt Die folgende Auswertung umfasst jene 172 Studierenden,die alle 19 Themenbereichebearbeitet haben. Gesamtverteilung der erreichten Punktezahlen (maximal erreichbar: 353)

9. Testergebnisse insgesamt • Im Mittel wurden 244.1 (von 353) Punkte erreicht[= 69.2% der maximal erreichbaren Punktezahl]. • Maximalwert: 339 Punkte [96.0%]. • Minimalwert: 16 Punkte [4.5%]. • Median: 254 Punkte [72.0%]. • 14.5% der Studierenden erreichten weniger als die Hälfte der maximal möglichen Punktezahl (entspricht einem traditionellen „nicht genügend“). • 9.4% der Studierenden erreichten mehr als 90% der maximal möglichen Punktezahl.

10. Testergebnisse und Geschlecht • Unterschied: nicht signifikantSignifikanz (= p-Wert = Irrtumswahrscheinlichkeit) = 0.15 Effektstärke h = 0.012 • Gruppen:Die Gruppe mit weniger als 50% der maximalen Punktezahl besteht aus13.7 % der weiblichen und 14.9% der männlichen Studierenden. Die Gruppe mit mehr als 90% der maximalen Punktezahl besteht aus3.9% der weiblichen und 12.4% der männlichen Studierenden. 2

11. Testergebnisse und Vorbildung blau: mittlere Punktezahl, rot: Standardabweichung, grau: Gruppengröße (x 10) p = 0.062, h = 0.181 (nicht signifikanter, mittelgroßer Effekt) Aufgrund der großen Streuungen keine signifikante Aussage möglich. 2

12. Testergebnisse und Studienrichtung

13. Testergebnisse und Studienrichtung blau: mittlere Punktezahl, rot: Standardabweichungp = 0.02, h = 0.086 (signifikanter schwacher Effekt) 2

14. Testergebnisse und Studienrichtung • Die Gruppe der Lehramts-Studierenden zerfälltin zwei Teilgruppen (mit/ohne Mathematikals zweites Fach) • Physik Bachelor: 2. Rang!

15. Testergebnisse nach Themenbereichen Verteilung innerhalb der Themenbereiche  Ergebnisbericht

16. Testergebnisse nach Themenbereichen Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl

17. Testergebnisse nach Themenbereichen Analysis und Geometrie(inkl. Vektoren) Spezielle Funktionen undihre Eigenschaften(wenig mathematisches Orientierungswissen nötig) Algebra und elementareFunktionstypen Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl

18. Einzelfragen mit den schlechtesten Ergebnissen Themenbereich 1: Zahlen/Unterabschnitt 4/Frage 4(0.6% richtige Antworten, absolut: 1):Eine Antwort ist richtig: 6 7 3Antwortmöglichkeiten: 42/3, 18/7, 2/7. = • Weitere Fragen in dieser Hitlist betreffen: • 1/3 – 1/2 • Vorzeichen von e und e für positive x • Ableitung als Grenzwert eines Differenzenquotientenf(x+e) – f(x)f(x+e) + f(x)ee x –x vs. u.ä.

19. Einzelfragen mit den schlechtesten Ergebnissen • Drückt f(x) = 3x + 1 eine direkte/indirekte/keineProportionalität zwischen unabhängiger Variableund Funktionswert aus? • Drückt G(H) = 2/(H + 1) eine direkte/indirekte/keineProportionalität zwischen unabhängiger Variableund Funktionswert aus? • Die Menge aller (x, y, z), die y = 2x + 1 erfüllen, isteine Kugel, eine Ebene, eine Gerade.

20. Empfehlungen an die Fakultät • In den LVen der mathematischen Grundausbildung Analysis, Geometrie und Vektorrechnungausführlicher behandeln als derzeit vorgesehen. • Angleichung der stark variierenden Kompetenzen (Lernformen, die die Studierenden verstärkt aktivieren). • Standardisierung der für ein Physikstudium nötigen mathematischen Kenntnisse und Kompetenzen, inklusive der in der mathematischen Grundausbildung gelehrten (für Lehrende – zur Planung der LVen –und für Studierende – zum Nachlernen) Online-Angebot als „Referenz“ und „Skriptum“ gleichzeitig?

21. Empfehlungen an die Fakultät • Zukünftige Einsätze des SAM: • Kürzen, aber nicht allzu radikal.(Kompetenzen, die heute fast immer gemeinsam vorhanden oder nicht vorhanden sind, könnten in Zukunft auseinandertreten!) • Einige problematische Fragen ändern (z.B. muss in einer Frage erkannt werden, dass ein Kreis eine Ellipse ist). • Koppeln mit Erhebung des Lernfortschritts. • Untersuchung, inwieweit wirken sich anfängliche mathematische Kompetenzlücken auf den späteren Studienerfolg auswirken. • Längerfristiges Monitoring: • Frühzeitig Trends im Mathematikunterricht (Zentralmatura,…) erkennen/abfangen.

22. Danke... ... für eure/Ihre Aufmerksamkeit! Diese Präsentationund den ausführlichen Ergebnisberichtgibt‘s im Web unter http://homepage.univie.ac.at/franz.embacher/PhysikDidaktik/