Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen

1. Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen „Teaching is Touching the Future – Emphasis on skills.”

2. Die Validität selbsteingeschätzter Kompetenzen Shift from teaching to learning: → Ökonomische und valide Ermittlung erworbener Kompetenzen Spezifische methodische Probleme: • Validität der Instrumente • Angemessene Evaluationseinheit • Geeignete Validierungskriterien Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

3. Die Validität selbsteingeschätzter Kompetenzen Selbsteingeschätzte Kompetenzen: Ökonomische Möglichkeit der Bewertung im Studium erworbener Kompetenzen Mit einer Reihe von Problemen verbunden: • BTA-Heuristik • Wahrgenommene Schwierigkeit der Kompetenz • „Unskilled but unaware“ Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

4. Unskilled but Unaware Mangelnde „Meta-kognitive“ Skills • wenn Menschen eine Kompetenz nicht im hinreichenden Umfang besitzen, • fehlen die meta-kognitiven Fertigkeiten zur Einschätzung eben dieser Kompetenzen • Neigung, sich dann zu gut einzuschätzen Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

5. Unskilled but Unaware (Krueger & Dunnig, 1999) Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

6. Die Validität selbsteingeschätzter Kompetenzen Konsequenzen für die Evaluation: • Systematische Verzerrung der Messungen in Abhängigkeit von dem zu messenden Merkmal • Mittelwerte ungeeignet zum Vergleich von Lehreinheiten Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

7. Evaluationseinheit & Validierungskriterium Evaluationseinheit Lehr/Lerneinheiten, in denen bestimmte Kompetenzen vermittelt werden: z.B. Rhetorikkurs Modul Validierungskriterien Kompetenzmessung Modulnote? Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

8. Methode Modul „Methodenlehre“ 3 Semester • 4 Vorlesungen • 3 Tutorien • 1 Seminar • 1 Praktikum Validierungskriterium Modulnote Seminar „Einführung in die Allgemeine Psychologie“ Einführungskurs 1. Semester Validierungskriterium Klausurergebnis Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

9. Methode Berliner Evaluations Instrument für selbsteingeschätzte studentische Kompetenzen (Braun, Gusy, Leidner, & Hannover, 2008) • Fachkompetenz (6 Items) • Methodenkompetenz (3 Items) • Präsentationskompetenz (2 Items) • Kommunikationskompetenz (5 Items) • Kooperationskompetenz (5 Items) • Personalkompetenz (5 Items) Skala von 0 (= trifft nicht zu) bis 4 (= trifft völlig zu) Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

10. Methode Stichprobe Modul: Kohorte 2010: 56 Studierende im Alter von 20 bis 37 (M = 22.8, w = 50). 52 Prüfungs- anmeldungen, 41 Teilnehmende. Kohorte 2011: 59 Studierende im Alter von 19 bis 42 (M = 22.3, w = 54). 53 Prüfungs- anmeldungen, 25 Teilnehmende. Stichprobe Seminar: 15 Studierende Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

11. Methode Ablauf Modulevaluation: • Evaluation Modul „Methodenlehre“ eine bzw. drei Wochen vor der Prüfung (Code) • Aushändigung eines Bogens mit Code- und Notenabfrage nach Abschluss der Prüfung • Mögliche Noten: 1.0, 1.3, 1.7, 2.0 bis 4.0, 5.0 Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

12. Methoden Ablauf Seminarevaluation: • Evaluation vier Wochen vor Semesterende • Freiwillige Klausur in der letzten Seminarsitzung • 15 Multiple-Choice Fragen zu Konzepten und Grundlagen der Allgemeinen Psychologie • 3 Fragen zu Techniken wissenschaftlichen Arbeitens Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

13. Hypothesen H1: Konvergente und divergente Korrelationen Modulnote Konvergent: Fachkompetenz, Methodenkompetenz, Kommunikationskompetenz, Personalkompetenz Divergent: Präsentationskompetenz, Teamkompetenz H2: „Unskilled but unaware“: Die konvergenten Korrelationen sind höher, wenn weniger kompetente Studierende aus der Berechnung ausgeschlossen werden. H3: Vergleich Modul und Seminar bezüglich Fach-und Methodenkompetenz Die konvergenten Korrelationen fallen im Seminar kleiner aus. Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

14. Ergebnisse Abbildung 1: Verteilung Noten Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

15. Ergebnisse Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

16. Ergebnisse Tabelle 3: Validierung Seminar Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

17. Diskussion Modul Valide Erhebung der Skalen Fach- und Personalkompetenz ABER Kompetenzniveau beeinflusst Validität → Ergebnisse sprechen für „unskilled-unaware“-Hypothese → Selbsteingeschätzte Kompetenzen nicht geeignet für Evaluation Seminar Keine sinnvollen Zusammenhänge zwischen selbst-eingeschätzten Kompetenzen und Klausurergebnissen Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

18. Diskussion Ausblick • Ökonomische Methode der Kompetenzmessung • Modelle des Kompetenzerwerbes und der Kompetenzmessung • Aus Modellen des Kompetenzerwerbes Merkmale von Lehrveranstaltungen und Modulen ableiten, die Kompetenzerwerb fördern • diese Merkmale ermitteln → Kompetenzorientierte Modularisierung Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

19. Diskussion Kritik • Note geeignetes Validierungskriterium? • Keine Kontrolle von möglichen Moderatorvariablen (Interesse, Motivation, usw.) • Kleine Stichprobe Anette Hiemisch Vortrag Mainz, „Teaching istouchingthefuture“

20. Kompetenzorientierung und die Validität selbsteingeschätzter Kompetenzen Vielen Dank für Ihre Aufmerksamkeit

21. Ergebnisse Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

22. Ergebnisse Abbildung 2: Selbsteingeschätzte Kompetenzen in Abhängigkeit von den Noten

23. Ergebnisse Tabelle 1: Deskriptive Statistik