Webbasierte self-assessments zur Studienberatung Möglichkeiten und Grenzen

1. Webbasierte self-assessments zur StudienberatungMöglichkeiten und Grenzen Diplom-Psychologe Alexander Zimmerhofer Hochschulkurs „Hochschulauswahlverfahren“ – 28.10.2005

2. Zum Auftakt • Studienfachwahl… • (einige Zitate aus Gesprächen mit Schülerinnen und Schülern, • sowie mit Studierenden im ersten Semester) • … ist ein SuchenimHeuhaufen. • … bestimmt die Zukunft. • … basiert auf subjektivenTheorien. • … endet mit HoffenundBangen.

3. Inhaltsverzeichnis • Ausgangspunkt - Probleme der Studienfachwahl • Wassind„self-assessments“? • ein BlickindieZukunft - ein ideales Self-Assessment • ersteSchritte dorthin - derzeitige Projekte • Waskannein„self-assessment“ leisten, was nicht? • freie Diskussion

4. Eine gute Studienfachwahl basiert • auf Zusammenspiel • von Anforderungen • und dem eigenen • Eignungs-undNeigungsprofil…

5. Passung von Person und Studienfach Anforderungen des Studienfaches D Anforderungen des Studienfaches A Anforderungen des Studienfaches C Anforderungen des Studienfaches B Eignung & Neigung

6. … und das Verhältnis zum Studienerfolg Umwelt - Personen - FIT Eignung & Neigung Anforderungen des Studienfaches D Studienerfolg

7. Genau dieser Personen-Umwelt-Fit (oder auch Personen-Job-Fit) sollte die Grundlage für eine Studienfachwahl sein. • Doch wiefunktioniert • die Studienfachwahl wirklich?

8. Zahlreiche Faktorenbeeinflussen (Image des Faches, Studienort, Berufschancen etc.) die endgültige Studienfachwahl, dienichtsmit der Eignung und Neigung für das Fach zutunhaben(Simeaner, Röhl & Bargel, 2001; Stemmler, 2005). • Dennoch wird das Interessefür ein Fach zumindest subjektiv von Erstsemestern als entscheidend gewertet. • Doch: Wissen die Personen überhaupt genug überdie Studiengänge? Simeaner, H., Röhl, T. & Bargel, T. (2004). Studiensituation und Studierende - Datenalmanach - Studierendensurvey 1983 - 2001. Konstanz: Universität Konstanz, Fachbereich Geschichte und Soziologie. Stemmler, G. (2005). Studierendenauswahl durch Hochschulen: Ungewisser Nutzen. Psychologische Rundschau, 56, 125-127.

9. Informationen über die Anforderungen • Weitüber die HälftederStudienanfänger ist nichthinreichend über Studienfach und Hochschule informiert(Lewin et al., 2002). • Die Studienberatung(wenn überhaupt genutzt)bietet direkte Informationen (Hard-Facts) über die Studiengänge(Voraussetzungen, Studieninhalte, Berufsaussichten, Berufsbild), aber…. • Die Übersetzungsarbeit in „Wasmussichdafürleisten?“ und „Kann ich das?“ wird hingegenselten abgenommen. • Zusätzlich ist die Informationsfülle (natürlich auch aufgrund der hohen Anzahl unterschiedlicher Studiengänge) nur schwerzudurchschauen. Lewin, K., Heublein, U., Schreiber, J., Spangenberg, H. & Sommer, D. (2002). Studienanfänger im Wintersemester 2000/2001: Trotz Anfangsschwierigkeiten optimistisch in die Zukunft. Hannover: HIS Hochschul-Informations-System GmbH.

10. StudienwahlenmitgeringemPersonen-Umwelt-Fit führen verstärkt zu • verminderterStudienzufriedenheit, • schwächerenStudienleistungen • und mit höherer Wahrscheinlichkeit zumStudienabbruch • (Brandstätter, Farthofer & Grillich, 2001; Brandstätter, Grillich & Farthofer, 2002; Hell, Trapmann, Weigand, Hirn & Schuler, 2005; Rindermann & Oubaid, 1999). Brandstätter, H., Farthofer, A. & Grillich, L. (2001). Die Stabilität der Studienwahl als Funktion von Interessenkongruenz, Selbstkontrolle und intellektueller Leistungsfähigkeit. Psychologie in Erziehung und Unterricht, 48, 200-218. Brandstätter, H., Grillich, L. & Farthofer, A. (2002). Studienverlauf nach Studienberatung. Zeitschrift für Pädagogische Psychologie, 16 (1), 15-28. Hell, B., Trapmann, S., Weigand, S., Hirn, J.O. & Schuler, H. (2005). Die Validität von Prädiktoren des Studienerfolgs – eine Metaanalyse. Vortrag auf der 4. Tagung der Fachgruppe Arbeits- und Organisationspsychologie der Deutschen Gesellschaft für Psychologie in Bonn. Rindermann, H. & Oubaid, V. (1999). Auswahl von Studienanfängern durch Universitäten - Kriterien, Verfahren und Prognostizierbarkeit des Studienerfolgs. Zeitschrift für Differentielle und Diagnostische Psychologie, 20 (3), 172-191.

11. ZweiDrittelderStudienabbrecher in den ersten beiden Hochschulsemestern gebenGründean, diedurchBeratungund InformationüberEignung und Studiengestaltungbeeinflussbarsind(Wissenschaftsrat, 2004). • Zum Beispiel: • unzureichende Informationen über Studieninhalte („Ich wusste nicht, dass soviel Mathe im Maschinenbau gefordert ist.“) • unzureichende Informationen über sich selbst („Ich wusste nicht, dass mir so viel wichtiger Schulstoff in der Mathematik fehlt.“) • unzureichendes Matching („Ich wusste nicht, dass ich die Anforderungen im Bereich der Mathematik leider nicht erfüllen kann!“) Wissenschaftsrat (2004). Empfehlungen zur Reform des Hochschulzugangs [On-line]. Verfügbar unter: http://www.wissenschaftsrat.de/texte/5920-04.pdf [18. April 2004].

12. Was sind „self-assessments“ • und • können diese helfen?

13. Was sind Self-Assessments? • Google hat 4,6 Millionen Seiten mit dem Schlagwort „self-assessment“ indiziert • Unterschiedlichste Treffer • „If I drink alcohol, how much is too much?“ • „Am I an entrepreneur?“ • „The love test“ • Die Übersetzung aus dem Englischen… • Selbst (self) + Beurteilung (assessment) • unterstützt die Selbst-Beurteilung • allerdings auch: Basiert auf einer Selbst-Beurteilung (Teilnehmer beschreibt sich selbst)

14. Was sind Self-Assessments? • Instrumentarium (psychometrische Testverfahren), das eigenständigdurchgeführt wird (self-directed), teilweise auch selbstausgewertet wird • Baustein zur Unterstützung einer willentlichen und wohlüberlegten Entscheidung (z.B. für die Studienfachwahl) • Die Teilnahme ist freiwillig. • Die Nicht-Teilnahme hat keine - über den Wegfall des Nutzens hinausgehenden - negativenKonsequenzen. • Eine allgemein verständliche Rückmeldung ist integralerBestandteil des Systems. • Die Rückmeldungen stehen zur persönlichen Weiterentwicklung zur Verfügung und sind für Dritte (z.B. Arbeitgeber oder Hochschule) nicht bzw. nur anonymisiert oder auf Initiative des Ratsuchenden zugänglich. Zimmerhofer, A. & Hornke, L. F. (2005). Konzeption einer webbasierten Studienberatung für Interessierte der Studienfächer Informatik, Elektrotechnik und Technische Informatik. In K. Renner, A. Schütz & F. Machilek (Hrsg.), Internet und Persönlichkeit (S. 269-284). Göttingen: Hogrefe.

15. Ein Blick in die Zukunft – das ideale Self-Assessment nationales, fächerübergreifendes self-assessment Portraits der Absolventen … Linksammlung Video- mitschnitte Texte über Studieninhalte Portraits der Studierenden Datenbank der Studiengänge Ingenieur- wissenschaften Sprachen explizite Informationen über Studiengänge Nach dem Self-Assessment „explizite“ Information Naturwissen- schaften Jura …

16. kognitive Fähigkeiten (Intelligenz) Ingenieur- wissenschaften Sprachen nicht-kognitive Fähigkeiten (Persönlichkeit, Motivation, Interesse) Naturwissen- schaften Jura - dieser Bereich kann meist in der Studierendenauswahl nicht abgebildet werden - …

17. Kleine Übersicht derzeitigerProjekte • DerzeitigeProjekte zur Entwicklung von self-assessments (Beispiele) • Universität Hamburg (Psychologie) • http://www.rrz.uni-hamburg.de/pion16/studienberatung/virtuelle_studienberatung.htm • LMU München (Informatik) • http://www.pms.ifi.lmu.de/eignungstest/ • TU Hamburg-Harburg (Ingenieurwissenschaften) • http://selbsttest.tu-harburg.de/?selbsttest=Selbsttest (z.Zt. deaktiviert) • Career Counseling for Teachers (allgemein Lehramt) • http://www.cct-germany.de/ • … und verschiedene Projekte an der RWTH Aachen (techn. Studiengänge) • (die im Folgenden genauer vorgestellt werden)

18. Derzeitige Projekte – Universität Hamburg „Virtuelle Studienberatung“ • Berufswelt • Studienkultur • Englisch • Mathematik • Information • Kommunikation •  Übungen • Forschung • Forschung •  Reflexion •  Feedback • Studienplanung • Warnung • vermittelt sehr anschaulich, was es die Studierenden der Psychologie in Hamburg erwartet… • Themenbereiche sind modular sortiert (z.B. Englisch, Mathe, Studienplanung etc.). • Innerhalb der Module gibt es Informationen, Übungen (inkl. Feedback) und Reflexionen. • Schwerpunkt liegt dabei auf Vermittlung institutionsbezogener Informationen.

19. Derzeitige Projekte – Universität Hamburg II • „virtuelle Reise“ durch das Institut • Videoaufnahmen mit Professoren, Dozenten, Studierenden

20. Derzeitige Projekte – Universität Hamburg III kleinere Aufgabensammlung z.B. Englischaufgaben

21. Derzeitige Projekte – Universität Hamburg IV Auch ein zeitnahes Feedback ist enthalten.

22. Derzeitige RWTH-Projekte – Self-Assessment für Informatik & E-Technik • Ein webbasiertes self-assessmentfürInformatikundElektrotechnik ist seit 2002 in der Entwicklung. • Es istBestandteilderZielvereinbarung der RWTH Aachen mit dem Land NRW aus dem Jahr 2002 • Verbesserung der Studienberatung im Bereich der Informatik • Senkung der Abbrecherquote • Marketingwirkung • http://www.assess.rwth-aachen.de

23. Allgemeiner Entwicklungsablauf • AnforderungsanalyseWas müssen überhaupt Studierende des Faches leisten, um erfolgreich zu sein? • Testkonstruktion • Übersetzungsarbeit der Anforderungs-dimensionen in Testaufgaben • TestoptimierungenTestverkürzungen etc. • Normierung • ValidierungKlappt die Vorhersage? nach Misserfolgen am Ball bleiben Handlungsorientierung nach Misserfolg 10 % der bisherigen Teilnehmer sind…

24. Derzeitige Projekte – Self-Assessment für Informatik & E-Technik kognitiv nicht kognitiv mathematische Fähigkeiten 11 Items Fähigkeit zum logischen Schlussfolgern 11 Items Interesse 60 Items Selbst- wirksamkeit 10 Items Matrizentest 11 Items extrinsische Lernmotivation 10 Items Handlungs- kontrolle 30 Items

25. Beispiele Logik Aufgaben aus dem kognitiven Bereich der Testbatterie

26. Beispiele Matrizen Ebenfalls aus dem kognitiven Testbereich: hier Regeln finden und Regeln anwenden

27. Beispiel Handlungskontrolle Nicht-kognitiver Bereich zum Lern- und Leistungsverhalten

28. Komponenten des Feedbacks • Was bietet das Feedback ? • Erklärungen zum Aufbau des Self-Assessments • Anzahl der richtigen Antworten • Vergleich der Ergebnisse mit Normgruppe (wie haben andere Teilnehmer abgeschnitten?) • verbale Einschätzung • Erklärung von ausgewählten idealen Lösungswegen • grafische Aufbereitung der Ergebnisse • Verweise auf weitere Internetseiten (Fachstudienberater, Dokumente der Fachschaft etc.) • Schwerpunkt: Informationen über das Individuum, nur indirekt über die Institution

29. Ausschnitte Feedback I verbale Einführung in die etwa 10-seitige Rückmeldung

30. Ausschnitte Feedback II grafische Aufbereitung der Ergebnisse

31. Ausschnitte Feedback III Linksammlung

32. Akzeptanz • Zugriffszahlen 2004 • 65.000 Besucher • 3.371 komplette Beratungsleistungen • Eine Analyse der Akzeptanz ergab eine gute Gesamtbewertung (71,8%). • 49,7% der Personen haben ihrer Meinung nach durch das Beratungssystem wesentlichmehrInformationenfürdie Studienentscheidungerhalten. • Mehr als zweiDrittelderPersonenplanen, das Beratungssystem Freundenweiterzuempfehlen.

33. Kriteriumsvalidität • VerbesserungderVorhersage durch kognitive und nicht-kognitive Testverfahren • Verbesserung auch über die Abiturnote hinaus • VorhersagedurchAbitur alleinewenigertreffgenau als die der Testbatterie Multiples R (Korrelation Prädiktoren - Kriterium) + Kognitiv + Nicht- Kognitiv Abitur Zimmerhofer, A. & Hornke, L. F. (2005). Kriteriumsvalidierung eines webbasierten Studienberatungssystems für Informatik und Elektrotechnik. Beitrag zur 8. Arbeitstagung der Fachgruppe für Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik an der Philipps-Universität Marburg am 26. September 2005.

34. Ausblick Self-Assessment • Umstellung auf eine neuetechnischePlattform, die einem Content-Management-System ähnelt (bequemer, leichter anpassbar, flexibler) • Neuentwicklung eines self-assessmentsfürinternationaleStudieninteressierte für den DAAD / TU9 • umfassende Anforderungsanalyse an den TU9-Hochschulen per Workshops & Fragebogen • englische und deutsche Testversionen, modifizierbar / erweiterbar durch die einzelnen Fachbereiche der TU9 • besondere Berücksichtigung der Fairness der Testverfahren

35. Möglichkeiten • self-assessments tragen dazu bei, sich mehr mit den eigenenNeigungen und Eignungenauseinander zu setzen. • Sie sollen Unentschlossenen Informationen über die eigene Passung liefern. • Self-assessments lassen Unterschiede der Studienfächer gut aufbereitet darbieten und die differentielleEignung herausarbeiten. • Sie bieten SelbstselektionanstellevonFremdselektion. • Self-assessmentssind – richtig konstruiert – genauso valide wie Auswahlverfahren. Eine Vorhersage von Studienleistungen ist also möglich. • Die Entwicklungs- und Wartungskosten für self-assessments sind im Vergleich zu Auswahlverfahren geringer, da sie nicht jedes Semester erneuert werden müssen.

36. Grenzen • Die endgültige Entscheidungmussdurch die Person selbst getroffenwerden. Sie sollte nicht komplett durch ein Computersystem vorgenommen werden. • Die ÜberlastungbestimmterFächer kann nurbedingtverhindert werden. Somit kann ein Self-Assessment die Studierendenauswahl nicht ersetzen. • Die Steuerungsfunktion (haltensich die Studieninteressiertenan die Empfehlung?) von self-assessments muss erst nachgewiesen werden.

37. Ausblick • Die Studierendenauswahlkannnicht das leisten, wasself-assessmentsleisten und viceversa. • Es muss ein ganzheitlichesKonzept entwickelt werden, Selbst- und Fremdselektion zu vereinbaren. Sinnvoll wäre daher eher eine Platzierung der Studieninteressierten statt eine reine Auswahl! • Ratsam wäre es, ein nationalesSystem zu entwerfen, und nicht an jeder Hochschule viele Fachbereiche an eigenen Systemen arbeiten zu lassen (Ähnliches gilt übrigens auch für Studierendenauswahl).

38. Ende • Vielen Dank für • Ihre Aufmerksamkeit • http://www.assess.rwth-aachen.de • http://www.global-assess.rwth-aachen.de