P dagogische Diagnostik Modul H II - Vorlesung

1. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen P�dagogische Diagnostik Modul H II - Vorlesung Thema 2: Methodenfragen - 2

2. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Inhalte der letzten Sitzung: Daten sammeln � Messen und Skalieren Skalenniveaus ? Informationsgehalt der Messung- Nominalskala- Ordinal- bzw. Rangskala- Intervallskala- Verh�ltnis- bzw. Proportionalskala G�tekriterien ? Qualit�t der Messung- Objektivit�t- Reliabilit�t (Zuverl�ssigkeit)- Validit�t (G�ltigkeit)

3. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Vergleich von Messdaten Normen Verfahren der Datenerhebung Beobachten Befragen Testmethoden

4. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Normen ? Bezugsma�st�be f�r den Vergleich von Messdaten 1) �Bezugsnormen� nach der Vergleichsperspektive (Rheinberg 2001) Soziale Bezugsnorm = Vergleich mit den Ergebnissen der Lerngruppe (Klasse) Individuelle Bezugsnorm= Vergleich mit den fr�heren Lernergebnissen des Individuums Sachliche bzw. kriterielle Bezugsnorm= Vergleich mit gesetzten Lernzielen Problem: fehlende allgemeine (�objektive�) Vergleichskennwerte!

5. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Bezugsnormen (Rheinberg/Krug 2005, S. 41)

6. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen

7. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Allgemeine Normen (mit Vergleichskennwerten): Prozentr�nge Standardnormen F�higkeitsnormen erm�glichen den Vergleich von Einzelwerten mit einer allgemeinen Vergleichsskala

8. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Prozentrang ? markiert die relative Position in einer Gruppe ? gibt an, wie viel Prozent der Sch�ler/innen in einem Test genauso gut oder schlechter abgeschlossen haben!

9. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Umwandlung der Rohwerte in Prozentr�nge: cum f % = 100*cumf / N

10. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Standardnormen empirisches Relativ (Merkmal) normalverteilt H�ufigkeitsverteilung (Fl�chenverteilung) wird auf lineare Skalen bezogen   basiert auf Eigenschaften der Standardnormalverteilung: - symmetrische Kurve  - Fl�che unter der Kurve = 1 (100%) - arithm. Mittel = Median - Standardabweichung: s=1 Aufteilung in gleiche Achsenabschnitte (Intervalle)  (Basis: Standardabweichung)

11. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen

12. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Allgemeiner Schulleistungstest f�r 2. Klassen (AST 2) (Rieder 1991)

13. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Normskalen und Anwendungsvoraussetzungen:

14. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen F�higkeitsnorm? Vergleichsma�stab: Schwierigkeitsgrad von Testaufgaben Annahme (probabilistische Testtheorie): kann eine Person eine Aufgabe mit einem spezifischen Schwierigkeitsgrad l�sen, besitzt sie mit einer gewissen Wahrscheinlichkeit diese F�higkeit in entsprechender Auspr�gung

15. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen

16. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen

17. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 1. Gegenstand P�dagogischer Diagnostik vgl. Pekrun 1988: S.83

18. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Verhaltensbeobachtung ? Vorteile Quelle von Informationen, die auf anderen Wegen nicht gewonnen werden k�nnen kann weitgehend unabh�ngig von der Bereitschaft der beobachteten Person durchgef�hrt werden geringer Einfluss auf die beobachtete Person

19. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Verf�lschungstendenzen durch Selektion Organisation Akzentuierung Fixierung = strukturierende Faktoren menschlicher Wahrnehmung  (Basis: eigene Erfahrungen) Problem: eigene Erfahrungen (!!) notwendige Voraussetzung f�r Verstehen Quelle von Beobachtungsfehlern

20. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Allgemeine diagnostische Fehler Referenzfehler wenn mit unangemessenen Verhaltensmustern verglichen wird(zu streng, zu milde, indifferent) wenn Verhalten falsch interpretiert wird (interkulturelle Differenzen) Zusammenhangsfehler ? wenn unzutreffende Relationen zwischen Merkmalen hergestellt werden, z. B. - Halo-Effekt (Hof-Effekt)- logischer Fehler

21. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen beobachtungsspezifische Fehler wenn die Wahrnehmungskapazit�t �berfordert ist wenn die Beobachtungsgegenst�nde zu unscharf definiert sind wenn B. nicht mit den Beobachtungsgegenst�nden vertraut ist wenn B. nicht mit der Probandengruppe vertraut ist Wissenschaftliche (systematische) Beobachtung ? Versuch Verf�lschungstendenzen zu minimieren und zu kontrollieren

22. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen �naive� Beobachtung ? einfache Wahrnehmung? �ungerichtetes Zuschauen� Funktion: Orientierung in der sozialen Welt (Atteslander 2000) wissenschaftliche (systematische) Beobachtung ? Absicht, Annahmen zu �berpr�fen (Fragestellung)? systematische Selektion bestimmter Aspekte? beabsichtigte Auswertung der erhobenen Daten ? G�tekriterien Funktion: Rekonstruktion sozialer Wirklichkeit (Atteslander 2000)

23. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Unterformen wissenschaftlicher Beobachtungen (Fisseni 2004) unsystematische ? systematische  unstandardisiert ? standardisiert unstrukturiert ? strukturiert unkontrolliert ? kontrolliert teilnehmende ? nicht teilnehmende nach Art der Ergebnisfixierung: mechanisch ? symbolisch nach Beobachtungsausschnitten: Ereignisstichproben ? Zeitstichproben Problem: Stichprobenziehung  ? Bestimmung der Grundgesamtheit!!

24. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Formen der Protokollierung von Beobachtungen (Fa�nacht 1995)? Reduktion von Inferenz Indexsysteme (Zeichensysteme, Merkmalsysteme) ? Vorkommen von Indikatoren Kategoriensysteme ? Vorkommen von Merkmalskategorien Sch�tz- bzw. Ratingskalen  ? Quantifizierung des Auftreten bzw. der Auspr�gung von Merkmalen

25. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Konkretheit ? Abstraktheit von Beschreibungen �Inferenz� ? Wertungs- und Interpretationsprozesse in Beschreibungen  (Schlussfolgerungen = Inferenzen) �niedrig inferent� (konkret, verhaltensnah)  (Bsp.: �Der Gedichtvortrag des Sch�lers enthielt mehrere Versprecher, vier Mal  wurde falsch betont und drei Mal wurde vom Orginaltext abgewichen.�) �hoch inferent� (abstrakt) (Bsp.: �Der Gedichtvortrag des Sch�lers war eher stockend und fehlerhaft.�)

26. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Sch�tz- bzw. Ratingskalen (hochinferent!!)

27. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Sch�tz- bzw. Ratingskalen (niedriginferent)

28. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Sch�tz- bzw. Ratingskalen (niedriginferent)

29. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Minimalprogramm f�r eine objektivierte Beobachtung im schulischen Kontext: Auswahl der Beobachtungsfrage f�r wichtige Beurteilungsauf- gabe, z. B. Abschlussnote: Projektkompetenz Auswahl geeigneter Beobachtungssituationen: z. B. Gruppen- arbeit/ Projektwochen/Exkursion etc. Auswahl und Kategorisierung der Indikatoren:  In welchem Verhalten �u�ert sich �Projektkompetenz�?  Welches Verhalten kann in konkreten Situationen als �projektkompetent� gelten? Festlegung: Welche Personen werden in welchem Zeitabschnitt beobachtet? Wie k�nnen potentielle Beobachtungsfehler vermieden werden? Vorbereitungen zur Protokollierung von Beobachtungsergebnissen

30. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen �berpr�fung der Beobachtungsg�te (Minimalprogramm) ? z. B. Objektivit�t durch parallele Beobachtungen (standardisiert) ? Berechnung des �bereinstimmungsgrades (Inter-Rater-Reliabilit�t)

31. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 1. Gegenstand P�dagogischer Diagnostik vgl. Pekrun 1988: S.83

32. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Befragung ? vorwissenschaftliches ungesteuertes Gespr�ch ? diagnostische Befragung (theoriegeleitet, geplant) �eine Vorgehensweise der Informationssuche, bei der ein Proband durch gezielte Fragen zu Angaben �ber sich und sein Umfeld angeregt werden soll� (Fisseni 2004: 141)

33. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Befragungsmethoden - kategorisiert Merkmale nach m�ndlicher und schriftlicher Erhebungstechnik nach dem Ausma� der Strukturierung nach dem Grad der Standardisierung nach offener und geschlossener Antworttechnik nach Individual- oder Gruppenerhebung nach einmaliger oder mehrfacher Anwendung

34. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen M�ndliche Befragung � Interview Strukturiertheit ? Interviewsituation (Ablauf) wenig strukturiert � teilstrukturiert � stark strukturiert Standardisierung ? Instrument  standardisierte Fragen - nicht standardisierte Fragen Antworttechnik ? Antwortspielraum der Frage offene Antworten - geschlossene Antworten

35. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen

36. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen P�dagogischer Kontext i. d. R. weniger strukturierte Gespr�chsformen ? hohe Anforderung an den Interviewer ? angemessene Vorbereitung wichtig- Informationsinteresse konkretisieren- Reihenfolge der Themen festlegen- situative Bedingungen ber�cksichtigen ? psychologische Reihenfolge tendenziell bedeutsamer als sachlogische- Wechsel der Bezugssysteme einleiten- keine Suggestivfragen ? aufgeschlossene Atmosph�re schaffen- �Eisbrecher�-Fragen- neutrale aber wertsch�tzende Haltung, Zur�ckhaltung respektieren- angepasste Ausdrucksweise, nicht an Themen �festbei�en�

37. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Schriftliche Befragung (Fragebogen) ? Fragebogen wird von Befragten selbst ausgef�llt ? wenig aufw�ndiges Verfahren, um Informationen zu gewinnen ? viele bew�hrte Fragebogen �ffentlich zug�nglich (z. B. Motivation, Interesse, Pr�fungsangst, Selbstkonzept etc.)

38. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen Regeln f�r die Konstruktion von Fragebogen (vgl. Ingenkamp/Lissmann 2005: 102f.) Sprache und Wortschatz der Zielgruppe beachten Informationsniveau der Zielgruppe ber�cksichtigen, Frageinteresse legitimieren, auf Bezugssysteme verweisen vage und unbestimmte Begriffe vermeiden (z. B. durchschnittlich, mittelm��ig etc.) Frage nur auf ein Problem bezogen direkte und gegebenenfalls indirekte Fragen (zu Einstellungen) einsetzen �Zustimmungs- oder Bejahungstendenzen� bei der Formulierung von Fragen ber�cksichtigen evtl. Portalfragen oder �Trichtertechnik� einsetzen, um Antworthemmungen zu verringern

39. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 2. Methodenfragen 3. Testmethoden Testpr�sentation Formen von Testaufgaben Kurzantwortformen Essayformen Performanzaufgaben

40. Dr. Birgit Ziegler, Institut f�r Erziehungswissenschaften, RWTH Aachen SS 2007: H II - P�dagogische Diagnostik � 1. Gegenstand P�dagogischer Diagnostik erg�nzende Literatur: Rheinberg, F. (1980): Leistungsbewertung und Lernmotivation. G�ttingen: Hogrefe Rheinberg, F. (2001): Bezugsnormen und schulische Leistungsbeurteilung. In: Weinert, F. E. (Hrsg.): Leistungsmessung in Schulen. Weinheim: Beltz, S. 59-71 Rheinberg, F.; Krug, S. (2005): Motivationsf�rderung im Schulalltag. 3. korr. Aufl.. G�ttingen: Hogrefe