Technology Based Assessment Marc Rittberger

1. Technology Based AssessmentMarc Rittberger DIPF Frankfurt am Main60486 Frankfurt am Main DIPF Berlin10243 Berlin

2. Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

3. Selbstverständnis: Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für Bildungsinformation zum Gelingen von Bildung, indem das DIPF Wissen über Bildung generiert Wissen über Bildung geordnet und strukturiert Wissen über Bildung aus historischer Perspektive betrachtet Kompetenz- und Kommunikationszentrum im Bildungswesen Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten

4. 260 Beschäftigte 18 Professuren (davon 5 Juniorprofessuren, 3 Emeritus) > 100 Semesterwochenstunden Lehre ~ 50 DoktorandInnen > 22 Millionen Gesamtbudget >11 Millionen Drittmittel DIPF 2010

5. Bildungsforschung Bildung und Entwicklung Lehr-Lern-Prozesse und kognitive Funktionen im Alter Bildungsqualität und Evaluation Schul- und Unterrichtsqualität sowie Kompetenzdiagnostik Steuerung und Finanzierung Indikatorenforschung, Bildungsrecht und Steuerungskonzepte im Schulwesen PISA 09, PISA 12, PIAAC

6. Bildungsinformation Bibliothek für Bildungsgeschichtliche Forschung 1870 als Deutsches Schulmuseum gegründet Kommunikationszentrum für die historische Bildungsforschung Informationszentrum Bildung: ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB

7. Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

8. Technology Based Assessment Messung von Kompetenzen im Kontext der pädagogisch-psychologischen Diagnostik  kontextspezifische kognitive Leistungsdispositionen Kompetenzmessung zur Steuerung von Bildungssystemen  stärkerer Outputorientierung Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale oder bestimmter Eignungen

9. Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007

11. Technologiebasiertes Testen Äquivalenzproblematik  Mode Effect Studies Geringe Probleme bei Fragebögen Leistungstests problematischer  Problem der flexiblen Handhabung Gleiche technische Voraussetzungen notwendig Testfairness: Vertrautheit mit Technologie Verbesserung der Testgütekriterien: Objektivität durch Standardisierung Reliabilität: Reduzierung der Mess- und Auswertungsfehler Validität: bspw. durch adaptive Verfahren Ökonomisierung der Erhebungen Vielfältigere Testinhalte und –formate Datensicherheit und Persönlichkeitsschutz

12. Assessmentprozess Datenmanagement Data-WarehouseAutomatische Reports Itemerstellung Einfache StimuliKomplexe Stimuli & Interaktion Datenverarbeitung Automatische Berechnungenvon statistischen Kennwerten Itemweiterentwicklung Übersetzung, Kalibrierung Datenaufbereitung Automatische Codierung Item Banking Metadaten-ManagementTest Zusammenstellung Testung Testsicherheit,Integration von Tests, Verzweigung, Adaptation,Dataspeicherung, Feedback Personen Management Sampling Prozeduren

13. Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

14. PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik • Suche nach einer bestimmten Information: Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt? Und um was genau wird es dann gehen? 14

15. Elektronisches Lesen: Konzeption und Logik • Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte: • Selbsttätige Textstrukturierung • Informationsintegration • Medium-spezifische Lesestrategien, z.B.: • Identifikation der Textsorte • Identifikation der Textstruktur • Identifikation von Glauwürdigkeitsindikatoren 15

16. Elektronisches Lesen: Konzeption und Logik • Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte bezogen auf das Reading Literacy Framework: 16

17. Elektronisches Lesen: Konzeption und Logik • Testkonzeption: • Abdeckung eines breiten Spektrums von Aufgaben – Beispiele: • Finden von Informationen auf Webseiten (Informationen ermitteln) • Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B. einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren) • Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der Glaubwürdigkeit von Websites (Reflektieren und Bewerten) 17

18. Elektronisches Lesen: Konzeption und Logik • Testkonzeption: • Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen: Navigation Lesen 18

19. Beispiel: Testeinheit "Café der Philosophen" • Aufgabe 1: "Du bist auf der • Startseite des Cafés der • Philosophen. Klicke auf den Link für • Konfuzius. Was meinte • Konfuzius mit 'Ren' "? • Frieden und Wohlstand • Leben in Chaos und Krieg • Das Verhalten der Herrscher • Menschlichkeit anderen gegenüber • Leben in Harmonie 19

20. Beispiel: Testeinheit "Café der Philosophen" • Aufgabe 2: "Welche der folgenden • Vorstellungen fasst die Lehre von • Zenon zusammen"? • Ein langes Leben führt zum Glück • Logische Vernunft führt zum Glück • Deinen Gefühlen folgen führt zum Glück • Glück führt zur Tugend 20

21. Beispiel: Testeinheit "Café der Philosophen" • Aufgabe 3: "Was sehen sowohl Zenon • Als auch Bentham den verfügbaren • Informationen zufolge als ein • zentrales Thema an?" • Wählen zwischen widersprüchlichen Anforderungen • Entwickeln von Gesetzen über Männer und Frauen • Streben nach individuellem Glück • Verstehen anderer Menschen 21

22. Technologische Herausforderungender ERA-Implementierung Entwicklung der ERA-Skala: • Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren • Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von Items durch “Lese”-Experten • Softwareunterstützung der Itemübersetzung • Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung Lösungen: • Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing) • Model Driven Architecture - Ansatz in und mit Eclipse • Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-Tools • Reine Web-Plattform (PHP und Flash), weltweit zugreifbar 22

23. Technologische Herausforderungender ERA-Implementierung Auslieferung der ERA-Skala: • In über 20 Länder mit unterschiedlichen Sprachversionen • Entsprechend “Lokalisierung” von Text und Texteingabe • Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und innerhalb von Ländern) Lösungen: • ERA-Boot-CD, baut auf Knoppix auf • Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium • Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch • Boot-System umfasst Client und Server 23

24. Inhalt DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC Fazit

25. PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre) • Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen • Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen • Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene • Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen 25

26. PIAAC: 26 teilnehmende Länder Italy Japan South Korea Netherlands Norway Poland Portugal Russian Fed. Slovak Republic Spain Sweden United Kingdom United States Australia Austria Belgium Canada Czech Republic Chile Denmark Estonia Finland France Germany Hungary Ireland 26

27. PIAAC-Innovationen • Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment) • Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet • Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung 27

28. Erfasste Kompetenzen Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT) Hintergrundvariablen, wie z.B. Bildungsbiographie, Persönlichkeit Non-cognitive ICT/PS in TRE Lesefähigkeiten (Literacy) einschließlich ERA, Rechenfähigkeiten (Numeracy) Core cognitive Basale Lesefähigkeiten, wie z.B. Wortverständnis Components 28

29. Vergleichbarkeit von Messungen Computerbasiert Testen: - Adaptives Testen - New Literacy (www) - Problemlösen (ICT) PIAAC Vorgängerstudien (Papier-basiert) Computer-basiert IALS Vergleichbarkeit über die Zeit Vergleichbarkeit über Administrierungsmodi hinweg Zur Ermittlung von Trends Papier-basiert ALL Für Personen erforderlich, die nicht ICT-literal sind 29

30. Vergleichbarkeit PBA-CBA PIAAC Für den querschnittlichen Vergleich Computer-basiert • Vergleichbarkeit muss erreicht werden in den Bereichen: • Layout • Antwortmodus • - Antwortbewertung • über nationale Anpassungen hinweg Vergleichbarkeit über Administrierungsmodi hinweg Paper-basiert 30

31. Vergleichbarkeit PBA-CBA: Layout • Layout von Literacy-Aufgaben: • Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz • Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout) PBA CBA Layout-anpassungen Erforderlich, z.B. breitere Spalten 31

32. Vergleichbarkeit PBA-CBA: Antwortmodus • Antwortmodus von Literacy-Aufgaben: • PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik) • CBA: Markieren des Textes durch Klicken und Ziehen per Maus PBA CBA Antwortmarkierung 32

33. Vergleichbarkeit PBA-CBA: Antwortbewertung • Antwortbewertung von Literacy-Aufgaben: • PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler • CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 33

34. Vergleichbarkeit PBA-CBA: Nationale Anpassung • Nationale Anpassung der Antwortbewertung: • PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler • CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors PBA CBA Textbereich für richtige Antwort Textbereich für falsche Antwort 34

35. PIAAC – Technische Herausforderungen • Auslieferung als Haushaltsstudie (Laptops) • Parallel laufende Studien, vorhandene Hardware • Maximale Abschottung erforderlich • Lösungen: • Virtuelle Maschine (VM) • VM bootet Linux (Client und Server) • Volle Bildschirmkontrolle durch VM • Einfache externe API zur Anbindung von nationaler Studiensoftware 35

36. Inhalt • DIPF • Technology Based Assessment • Programme for International Student Assessment – PISA • Programme for the International Assessment of Adult Competencies – PIAAC • Fazit

37. Technology Based Assessment • Erste Schritte zur Ablösung von Papierbasierten Tests • Übergangszeit mit verschiedenen Modi • 21st century initiative (Cisco, Intel, Microsoft) • Motoren • International: OECD • National: BMBF

38. Ende – Finito – Einde - Fin – Endrittberger@dipf.de