Student‘s Usage of Multiple Linked Argument Representations in LARGO

1. Student‘s Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon University University of Pittsburgh

2. Übersicht Das ITS LARGO: Lernen juristischer Argumentation durch Analyse & Reflexion Sokratischer Dialoge • Mündliche Verhandlungen vor dem US Supreme Court • Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen • Systemfeedback zu Argumentationsdiagrammen • Evaluation: Wirkung und Interaktionsverhalten Student‘s Usage of Multiple Linked Argument Representations in LARGO

3. Mündliche Gerichtsverhandlungen (US Supreme Court) • Wichtiger Teil des Entscheidungsprozesses • Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist („Test“) • Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) • Basis des „common law“ (USA), aber auch der höheren Instanzen des „civil law“ (Europa) Student‘s Usage of Multiple Linked Argument Representations in LARGO

4. Beispiel Example: Kathy Keeton v. Hustler Magazine (1984) • Fakten: Kathy Keeton verklagte das Hustler Magazine wegen übler Nachrede. Ort der Klage: Bundesstaat New Hampshire. Hustler ist im Staat Ohio registriert und machte in Kalifornien den Großteil seines Umsatzes. Frau Keeton war keine Einwohnerin von New Hampshire und hatte kaum Verbindungen dorthin. Hustler verkaufte in New Hampshire nur ca. 15.000 Magazine pro Monat.New Hampshire war der einzige Bundesstaat, in dem die Klage von Frau Keeton nicht verjährt war. • Frage: War das Gericht in New Hamshire zuständig (personal jurisdiction)? Student‘s Usage of Multiple Linked Argument Representations in LARGO

5. Beispiel: Tests und Hypothesen Test Hypothese Antwort:Analogie Hypothese Antwort: Unterscheidung, Änderung Test Student‘s Usage of Multiple Linked Argument Representations in LARGO

6. Pädagogischer Wert • Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung • Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog • Analyse der Protokolle: • Hilfreich zum Lernen dieser Fähigkeiten • Gelegenheit zur Reflexion • Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe!) Student‘s Usage of Multiple Linked Argument Representations in LARGO

7. A LARGO Argument Diagram LARGOArgumentations- diagramm Palette Student‘s Usage of Multiple Linked Argument Representations in LARGO

8. Interaktion mit Diagrammen -Unterstützung von Reflexion • Zentrale Fragen: • Wie können Diagramme interpretiert werden? • Was macht gute Argumentationsdiagramme aus? • Problem 1: Argumentation ist „ill-defined“: • Kein komplettes, formales Domänenmodell • Verschiedene Ansichten und Repräsentationen möglich • Korrektheitsbegriff schwer zu definieren • Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig • Ansatz in LARGO: Versuch, Charakteristika in Argumentationsdiagrammen zu finden: • Schwächen (Indikatoren möglicher Fehler) • Gelegenheiten zur Reflexion Student‘s Usage of Multiple Linked Argument Representations in LARGO

9. Kontext: Hyperlinks zwischen Graphelementen und Textpassagen im Protokoll. Struktur: Teile des Diagramms, die zu vordefinierten „Argumentationsmustern“ passen. Inhalt: Angemessenheit des Inhalts der Diagrammelemente (Freitexteingaben). Beispiel: Kein “Test”-Element ist zu einer Textpassage verlinkt, die einen zentralen Test enthält. Erkennung: Graphgrammatik. Beispiel: Das Diagramm enthält Hypothesen, die nicht mit Tests oder Fakten verbunden sind.Erkennung: Graphgrammatik. Beispiel: Eine Beschreibung eines Tests ist nicht angemessen. Erkennung: Kollaboratives Filtern Charakteristika in Diagrammen Student‘s Usage of Multiple Linked Argument Representations in LARGO

10. A bewertet die Test-Versionen von B and C, nachdem er seine eigene formuliert hat. Erkennung inhaltlicher Schwächen durch Kollaboratives Filtern Student A Student C Student B Student‘s Usage of Multiple Linked Argument Representations in LARGO

11. Form der Rückmeldungen: Aufforderungen zur Selbsterklärung • Idee: Verwende erkannte Charkteristika als Aufforderung zur Selbsterklärung • Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) • Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs: • Teile, mit denen der Lernende vermutlich Schwierigkeiten hatte • Wichtige Teile, bei denen sich Reflexion besonders lohnt Student‘s Usage of Multiple Linked Argument Representations in LARGO

12. Beispiel für Rückmeldungen Student‘s Usage of Multiple Linked Argument Representations in LARGO

13. Auswahl der Rückmeldungen • Oft viele Charakteristika gleichzeitig diagnostizierbar (>100) • mehrere Regeln (Arten von Charakteristika) • mehrere Passungen pro Regel (gleiche Art, aber in verschiedenen Stellen des Diagramms) • Angebotene Rückmeldungen berücksichtigen Arbeitskontext des Lernenden • Sichtbare Teile des Diagramms und Protokolls • Änderungshistorie am Dokument • Frühere Rückmeldungen • Benutzungsphase (heuristisch bestimmt) • Annahmen für Auswahl der Rückmeldungen: • Hyperlinks Diagramm – Protokoll sinnvoll verwendet • Annähernd lineare Arbeitsweise durch Protokoll Student‘s Usage of Multiple Linked Argument Representations in LARGO

14. Experiment (Herbst 2006) Ziel: Evaluation von LARGO (im Vergleich zu „normaler“ Dokument-Annotation) Primärhypothese (Lerneffekt):Die Verwendung von LARGO führt zu einem besseren Verständnis der Argumentationsmethode mit Tests und Hypothesen. Interaktionshypothese 1: Die Funktion der Hyperlinks zwischen Diagrammen und Text wird korrekt und konsistent genutzt. Interaktionshypothese 2: Die Arbeit mit dem Protokoll erfolgt im Wesentlichen linear vom Anfang bis zum Ende. Teilnehmer:28 Jurastudenten im 1. Semester. Aufgabe: Analyse der Argumentation in Gerichtsprotokollen. Experimentalgruppe: Verwendung von LARGO. Kontrollgruppe: Gleiche Protokolle und allgemeine Hinweise auf Argumentationselemente, aber Verwendung eines einfachen Notiztools (Text & Highlighting, kein Feedback). Ablauf: Im Verlauf von 4 Wochen: 1. (2h): Pre-Test & Einführung in System 2. & 3. (2x2h): Arbeit mit Protokollen Burnham & Burger King (personal jurisdiction) 4. (3h): Post-Test Student‘s Usage of Multiple Linked Argument Representations in LARGO

15. Kontrollgruppe: Notiztool Student‘s Usage of Multiple Linked Argument Representations in LARGO

16. Testergebnis Student‘s Usage of Multiple Linked Argument Representations in LARGO

17. Aufteilung der Probanden nach Ergebnis im LSAT *p< .05 Student‘s Usage of Multiple Linked Argument Representations in LARGO

18. Gruppe: “Low LSAT” Transferfragen: Neuer Fall zu „Argumentationpersonal jurisdiction“ * *p< .05 Student‘s Usage of Multiple Linked Argument Representations in LARGO

19. Post-Hoc Analyse: Klassifikation der Fragen nach Element des Argumentationsmodells. Eine Kategorie: Bewerte Hypothese auf Basis von Test Assume that Mr. Grutman’s proposed test is as follows: …. The following hypotheticals either were or could have been posed in the oral argument. Each of them is followed by four explanations why the hypothetical is or is not problematic for Mr. Grutman’s proposed test. For each hypothetical, please check ALL of the explanations that are plausible. [First hypothetical:] “ what if the plaintiff was totally unknown in the jurisdiction before the magazine was circulated?” • The hypothetical is problematic for Mr. Grutman’s proposed test. The decision rule applies by its terms, but arguably the publisher should not be subject to personal jurisdiction in the state under those circumstances. • The hypothetical is not problematic for Mr. Grutman’s proposed test. … • … • … [Second hypothetical:] … Ergebnis: Studenten der LOW und MED-Experimentalgruppe waren bei diesen Fragen im post-test deutlich besser als die entsprechenden Studenten in der Kontrollgruppe (t(1,17)=2.73, d=1.00, p<.05). Student‘s Usage of Multiple Linked Argument Representations in LARGO

20. Verwendung der Rückmeldungen • LARGO gibt Rückmeldungen auf Nachfrage • Nachfrage im Schnitt 10-mal pro Protokoll (1h). • LOW 12,3 • MED 6,2 • HIGH 17,9 • Nachfrage nahm nicht mit der Zeit ab: • 7,3 und 9,8 in den ersten beiden Protokollen • 12,2 und 8,6 bei den letzten beiden • Bei 75% der Nachfragen wählten die Teilnehmer einen der Kurztitel aus, um detailliertes Feedback zu erhalten. • Fazit: Feedback wurde gut angenommen Student‘s Usage of Multiple Linked Argument Representations in LARGO

21. Markup der Protokolle • Interaktionshypothese 1a: Hyperlinks werden korrekt verwendet • 15% der Diagramme wurden zwei Personen zur Bewertung vorgelegt. Frage jeweils: „Ist Hypothese XYZ im Diagramm enthalten?“ • Cohen‘s = 0,8 • Vergleich LARGO – Mensch: = 0,65 • Detailanalyse der 7 Unterschiede: • 2x Hypothese nicht verlinkt • 2x Referenz zu Protokollstelle, in der Hypothese wieder aufgegriffen wird (LARGO testet nur auf Link zum ersten Auftreten) • 2 Fälle, bei denen auch die Menschen unterschiedlicher Meinung waren • 1x zu starke Abkürzung im Text ( Problem der nicht-automatischen Erkennung) • Kein einziger Fall, bei dem Verlinkung klar falsch verwendet wurde. • Schlussfolgerung: Korrekte Verwendung der Hyperlinks. Student‘s Usage of Multiple Linked Argument Representations in LARGO

22. Markup der Protokolle • Interaktionshypothese 1b: Hyperlinks werden konsistent verwendet • Analyse: wie viele der Graphelemente wurden überhaupt mit dem Protokoll verlinkt? • M=.87, SD=.24 • Nicht durch „Bitte verlinken“ Feedback verursacht, aber vermutlich dadurch unterstützt (zu 16% der verlinkten Elemente gab es vorher entsprechendes Feedback). • Schlussfolgerung: Hohe Konsistenz der Verlinkung. Student‘s Usage of Multiple Linked Argument Representations in LARGO

23. Markup der Protokolle • Interaktionshypothese 2: Protokolle werden im wesentlichen von Anfang bis zum Ende durchgearbeitet. • Analyse: Vergleich der Scroll-Aktionen mit Kontrollgruppe • Auch Gesamtzahl an Scrolls ähnlich (p>.7) Student‘s Usage of Multiple Linked Argument Representations in LARGO

24. Markup der Protokolle • Signifikanter Unterschied bei langen Scrolls zurück kann durch entsprechendes Systemfeedback erklärt werden (52 aus 97 vermutlich dadurch begründet). • Schlussfolgerung: lineare Arbeitsweise, nur leichte „Störung“ durch Feedback Student‘s Usage of Multiple Linked Argument Representations in LARGO

25. Zusammenfassung / Ausblick • Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) • Design von LARGO: Beispiele von Experten im Sokratischen Dialog werden verwendet, um „gute Fragen zu stellen“: • System zur Erstellung von graphischen Argumentrepräsentationen • Interaktion mit Diagrammen: Analyse der Diagramme auf verschiedene Charakteristika (Graphgrammatik, kollaboratives Filtern). Feedback als Aufforderungen zur Selbsterklärung. • In einer ersten Studie konnte gezeigt werden, dass LARGO zu Lernerfolgen vor allem bei schwächeren Studenten führt. • Hypothesen zur Systeminteraktion (Graphisches Markup, Umgang mit Protokoll) bestätigt. • Aktuell: • Neue Studie mit 85 Teilnehmern • Vorhersagewert der Diagramme wird analysiert • Detail-Evaluation des Kollaborativen Filterns Student‘s Usage of Multiple Linked Argument Representations in LARGO

26. Projektwebseite:http://www.cs.cmu.edu/~hypoform • Email:niels.pinkwart@tu-clausthal.de • “Hands-On”:Design-Präsentation (nach dieser Session) Student‘s Usage of Multiple Linked Argument Representations in LARGO