Lernmodelle und Experimentelle Untersuchungen

1. Motivation Lernmodelle Tests der Lernmodelle in der Literatur Methodische Aspekte Test: Lernen im Gefangenendilemma Schlussbemerkungen Lernmodelle und Experimentelle Untersuchungen Oktober 2004 Thomas Brenner

2. Wichtigkeit von Lernmodellen: Verhalten ändert sich / Umgebung ändert sich Verständnis für die Dynamik ökonomischen Verhaltens Experimentelle Untersuchung: • Psychologie: keine „guten“ Modelle • Direkte Untersuchung: Verallgemeinerung ? • Test von Lernmodellen: welche Situation ? • Viele Situationen: einheitliches Lernmodell ? Motivation 2

3. Psychologisch: Verstärkungslernen (unbewusstes Lernen) Beobachtungslernen (regelbasiertes Lernen) Kognitives Lernen (verstehendes Lernen) Ökonomisch (modellorientiert): • Erfahrungsorientiertes Lernen • Erwartungsorientiertes Lernen Lernprozesse 3

4. Lernmodelle

5. Einfache Situationen (Markt mit Gleichgewicht): Zufallsverhalten (zero-intelligence) führt bereits zu guter Übereinstimmung mit experimentellen Daten Andere Lernverhalten führen zu ähnlichen Prognosen Wiederholte strategische Interaktionen: • Erwartungsorientiertes Lernen ist besser als erfahrungsorientiertes Lernen • Beides ist in der Regel besser als Gleichgewicht • Realität zwischen beiden Untersuchungen in der Literatur I 5

6. Komplexe Situationen: Genetische Algorithmen weisen einen gewissen Erfolg bei der Übereinstimmung mit Experimenten auf Interpretation von Zeit und Verhalten ist jedoch schwierig Andere Lernprozesse: • Keine Tests zu Bayesian und least-square Lernen • Learning direction theory wird in der Regel bestätigt, macht aber schwache Aussagen Untersuchungen in der Literatur II 6

7. Üblich: Vergleiche von Lernmodellen Eine Situation oder bestimmter Situationstyp Durchschnittliches Verhalten oder Wahrscheinlichkeit wird mit Vorhersage verglichen Erreichtes: • Gewisse Lernprozesse besser für bestimmte Situationen • Genetische Algorithmen oft geeignet • Gründe und klare Klassifikation fehlen Methodische Aspekte I 7

8. Fragen: Gibt es ein einheitliches Lernmodell und ist es sinnvoll ? Populationsebene oder Individuum ? Wettlauf von Modellen oder Klassifikation von Umständen ? Parameteranpassungen ? Beschreibung oder Erklärung ? Methodische Aspekte II 8

9. Spiel: Gefangenendilemma Interaktion: • Feste Paare • 25 wiederholte Interaktionen 9

10. Idee: Erfolgreiche Aktionen werden in der Zukunft häufiger gewählt Erfolglose Aktionen werden in der Zukunft seltener gewählt Verstärkungslernen (Reinforcement learning) Mathematik: • pi(t+1) = pi(t) +  (t) (1-pi(t)) falls (t) > 0 • pi(t+1) = pi(t) +  (t) pi(t) falls (t) < 0 10

11. 1. Ebene: Erwartung I: eigenes Verhalten beeinflusst Gegenüber nicht Kognitives Lernmodell: Erwartungen 2. Ebene: • Erwartung E: Gegenüber kann ausgenutzt werden • Erwartung C: Kooperation kann erreicht werden • Erwartung D: Gegenüber wird immer defektieren 11

12. Entfernung von Erwartungen: Erwartungen verschwinden mit einer bestimmten Wahrscheinlichkeit, falls sie widerlegt werden Kognitives Modell: Dynamik Neue Erwartungen: • Variation: Zufällig entstehen neue Erwartungen • Kommunikation: hier nicht relevant • Notwendigkeit: falls keine Erwartung übrig ist 12

13. Experiment: London 10 Teilnehmer 30 Interaktionen Vollständige Information ExperimentelleDaten Analysierte Daten: • 10 Verhaltenssequenzen von • 25 Runden • mit einem gegebenen Verhalten des Gegenübers 13

14. Modelltest: Jeder Teilnehmer getrennt Monte Carlo Ansatz für Parameter Likelihood der Übereinstimmung Analyse 14

15. Resultate: Likelihood-Werte

16. Zusammenfassung: Verhalten durch Lernen geprägt Individuen verhalten sich unterschiedlich Experimente für Verständnis und Modellierung hilfreich Schlussbemerkungen Ausblick: • Klassifikation von Situationen • Weiterentwicklung von Modellen • Beziehung zwischen Situationen und Modellen 16