Lernende Systeme Teil 1

1. Lernende SystemeTeil 1 Master of Science in Electrical Engineering Wintersemester 2005/2006 Prof. Dr. E.-G. Haffner

2. Übersicht • Einführung • Psychologische Aspekte • Spieltheorie • Wissensrepräsentation • Symbolische Lernverfahren • Konnektionismus • Zusammenfassung und Ausblick Lernende Systeme - Prof. Dr. E.G. Haffner

3. 1. Einführung • Einleitung • Konzept der Lehrveranstaltung • Wichtige Begriffe • Historische Entwicklung • Klassifikationen • Lernszenario und Definition • Literaturübersicht Lernende Systeme - Prof. Dr. E.G. Haffner

4. Einleitung • Winston ChurchillEs ist ein großer Vorteil im Leben, die Fehler, aus denen man lernen kann, möglichst frühzeitig zu machen. • KonfuziusLernen, ohne zu denken, ist eitel; denken, ohne zu lernen, ist gefährlich. • Georg Berhard ShawDer Nachteil der Intelligenz besteht darin, dass man ununterbrochen dazulernen muss. Lernende Systeme - Prof. Dr. E.G. Haffner

5. Sinn und Zweck • Lernen ist eine der wichtigsten kognitiven Fähigkeiten • Innovative Systeme werden häufig in komplexen Situationen eingesetzt, für die keine ad hoc Lösung bereitsteht • Lernende Systeme können sich über die vorgesehenen Entwicklungsstufen hinaus (eigenständig) verbessern • Auch menschliches Lernen kann besser ver-standen und effektiver angewendet werden Lernende Systeme - Prof. Dr. E.G. Haffner

6. Konzept der Lehrveranstaltung • Erarbeiten des Begriffs „Lernen“ • Betrachtung psychologischer Aspekte • Klassifikation und Analyse von maschinellen Lernmethoden • Symbolische • Konnektionistische (subsymbolische) • Anwendung von 3 beispielhaften Konzepten in der (Labor-)Praxis • Spieleprogrammierung • Case-based-Learning System • Neuronales Netz Lernende Systeme - Prof. Dr. E.G. Haffner

7. Wichtige Begriffe • Inferenz • (automatisierte) Schlussfolgerung • Manipulation/Ergänzung von Informationen • Lernprozess, Anwendung von Ableitungsregeln, Lernregeln • Lerngegenstand / Lernziel / Lernaufgabe • Lernmethoden • Wissensbasis Lernende Systeme - Prof. Dr. E.G. Haffner

8. Grundsatz der KI Aber wie sagen wir der Maschine, was sie tun soll? The analytical engine has no pretensions whatever to originate anything. It can do whatever we know how to order it to perform. Ada Lovelace (1815-1852) Lernende Systeme - Prof. Dr. E.G. Haffner

9. Historische Entwicklung (I) • Subsymbolische Phase • Neuronale Modellierung gemäß Vorbildern in der Natur • Selbstorganisierende Systeme • Evolutionäres Lernen (Mutation etc.) • Symbolische Phase • Wissenserwerb erfordert Wissen • Konzeptlernen • Deduktionssysteme, logische Beweiser Lernende Systeme - Prof. Dr. E.G. Haffner

10. Historische Entwicklung (II) • Wissensintensive Phase • Wissensintensive Lernmodelle • Kombinationen von Lernstrategien • Man beginnt mit bspw. 100 Mio. Fakten • Eigenständiges Gebiet: Maschinelles Lernen • Integrierte Phase • Kombination aus allen Modellen • Erklärungsbasierte und EntscheidungsunterstützendeVerfahren • Ausdehnung auf Robotik, Natürliche Sprache, Planen, Problemlösen, Expertensysteme .... Lernende Systeme - Prof. Dr. E.G. Haffner

11. Klassifikationen (I) • Inferenztyp • Induktive Inferenz, synthetisches Lernen • Deduktive Inferenz, analytisches Lernen • Wissensrepräsentation • Symbolisch • Subsymbolisch, Konnektionistisch • Wissenserhebung • Interview, explizit • Beobachtung, explizit • Indirekt, implizit Lernende Systeme - Prof. Dr. E.G. Haffner

12. Klassifikationen (II) • Inferenzart • Destruktiv, allgemeine Gesetze verfeinern • Konstruktiv, spezielle Gesetze erweitern • Lernstrategie [Umfang der Inferenz] • Mechanisch, Routinelernen [keine] • Durch Instruktion, Unterweisung [gering] • Durch Operationalisierung, neue Operationen, Reihenfolge verändern etc. [unterschiedlich] • Durch Induktion [groß] • Durch Analogie [mittel] • Durch Deduktion [erheblich] Lernende Systeme - Prof. Dr. E.G. Haffner

13. Klassifikationen (III) • Darbietung des Wissens • Als (fertiges) Konzept • Aus Beispielen • Art der Generalisierung • Klasse aus Instanzen ermitteln • Das Ganze aus Einzelteilen ermitteln • Quelle der Beispiele • Labor, Umwelt, Systemimmanent • Art der Beispiele • Nur positive  negative und positive • Darbietung der Beispiele • Inkrementell  einmalig Lernende Systeme - Prof. Dr. E.G. Haffner

14. Klassifikationen (IV) • Lernen als Suchen im Lösungsraum • Suchverfahren • Breadth first search, … • Depth first search, … • Komplexität des Algorithmus • Systematik • Heuristisch • Vollständig Lernende Systeme - Prof. Dr. E.G. Haffner

15. Klassifikationen (V) • Lernen mit Lehrer • Auswendiglernen • Lernen durch Instruktion • Präsentation von Beispielen • Bewertung • Im Detail • Im Ergebnis • Korrektur • Lernen ohne Lehrer • Passives Beobachten • Aktives Experimentieren Lernende Systeme - Prof. Dr. E.G. Haffner

16. Klassifikationen (VI) • Lerzielvorgabe, Erfolgskriterien • Explizit • Konkrete Vorgabe des Lernziels • Vorgabe von Güte- und Qualitätskriterien • Implizit • Versteckt in den Algorithmen • Durch Anordnung von Neuronen u.a. Lernende Systeme - Prof. Dr. E.G. Haffner

17. Das Lernszenario (I) Daten Minimal Lernendes System Vorhersagen Lernende Systeme - Prof. Dr. E.G. Haffner

18. Das Lernszenario (II) Verfeinert Data Integrator Verificator Inference Knowledge Base Hypothesis Generator Lernende Systeme - Prof. Dr. E.G. Haffner

19. Definition • A computer program is said to learn from Experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with E.(Tom Mitchell, Machine Learning) Lernende Systeme - Prof. Dr. E.G. Haffner

20. Beispiele • Experience E • Gewonnene, remisierte, verlorene Spiele (GT) • Korrekt, falsch, irrelevant diagnostizierte Verläufe von Krankheiten (CBL) • Vorstellung zahlreicher Muster mit ihrer jeweilig (korrekten) Klassifikation (NN) • Tasks T • Ausführung erlaubter Züge (GT) • Diagnostizierung von Krankheiten (CBL) • Klassifikation von Mustern (NN) • Performance measure P • Spielerfolg in Prozent, Turniererfolge (Platzierung) (GT) • Prozentsatz korrekter Diagnosen, Recall, Precision (CBL) • Anteil korrekt klassifizierter Muster (NN) Lernende Systeme - Prof. Dr. E.G. Haffner

21. Literaturübersicht • Tom Mitchel, Machine Learning, McGraw Hill, 1997 • Werner Emde, Modellbildung, Wissensrepräsemtatoin im Maschinellen Lernen, Springer-Verlag, 1991 • Hubert Keller, Maschinelle Intelligenz, Vieweg, 2000 • David J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003, 2004 • Zimbardo, Psychologie, Springer-Lehrbuch, 1992 • John Anderson, Kognitive Psychologie, Spektrum Lehrbuch, 2001 • Russel Norvig, Künstliche Intelligenz, Ein moderner Ansatz, Pearson Education, 2004 • Lämmel, Cleve, Künstliche Intelligenz, Fachbuchverlag Leipzig, 2004 • Richter, Prinzipien der Künstlichen Intelligenz, Teubner Stuttgart, 1989 • Elaine Rich, Künstliche Intelligenz, McGraw Hill, 1988 • Dorffner, Konnektionismus, Teubner Stuttgart, 1991 • Brause, Neuronale Netze, Teubner Stuttgart, 1995 • Penrose, Computerdenken, Spektrum Verlag, 1991

22. 2. Psychologische Aspekte • Einleitung und Definition • Was ist Lernen? • Welches sind die Grundannahmen? • Was leistet unser Gehirn? • Klassische Konditionierung • Pawlows Versuche • Paradigmen der Konditionierung • Lernen über Konsequenzen • Thorndikes Theorie • Weitere Ableitungen Lernende Systeme - Prof. Dr. E.G. Haffner

23. Einleitung und Definition (I) • Was ist Lernen? • Lernen ist ein Prozess, der zu relativ stabilen Veränderungen im Verhalten oder im Verhaltenspotenzial führt und auf Erfahrung aufbaut (Zimbardo) • Lernen kann nicht direkt beobachtet werden • Lernen kann nur indirekt über die Beobachtung des Verhaltens geschlossen werden Lernende Systeme - Prof. Dr. E.G. Haffner

24. Einleitung und Definition (II) • Möglichkeit 1: • Neue Fähigkeit, Verbesserung der Leistung bzgl. Fähigkeit • Auto fahren, Rad fahren, schwimmen ... • Leistung schwankt aber sehr stark • Methode: Training • Leistungsplateaus • Übertrainiert • Optimale Stimulationsimpluse Lernende Systeme - Prof. Dr. E.G. Haffner

25. Einleitung und Definition (III) • Möglichkeit 2: • Erwerb von (Fakten-)Wissen, Methodik • Erkenntnisse über Zusammenhänge • „Natürliche“ Erfahrungen • Gravitation (Gegenstände fallen zu Boden) • Beispiel: „Heiße Kochplatte“ • Problem: latentes Wissen steht dem (systemimmanente) Vergessen gegenüber Lernende Systeme - Prof. Dr. E.G. Haffner

26. Einleitung und Definition (IV) • Welches sind die Grundannahmen? • Gesetz der Assoziation • Prinzip des adaptiven Hedonismus Lernende Systeme - Prof. Dr. E.G. Haffner

27. Gesetz der Assoziation • Wir erwerben Wissen, indem wir „Ideen“ verbinden • 2 Ereignisse in zeitlicher/räumlicher Nähe werden „verbunden“, assoziiert • Sigmund Freud: • Freie Assoziation zur Aufdeckung unterbewusster Zwänge / Neurosen • Assoziative Netze / Neuronale Netze • Zur Musterklassifikation • Zum Erwerb von Wissen, Fähigkeiten, etc. Lernende Systeme - Prof. Dr. E.G. Haffner

28. Assoziationen / Analogien Lernende Systeme - Prof. Dr. E.G. Haffner

29. Prinzip des adaptiven Hedonismus • Worin besteht die Motivation des Handelns? • Gewinn von Lust • Vermeidung von Schmerz • Gegenpol • Altruismus, Selbstlosigkeit • Vorteile bei der Überwindung von Egoismus • Kooperatives Handeln, Kooperative Ziele Lernende Systeme - Prof. Dr. E.G. Haffner

30. Leistungen unseres Gehirns • Gesetzmäßigkeiten der visuellen Verarbeitung von Informationen • Beispiele • Folgerungen Lernende Systeme - Prof. Dr. E.G. Haffner

31. Gesetz der Nähe Lernende Systeme - Prof. Dr. E.G. Haffner

32. Gesetz der Ähnlichkeit Lernende Systeme - Prof. Dr. E.G. Haffner

33. Gesetz des glatten Verlaufs Lernende Systeme - Prof. Dr. E.G. Haffner

34. Gesetz der Geschlossenheit Lernende Systeme - Prof. Dr. E.G. Haffner

35. Funktionsweise des Gehirns Lernende Systeme - Prof. Dr. E.G. Haffner

36. Fantasie und Kreativität Lernende Systeme - Prof. Dr. E.G. Haffner

37. Klassische Konditionierung • Pawlows Versuche • Paradigmen der Konditionierung • Funktionsweise des Konditionierens Lernende Systeme - Prof. Dr. E.G. Haffner

38. Pawlows Versuche • Iwan Pawlow, russ.Physiologe (1849-1936) • Stößt bei der Untersuchung von Verdauungs-prozessen (Speichel, Magensekret) zufällig (!) auf ein „merkwürdiges Phänomen“: Sekretion von Hundespeichel beginnt (später: nach Konditionierung) bereits vor Futtereingabe • Jeder Reiz konnte Sekretion auslösen • Pawlow ändert mit 50 Jahren seine Forschungsschwerpunkte • Nobelpreis 1904 Lernende Systeme - Prof. Dr. E.G. Haffner

39. Paradigmen der Konditionierung • Vorgaben & Begriffe • Neutraler (unkonditionierter) Reiz (N), z.B. „Glocke“ • Biologisch signifikanter Reiz (B), z.B. „Futteransicht“ • B ist zugleich auch unkonditionierter Stimulus (US) • B kann unkonditionierten Reflex bewirken (UR), z.B. Speichelfluss (unkonditioniert, da nicht gelernt) • Idee der Konditionierung ( Lernen): • Verknüpfung von N und B • Aus dem Reiz N wird dann ein konditionierter Reiz (CS), aus UR wird ein konditionierter Reflex (CR) • Z.B.: Glocke führt zum Speichelfluss Lernende Systeme - Prof. Dr. E.G. Haffner

40. Funktionsweise des Konditionierens • Erwerb • In dieser Phase wird aus N ein CS • Jeder Konditionierungsdurchgang heißt Trial • Assoziation zwischen US und B • Unabhängige Variablen • Anzahl der Trials • Zeitliche Abstände • Qualität und Intensität der gebotenen Reize N, B • Abhängige Variabeln • Stärke der Reaktion (Amplitude) • Zeit bis zur Reaktion (Latenz) • Wie lange dauert es, bis NCS? (Erwerbsrate) • Wie lange hält CR vor? (Persistenz, Löschrate)

41. Zeitmuster der Konditionierung • Vorwärtsgerichtet (verzögert) VV • CS vor US, Beste Lernrate (1-5 Sekunden Zeitintervall) • Konditionierter Furchterwerb (15 Sekunden und mehr!) • Vorwärtsgerichtet (Gedächtnisspur) VG • CS vor US • CS beendet, bevor US anfängt • Gleichzeitig GZ • Geringerer Lernerfolg • Rückwirkend RW • Geringster Lernerfolg • Wichtig: starker Kontrast von N zur Umgebung Lernende Systeme - Prof. Dr. E.G. Haffner

42. Weitere Ergebnisse • Löschung • Bleibt Kombination von CS und US aus, so tritt (mit zeitl. Verzögerung) eine Löschung ein • Aber nach erneutem Lernen kann eine Spontane Erholung wieder konditionieren • Reizgeneralisierung • Wenn Reiz N konditioniert ist und zu CS geworden ist, können auch ähnliche Reize CR hervorrufen (ähnliche Töne, etc.) • Reizdiskrimination • Trennung zwischen ähnlichen Reizen • Viele negative Beispiele, wenige positive Beispiele Lernende Systeme - Prof. Dr. E.G. Haffner

43. Arten der Konditionierung • Appetitive Reize • Positive Reize • Futter, Streicheln, etc. • ... • Aversive Reize • Negative Reize • Elektroschocks, Luftstöße • ... • Achtung: Aversive Reize führen zu generalisierten Furchtreaktionen, d.h. sie führen auch bei neutralen (neuen) Reizen zu Reaktionen! Lernende Systeme - Prof. Dr. E.G. Haffner

44. Ausflug: Immunsystem • Bei Versuchen an Ratten mit einer süßen Saccharinlösung (CS) und einem Brechmittel (US), (aversive Konditionierung) sterben Ratten während der Löschungsdurchgänge, obwohl US nicht tödlich war, wie kann das sein? • Nebenwirkung von US: Schwächung des Immunsystems • Problem: Ratten hatten die Schwächung des Immunsystems konditioniert • Folgerung: Die Immunsysteme von Lebewesen unterliegen auch lernbaren Vorgängen! Lernende Systeme - Prof. Dr. E.G. Haffner

45. Lernen über Konsequenzen • Unterschiedliches Verhalten führt zu unterschiedlichen Reaktionen • Das Verhalten nimmt die Rolle des Reizes an • Die Reaktion (der Umwelt etc.) nimmt die Rolle des Reflexes an • Lernen heißt hier: bestimmte Verhaltensmuster mit bestimmten Reaktionen in Verbindung zu bringen Lernende Systeme - Prof. Dr. E.G. Haffner

46. Thorndikes Theorie(Edward Thorndike, 1874-1949) • Thorndikes Gesetz des Effektes • Entscheidend sind nicht CSUS, sondern Assoziation zwischen Stimulus (S) und der Reaktion (R) der Reiz-Reaktions-Assoziation (RRA) • Befriedigende Reaktionen werden verstärkt, erfolglose Reaktionen werden gelöscht • Also: Lernen wird durch Konsequenzen gesteuert • Verfahren: Trial-and-Error • Beispiel: Katzen im Käfig mit Öffnungsautomatik Lernende Systeme - Prof. Dr. E.G. Haffner

47. Operante Konditionierung • Operantes Verhalten wird nicht durch Reize ausgelöst (Tauben picken, manche Menschen gestikulieren, sagen ständig „äh“, u.a.m.) • Operantes Verhalten wirkt sich auf Umwelt aus • Operantes Konditionieren ändert die Wahrscheinlichkeit der operanten Reaktionen als Funktion ihrer Konsequenzen • Operantes Konditionieren besteht aus 3 Teilen: • Verhaltenskontingenzen • Verstärker • Diskriminierende Reize Lernende Systeme - Prof. Dr. E.G. Haffner

48. Verhaltenskontingenzen • Konsistente Beziehung zwischen Verhalten (X) und folgenden Reizbedingungen (Y) • Kontingenz: Regel der Form „X  Y“ • Beispiel • Pickrate der Taube erhöht sich, wenn jedes Mal ein Korn gefunden wird • Taube lernt, dass das Picken die Reaktion hervorruft (und nicht andere Tätigkeiten) Lernende Systeme - Prof. Dr. E.G. Haffner

49. Verstärker • Ereignisse, die die Reaktion eines Organismus festlegen, wenn sie kontingent auftreten, heißen Verstärker • Positiver Verstärker: • Reiz, der zum Anstieg der Auftretenswahrscheinlichkeit durch Hinzufügen führt (Futter, Wasser, etc) • Negativer Verstärker: • Reiz, der zum Anstieg der Auftretenswahrscheinlichkeit durch Elimination führt (Lärm, Kälte, elektrische Schocks, etc) • Positive Verstärker funktionieren i.a. besser! Lernende Systeme - Prof. Dr. E.G. Haffner

50. Folgerungen • Operantes Konditionieren setzt unmittelbareKonsequenz voraus • Kontingente Verstärkung stärkt Reaktion • Kontingente Bestrafung unterdrückt Reaktion • Aber: Kontingenz ist wesentlich! • Gegenbeispiele: • Eltern loben gute und schlechte Dinge • Lehrer kritisieren gute und schlechte Arbeiten • Zumindest kausaler Zusammenhangmuss erkennbar sein! Lernende Systeme - Prof. Dr. E.G. Haffner