Institut für Sportwissenschaften Johann Wolfgang Goethe-Universität Frankfurt/M.

1. Institut für Sportwissenschaften Johann Wolfgang Goethe-Universität Frankfurt/M. Vorlesung + Übung Forschungsmethoden in den Sportwissenschaften Neuronale Netze Statistik Master

2. Statistik Master Einleitung Während Probleme, die durch einen Algorithmus in kurzer Zeit exakt zu lösen sind, von einem Computer deutlich schneller gelöst werden können als von einem Menschen, benötigt das menschliche Gehirn für Aufgaben wie das Erkennen eines Gesichts wesentlich weniger Zeit. Außerdem erreicht der Computer nicht die hohe Erkennungsleistung. Ein weiterer Vorteil des menschlichen Gehirns ist, daß auch dann noch korrekte Ergebnisse geliefert werden, wenn es zu einem Ausfall einiger für die Problemlösung notwendiger Nervenzellen kommt. Selbst wenn die "Eingaben" ungenau sind, also beispielsweise ein Text durch Verschmutzung unleserlich geworden ist, kann das Gehirn den Text noch erkennen. Ein Computer liefert in diesen Fällen fehlerhafte bzw. unbrauchbare Ergebnisse. Die Idee ist daher, die Arbeitsweise des Gehirns auf Maschinen zu übertragen.

3. Statistik Master Einsatzbereich neuronaler Netze Neuronale Netze werden heutzutage in vielen Bereichen unseres Lebens eingesetzt. Häufig sind sie dabei jedoch nur Teile eines komplexen Systems. Dass ein Gerät/ System ein Neuronales Netz benutzt, wird jedoch häufig nicht genannt, da der Begriff neuronales Netz negative Assoziationen bei den Kunden auslöst. Neuronale Netze werden eingesetzt in: • Bildverarbeitung • Schrifterkennung • Spracherkennung • Robotersteuerung • Regelungsaufgaben (z.B. Waschmaschine)

4. Statistik Master Erklärung Künstliche neuronale Netze bestehen - wie das Gehirn von Tieren - aus einer großen Anzahl kleiner Elemente, den Neuronen. Information wird verarbeitet, indem sich die Neuronen mit Hilfe von gerichteten Verbindungen untereinander aktivieren. Dies geschieht im Prinzip analog zu den Vorgängen im Gehirn. Neuronale Netze zeichnen sich durch ihre Lernfähigkeit aus. Sie können eine Aufgabe anhand von Trainingsbeispielen erlernen, ohne dazu explizit programmiert werden zu müssen. Weitere Vorteile sind die hohe Parallelität bei der Informations-verarbeitung, die hohe Fehlertoleranz und die verteilte Wissens-repräsentation, wodurch ein zerstörtes Neuron nur einen relativ kleinen Wissensausfall bedeutet.

5. Statistik Master Aufbau einer Nervenzelle Nervenzellen oder Neuronen sind die Grundbausteine des Nervensystems. Sie bestehen aus einem 0,005 bis 0,25 mm großen Zellkörper. Einige Ausläufer der Neuronen, die sogenannten Dendriten, nehmen Eingangssignale auf. Sie sind stark verästelt. Das Axon, die normalerweise viel längere Nervenfaser, dient dagegen der Weiterleitung von Nervenreizen an andere Zellen. Axone können sich an ihrem Ende verästeln und besitzen dort die Synapsen für die Reizweiterleitung. Diese enthalten die synaptischen Vesikel mit den Neurotransmittern, die der Übertragung von Reizen von einer Zelle auf die andere dienen.

6. Statistik Master Aufbau einer Nervenzelle

7. Statistik Master Modellierung von Neuronen Ein künstliches neuronales Netz besteht aus stark idealisierten Neuronen. Wie ihr biologisches Vorbild bestehen sie aus drei Komponenten: dem Zellkörper, den Dendriten und einem Axon. Die Dendriten summieren die Eingabe des Netzes in die Zelle auf, das Axon leitet die Ausgabe der Zelle an die Dendriten nachfolgender Synapsen weiter. Die Stärke der Synapsen wird durch einen numerischen Wert, das Verbindungsgewicht, dargestellt. Daher läßt sich die Verbindung zwischen Neuronen als direkte gewichtete Verbindung zwischen den beiden Zellen i und j darstellen.

8. Statistik Master Fachbegriffe 1 • Aktivierungszustand Z • gibt den Aktivierungsgrad der Zelle an • Aktivierungsfunktion fact • gibt an, wie sich ein neuer Aktivierungszustand Zneu,j des Neurons j aus der alten Aktivierung Zalt,j und der Netzeingabe netj(t) sowie dem Schwellenwert des Neurons j ergibt • Ausgabefunktion fout • bestimmt aus der Aktivierung die Ausgabe des Neurons

9. Statistik Master Fachbegriffe 2 Ein neuronales Netz kann als gerichteter, gewichteter Graph angesehen werden. Die Kanten stellen die Verbindungen zwischen den Neuronen dar. wi,j ist das Gewicht (weight) der Verbindung von Neuron i nach Neuron j, die Matrix W aller Verbindungen heißt Gewichtsmatrix. Das Wissen eines neuronalen Netzes ist in seinen Gewichten gespeichert. Die Propagierungsfunktion gibt an, wie sich die Netz-eingabe eines Neurons aus den Ausgaben der anderen Neuronen und den Verbindungsgewichten berechnet.

10. Statistik Master Fachbegriffe 3 Eine Lernregel ist ein Algorithmus, nach dem das Netz lernt, für eine vorgegebene Eingabe eine gewünschte Ausgabe zu produzieren. Durch die wiederholte Eingabe von Trainingsmustern wird die Stärke der Verbindungen zwischen den Neuronen modifiziert. Dabei wird versucht, den Fehler zwischen erwarteter und tatsächlicher Ausgabe des Netzes zu minimieren. Lernverfahren sind der interessanteste Aspekt der neuronalen Netze.

11. Statistik Master Formale Definition eines künstlichen Neurons Ein künstliches Neuronist ein Tupel (x, w, fa, Z, fo, o) bestehend aus: Eingabevektor x Gewichtsvektor w Aktivierungsfunktion fa = fa(x,w) Zustand Z Ausgabefunktion fo = fo(Z)

12. Statistik Master Einfaches Beispiel

13. Statistik Master Vergleich von biologischen und künstlichen Neuronen • Die massive Parallelität der Neuronen • Relativ einfache Elemente: Neuronen verarbeiten die Aktivierungen der Vorgängerneuronen und die Stärke der Verbindung zu einer Ausgabe. • Die Neuronen sind durch gewichtete Verbindungen miteinander verbunden. • Die Verbindungsgewichte bei künstlichen Neuronen sind modifizierbar. Das entspricht der Plastizität der Synapsen beim biologischen Vorbild. • Ein Neuron ist mit sehr vielen anderen Neuronen verbunden (hohe Konnektivität). Gemeinsamkeiten:

14. Statistik Master Vergleich von biologischen und künstlichen Neuronen Biologisches VorbildKünstliches neuronales Netz - ca. 1011 Neuronen - viel geringere Anzahl der Neuronen (102 - 104) • hohe Anzahl an Verbindungen - viel geringere Anzahl von zwischen den Neuronen (105) Verbindungen • Einfluß verschiedener Neuro- - Stärke einer Verbindung wird transmitter auf die Stärke einer ausschließlich durch das Gewicht Synapse bestimmt • impulscodierte Informationsüber- - numerischer Aktivierungswert tragung (Frequenzmodulation) (Amplitudenmodulation) Unterschiede:

15. Statistik Master Definition Neuronales Netz Ein Neuronales Netzist ein Paar (N, V) mit einer Menge N von Neuronen und einer Menge V von Verbindungen. Es besitzt die Struktur eines gerichteten Graphen, für den die folgenden Einschränkungen und Zusätze gelten: • Die Knoten des Graphen heißen Neuronen. • Die Kanten heißen Verbindungen. • Jedes Neuron kann eine beliebige Menge von Verbindungen empfangen, über die es seine Eingabe erhält. • Jedes Neuron kann genau eine Ausgabe über eine beliebige Menge von Verbindungen aussenden. • Das Neuronale Netz erhält Eingaben aus Verbindungen, die der "Außenwelt" entspringen und gibt seine Ausgaben über in der "Außenwelt" endende Verbindungen ab.

16. Statistik Master Prinzipieller Aufbau eines neuronalen Netzes Neuronales Netz mit verdeckten Schichten Eingabeschicht verdeckte Schichten Ausgabeschicht

17. Statistik Master Verbindungsgrafik

18. Statistik Master 1 2 3 4 5 6 7 8 1 -0,5 0,8 2 0,2 -0,2 0,3 3 0 0,5 4 -0,7 5 0,8 6 0,5 7 0,1 8 Verbindungsmatrix Alle leeren Felder werden mit 0 gewichtet

19. Statistik Master Netze ohne Rückkopplung (feedforward-Netze) Bei Netzen ohne Rückkopplungen existiert kein Pfad, der von einem Neuron direkt oder über zwischengeschaltete Neuronen wieder zurück zu diesem Neuron führt. Daten werden also nur in eine Richtung weitergegeben. Mathematisch ist diese Topologie ein azyklischer Graph. In der Matrixdarstellung ist nur die obere Dreiecksmatrix mit Werten ungleich Null besetzt, da kein Neuron eine Verbindung zu einem dichter an der Eingabeschicht liegenden Neuron haben kann.

20. Statistik Master Unterschiedlich verbundene feedforward-Netze Ebenenweise verbundene feedforward-Netze sind in mehrere Schichten eingeteilt, wobei es nur Verbindungen von einer Schicht zur nächsten gibt. Man spricht von vollständig verbundenen Netzen, falls jedes Neuron der Schicht Ui mit jedem Neuron der darauffolgenden Schicht Ui+1 verbunden ist. Allgemeine feedforward-Netze besitzen dagegen auch sogenannte shortcut connections, also Verbindungen zwischen Neuronen, die Ebenen überspringen.

21. Statistik Master Netze mit Rückkopplungen (rekurrente Netze) Netze mit Rückkopplungen unterteilt man meist folgendermaßen: • Netze mit direkten Rückkopplungen (direct feedback) • Netze mit indirekten Rückkopplungen (indirect feedback) • Netze mit Rückkopplungen innerhalb einer Schicht (lateral feedback) • Vollständig verbundene Netze

22. Statistik Master Netze mit Rückkopplungen (rekurrente Netze) Netze mit direkten Rückkopplungen (direct feedback)Die Neuronen haben eine Verbindung von ihrer Ausgabe zurück zur Eingabe und können dadurch ihre eigene Aktivierung verstärken oder abschwächen. Diese Verbindungen bewirken oft, daß Neuronen die Grenzzustände ihrer Aktivierungen annehmen, weil sie sich selbst verstärken oder hemmen. Netze mit indirekten Rückkopplungen (indirect feedback)Diese Netze besitzen Rückkopplungen von Neuronen höherer Ebenen zu Neuronen niederer Ebenen. Dadurch erreicht man eine Aufmerksamkeitssteuerung auf bestimmte Bereiche von Eingabeneuronen oder auf bestimmte Eingabemerkmale durch das Netz.

23. Statistik Master Netze mit Rückkopplungen (rekurrente Netze) Netze mit Rückkopplungen innerhalb einer Schicht (lateral feedback) Netze mit Rückkopplungen innerhalb derselben Schicht werden oft für Aufgaben eingesetzt, bei denen nur ein Neuron einer Gruppe aktiv werden soll. Jedes Neuron hat dann hemmende Verbindungen zu den anderen Neuronen und oft noch eine aktivierende direkte Rückkopplung zu sich selbst. Das Neuron mit der stärksten Aktivierung, der Gewinner, hemmt dann die anderen Neuronen. Daher heißt eine solche Topologie auch winner-takes-all- Netzwerk.

24. Statistik Master Netze mit Rückkopplungen (rekurrente Netze) Vollständig verbundene Netze Vollständig verbundene Netze haben Verbindungen zwischen allen Neuronen. Hopfield- Netze sind ein ausführlich untersuchter Sonderfall. Bei diesen ist die Verbindungsmatrix symmetrisch und die Diagonale enthält nur Nullen.

25. Statistik Master Modellierung des Lernens Ein neuronales Netz "lernt", indem es sich gemäß einer fest vorgegebenen Vorschrift, der Lernregel, selbst modifiziert. Prinzipiell kann der Lernprozeß bestehen aus: • Entwicklung neuer Verbindungen • Löschen existierender Verbindungen • Modifikation der Verbindungsstärke (Veränderung der Gewichte) • Modifikation des Schwellenwertes • Modifikation der Aktivierungs- bzw. Ausgabefunktion • Entwicklung neuer Zellen • Löschen bestehender Zellen Von diesen Möglichkeiten wird die dritte, also das Lernen durch Veränderung der Gewichte, am häufigsten verwendet. Erst in letzter Zeit haben Verfahren an Bedeutung gewonnen, die auch eine Veränderung der Topologie beinhalten.

26. Statistik Master Hebb‘sche Lernregel Die erste Lernregel wurde von dem Psychologen Donald Hebb formuliert. Im Jahre 1949 veröffentlichte er einen Algorithmus, mit dem er die Lernfähigkeit des Gehirns zu erklären versuchte: Wenn ein Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen und wiederholt oder dauerhaft sich am Feuern beteiligt, geschieht ein Wachstumsprozeß oder metabolische Änderung in einer oder beiden Zellen dergestalt, daß A's Effizienz als eine der auf B ... feuernden Zellen anwächst. Überträgt man diesen Algorithmus in das mathematische Modell, so erhält man: Wenn Neuron j eine Eingabe von Neuron i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wi,j (d. h. verstärke die Verbindung von Neuron i zu Neuron j).

27. Statistik Master Lernparadigma Überwachtes Lernen (supervised learning) Ein externer Lehrer gibt dem Netz zu jeder Eingabe die korrekte Ausgabe oder die Differenz der tatsächlichen zur korrekten Ausgabe an. Bestärkendes Lernen (reinforcement learning) Es wird dem Netz lediglich mitgeteilt, ob seine Ausgabe korrekt oder inkorrekt war. Unüberwachtes Lernen (unsupervised learning) Das Netz versucht ohne Beeinflussung von außen die präsentierten Daten in Ähnlichkeitsklassen aufzuteilen.

28. Statistik Master Competitive Learning Beim Competitive Learning können drei verschiedene Phasen unterschieden werden: Erregung: Zunächst wird wie gewohnt für alle Output-Units der Netto-Input bestimmt. Wettbewerb (Competition): Anschließend werden die Netto-Inputs sämtlicher Output-Units miteinander verglichen. Diejenige Unit mit dem höchsten Netto-Input ist der Gewinner. Adjustierung der Gewichte: Im letzten Schritt werden die Gewichte verändert und zwar bei allen Verbindungen, die zur Gewinner-Unit führen. Alle anderen Gewichte werden nicht verändert ("The Winner takes it all."). Die Gewichte zum Gewinner werden so modifiziert, dass sie dem Input ähnlicher gemacht werden.

29. Statistik Master Kohonennetze Kohonennetze (Teuvo Kohonen 1982) stellen eine Erweiterung kompetitiver Netze dar. Auch bei ihnen wird der korrekte Output nicht festgelegt und dem neuronalen Netz zurückgemeldet, sondern sie agieren ohne einen externen Lehrer (=unsupervised learning). Kohonennetze können in selbstorganisierender Weise lernen, Karten (maps) von einem Inputraum zu erstellen (man kann auch sagen: Kohonennetze clustern den Inputraum). Ein wesentlicher Vorteil von Kohonennetzen im Vergleich zu konventionellen neuronalen Netzen liegt in der biologischen Plausibilität, da Menschen vermutlich Probleme in der Regel ohne externen Lehrer lösen.

30. Statistik Master Kohonennetze Beispiele für selbstorganisiertes Lernen im menschlichen Gehirn finden sich beim Sehsinn im Okzipitallappen oder aber im somatosensorischen und motorischen Kortex. Bei diesen sind die topographischen Anordnungen nicht vollständig genetisch festgelegt, sondern sensorische Erfahrung ist eine notwendige Bedingung, um solche Karten auszubilden.

31. Statistik Master Versagen von neuronalen Netzen Auch die Klassifikation von Messdaten mit neuronalen Netzen kann an Grenzen stoßen. Als Beispiel benutzen wir das von jedem selbst mitgebrachte neuronale Netz:

32. Statistik Master