Computational Intelligence: Grundlagen Neuronaler Netze (NN)

1. Computational Intelligence: Grundlagen Neuronaler Netze (NN) Jörg Krone, Ulrich Lehmann, Johannes Brenig, Oliver Drölle, Michael Schneider 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

2. Inhalt • Was sind Neuronale Netze (NN)? • Beteiligte Wissensgebiete an der NN-Forschung • Vergleich neuronales Modell gegen Gehirn • 100 Schritt-Regel • Eigenschaften Neuronaler Netze • Geschichte der Entwicklung von Modellen für Neuronale Netze (KNN) seit 1942 • Geschichte der Entwicklung von KNN 1955 • Geschichte der Entwicklung von KNN 1969 • Geschichte der Entwicklung von KNN 1981 • Geschichte der Entwicklung von KNN 1985 • Geschichte der Entwicklung von KNN 1991 • Geschichte der Entwicklung von KNN 1996 • Anwendungen Neuronaler Netze 1997 bis 1999 • CI an der FH SWF von 2000 bis heute 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

3. Was sind Neuronale Netze (NN)? • NN (Neuronale Netze) • KNN (Künstlich Neuronale Netze) • ANN (artificial neuronal networks) • sind informationsverarbeitende Systeme, • die aus einer großen Anzahl einfacher Einheiten (Zellen, Neuronen) bestehen, • die sich Informationen in Form der Aktivierung der Zellen über gerichtete Verbindungen (connenctions, links) zusenden. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

4. Wie arbeiten Neuronale Netze (NN) und womit sind sie vergleichbar? • KNN haben eine grobe Analogie zu den Gehirnen von Säugetieren: • Informationsverarbeitung durch sehr viele Nervenzellen, die im Verhältnis zum Gesamtsystem sehr einfach sind • und die den Grad ihrer Erregung über Nervenfasern an andere Nervenzellen weiterleiten. • Hiebei handelt es sich um massiv parallele, lernfähige Systeme, die in vielen Anwendungsfeldern einsetzbar sind. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

5. Wissenschaften mit Verbindungen zum Gebiet der neuronalen Netze (NN) Computational Intelligence Fuzzy-Logik, NN, Evolutionäre Algorithmen 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

6. Vergleich zwischen Gehirn und Rechner 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

7. Die 100-Schritt-Regel Ein bekanntes Argument für die massive Parallelverarbeitung im menschlichen Gehirn: Sie können das Bild einer bekannten Person in ca. 0,1 s erkennen! Bei einer Schaltzeit von 1 ms für Neuronen also in max. 100 sequentiellen Zeitschritten oder 100 Ebenen von Neuronen. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

8. Eigenschaften Neuronaler Netze ++ Vorteile ++ • Lernfähigkeit • Parallelität • verteilte Wissensrepräsentation • höhere Fehlertoleranz • assoziative Speicherung von Informationen • Robustheit gegen Störungen • spontane Generalisierung von Eingabemustern • aktive Repräsentation des Wissens. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

9. Eigenschaften Neuronaler Netze -- Nachteile -- • Wissenserwerb ist nur durch Lernen möglich (kein Basiswissen im NN ablegbar) • NN können keine Analyse ihres eigenen Wissens oder Problemlösungsvorgangs durchführen • sequentielles logisches Schließen (wie die Inferenz bei Fuzzy-Logik) ist mit NN nur sehr schwer durchführbar • Lernvorgang ist relativ langsam. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

10. Geschichte Neuronaler Netze 1942 Frühe Anfänge 1942 bis 1955 1943 McCulloch und Pitts beschreiben neurologische Netzwerke basierend auf dem McCulloch-Pitts-Neuron und zeigen, das auch einfache NN prinzipiell jede arithmetische oder logische Funktion berechnen können 1949 Hebb beschreibt die mittlerweile klassische Hebb’sche Lernregel 1950 Lashley, ein Neurologe, zeigt durch Tierversuche, dass die Information im Gehirn in einer verteilten Repräsentation gespeichert sein muss. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

11. Geschichte Neuronaler Netze 1955 Erste Blütezeit 1955 bis 1969 1957Erster erfolgreicher Neurocomputer (Mark I Perceptron) von Rosenblatt und Wightman am MIT. Erkennung von Ziffern mit 20 x 20 Pixel Bildsensor und 512 motorgetriebenen Potentiometern (!) als Gewichte 1958Selfridge stellt ersten Morse-Code-Übersetzer auf Basis eines „Pandemonium“ (Neuro-Computer) vor 1959Einfache technische Realisierung von technischen Assoziativspeichern mit der „Lernmatrix“ von Steinbuch 1960Entwicklung eines adaptiven Systems „Adaline“, das genau und schnell lernen kann von Widrow und Marcian 1963Memistoren von Widrow. Transistor-ähnliche Elemente, mit den die einstellbaren Gewichte eines KNN (Künstlich Neuronales Netz) elektronisch realisiert werden können. Memistor Corporation, die erste Neurocomputing-Firma wird von Widrow gegründet. 1964Durch Überschätzung in den Medien Einbruch des Interesses an NN (besonders vom Departement of Defense in USA) als die Grenzen der damals verwendeten Modelle und Lernverfahren bekannt werden. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

12. Geschichte Neuronaler Netze 1969 Die stillen Jahre 1969 bis 1984  1969 Genaue mathematische Analyse des XOR-Problems und der Nichtlösbarkeit in einschichtigen KNN von Minsky und Papert. Von da an konzentrierten sich viele Forscher auf die Künstliche Intelligenz   1972 Kohonen stellte mit „Correlation matrix memories“ ein Modell eines speziellen Assoziativspeichers mit linearen Aktivierungsfunktionen und kontinuierliche Werte für Gewichte, Aktivierungen und Ausgaben  1973 Ein komplexeres, biologisch besser motiviertes nichtlineares Neuronenmodell von C. von der Malsburg, Uni Dortmund  1974 Entwicklung des Backpropagation-Verfahren von Werbos, Dissertation an der Harvard-Universität 1976 Sigmoide Aktivierungsfunktion für Neuronen und nichtlineare laterale Hemmungen von Grossberg;   Neuronaler Algorithmus zum Stereo-Sehen (Präsentation der Bildtiefe) von Marr und Poggio  1. Einführung Künstlich Neuronale Netze (KNN) R1.5

13. Geschichte Neuronaler Netze 1981 Die stillen Jahre ... bis 1984  1981 Binäre Hopfield-Netze als neuronales Äquivalent der Ising-Modelle der Physik von Hopfield  1982 Selbstorganisierende Karten (Speicher) von Kohonen  1983 Neocognitron: ein neuronales Modell zur positions- und skalierungsinvarianten Erkennung handgeschriebener Zeichen aus einer schichtweisen Folge einfacher und komplexer Zellen, wie sie auch im biologischen visuellen System von Katzen vorkommen; Neuronales Modell zur adaptiven Regelung für das Balancieren eines senkrechten Stabes Lösung von schwierigen Optimierungsaufgaben wie Chip-Plazierung auf der Leiterplatte, Verdrahtung der Chips, 1984 Boltzmann-Maschine zur Wiedergewinnung scharfer Bilder aus unscharfen Bildern von Geman 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

14. Geschichte Neuronaler Netze 1985 Die Renaissance neuronaler Netze 1985 bis heute 1985 Hopfield beschreibt in einem Artikel, wie KNN schwierige Optimierungsaufgaben (Traveling Salesman Problem) lösen können und kann viele Forscher von der Wichtigkeit des Forschungsgebietes NN überzeugen  1986 Publikation des Lernverfahrens Backpropagation durch Rumelhart, Hinton und Williams Vorstellung von Nettalk, ein mit Backpropagation trainiertes vorwärtsgerichtetes NN, das die Aussprache geschriebener Einzelwörter aus dem Englischen selbständig lernt und dabei innerhalb von wenigen Wochen (Aufwand für das Gesamtprojekt) eine beachtliche Leistung erreicht (nahezu wie DECtalk: wissensbasierte Maschine, viele Mannjahre Entwicklungszeit)  Explosionsartige Entwicklung des Fachgebietes NN seit 1986 o eigene Fachzeitschriften: Neural Networks, Neural Computation, Neurocomputing, IEEE Trans. on Neural Networks, ...  o Gründung großer wissenschaftlicher Gesellschaften: INNS (International Neural Network Society), ENNS (European Neural Network Society), IEEE Fachgruppe über KNN, GI-Fachgruppen, VDI-GMA-Fachgruppen über NN • Entwicklungsumgebungen für Entwicklung, Training, Simulation und Code-Generation für KNN kommen auf den Markt • Analoge VLSI-Chips für NN werden von den Firmen AT&T, Bellcore, und Intel entwickelt (Abb. 33.1 pdf mit Nachbearbeitung) 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

15. Geschichte Neuronaler Netze 1991 1991 Kohonen-Netze für Robotik-Anwendungen werden erfolgreich in der Grundlagenforschung eingesetzt von Ritter, Uni Bielefeld 1992 Gute Lehrbücher über KNN kommen auf den Markt   Digitale VLSI-Chips für NN werden von den Firmen Hitachi, Adaptive Solutions, Siemens, Intel, Torrent und NeuraLogix entwickelt (Abb. 33.10 pdf mit Nachbearbeitung) 1993 Siemens entwickelt einen VLSI-Neurocomputer SYNAPSE-1 basierend auf dem selbstentwickelten VLSI-Chip MA 16 (Abb. 33.4 pdf mit Nachbearbeitung) 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

16. Geschichte Neuronaler Netze 1996 1996 Forschungsverbund Neuronale Fuzzy-Logik (NFL) von 6 Fachhochschulen in NRW wird unter der Leitung der FH Südwestfalen Abt. Iserlohn gegründet und vom MWF finanziert. Ziel: Anwendungsorientierte Forschung für kleine und mittlere Unternehmen (KMU) (Abb. NFL-Flyer.pdf) Gemeinsame Tagungen von großen wissenschaftlichen Gesellschaften: GI mit VDI. Die Fachgebiete Fuzzy-Logik, Evolutionäre Algorithmen und Neuronale Netze verzahnen sich stärker. Es tauchen übergeordnete Begriffe für die genannten Fachgebiete auf (L. Zadeh: Softcomputing oder vom IEEE: Computational Intelligence)   Performance der PCs wird groß genug, um KNN für die Lösung von technischen Problemen zu entwickeln, zu trainieren und zu handhaben. Leistungsfähige KNN-Entwicklungsumgebungen für PC werden verfügbar. 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

17. Anwendungen Neuronaler Netze 1997 bis 1999 1997 Analyse eines Umformprozesses mit KNN und Entwurf einer prädiktiven Regelung für die Industrie an der FH SW in Iserlohn von Brenig, Hohage, Lehmann, Reitz, Wöstmann (Abb. DA-Poster.pdf) 1998 Die Fachgebiete Fuzzy-Logik, Neuronale Netze und Evolutionäre Algorithmen wachsen unter der Überschrift CI (Computational Intelligence) und/oder Softcomputing stärker zusammen. Häufigkeit der Begriffe im Internet Stand 10/2003: CI: Softcomputing: Fuzzy Logic: NN: Evolutionäre Algorithmen: Evolutionary Computing: 1999 Der Forschungsverbund NFL präsentiert auf der INTERKAMA in Düsseldorf vielbeachtete technische Lösungen für Neuro-Regler und Neuro-Fuzzy-Regler (Bild Interkama.jpg) 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

18. CI an der FH SWF von 2000 bis heute 2000 Arbeitskreis COIN wird von 4 Fachhochschulen in NRW mit Beteiligung der FH SWF gegründet: Ziel: Entwicklung von CI-Reglern und Lösung von Automatisierungsproblemen mit CI-Systemen für die Industrie 2003Der Arbeitskreis COIN (Computational Intelligence for Industry) zeigt unter Beteiligung der FH SW Iserlohn einen CI-Regler für Belichtungs-regelungen auf der Hannover Messe Industrie 2003 • Gründung des CIC.Lab an der FH Südwestfalen in Iserlohn • Einrichtung einer Kompetenzplattform Computer Vision based on Computational Intelligence an der FH Südwestfalen durch das Land NRW • Einrichtung eines Masterstudienganges CV&CI (Computer Vision and Computational Intelligence) an der FH Südwestfalen • Präsentation eines SPAM-Filter auf CI-Basis mit KNN und Bayes-Filter auf der CeBIT 2006 im März in Hannover 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

19. Fragen ? Fragen Sie bitte! 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

20. Neurocomputer Beispiel 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

21. Neurocomputer von Siemens 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

22. Forschungsverbund Neuronale Fuzzy-Logik 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

23. CI-Konferenz in Baden-Baden 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

24. Gründung CIC.Lab 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

25. Neuronale Netze für die Systemanalyse 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

26. Anwendung Neuro-PID-Regler 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

27. Anwendung CI-Regler 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

28. Kompetenzplattform Computer Vision based on Computational Intelligence KOPF CV&CI 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

29. FH Köln Campus Gummersbach In Kooperation mit:FH GelsenkirchenFH Köln, GummersbachFH BochumFH AachenFH BielefeldHochschule Wallis, CHUniversité Amiens, FPolitechnico Setubal, PTStaffordshire University, GB Foshan University, VR MasterstudiengangComputer Vision and Computational Intelligence , HagenMeschede, Soest 1. Einführung Künstlich Neuronale Netze (KNN) R1.5

30. E-Mail SPAM SPAM-Filter auf CI-Basis auf der CeBIT 2006 in Hannover 1. Einführung Künstlich Neuronale Netze (KNN) R1.5