1 / 39

Neuronale Netze f ür strukturierte Daten

Neuronale Netze f ür strukturierte Daten. Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück. Vektor. Übersicht. Lernende Vektorquantisierung und Relevanzlernen LVQ RLVQ Anwendungen Large margin Weitere Ans ätze.

kaiser
Download Presentation

Neuronale Netze f ür strukturierte Daten

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Neuronale Netze für strukturierte Daten Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück Antrittsvorlesung

  2. Vektor Antrittsvorlesung

  3. Übersicht • Lernende Vektorquantisierung und Relevanzlernen • LVQ • RLVQ • Anwendungen • Large margin • Weitere Ansätze Antrittsvorlesung

  4. Lernende Vektorquantisierung und Relevanzlernen … Antrittsvorlesung

  5. LVQ … Antrittsvorlesung

  6. Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen  Antrittsvorlesung

  7. Lernende Vektorquantisierung und Relevanzlernen - LVQ Lernende Vektorquantisierung(LVQ) [Kohonen]: überwachtesselbstorganisierendes Klassifikationsverfahren Netz gegeben durch Prototypen (wi,c(wi)) ∈ ℝn x {1,…,m} Klassifikationℝn∋x  c(wj)∈{1..m} mit |x-wj| minimal Hebbsches Lernen anhand von Beispieldaten (xi,c(xi)) i.e.ziehe xi und adaptiere den Gewinner wj: wj := wj ±η·(xi-wj) Antrittsvorlesung

  8. x2 x1 Lernende Vektorquantisierung und Relevanzlernen - LVQ Beispiel: unterscheide Äpfel von Birnen Repräsentation als Vektor ( Øx/Øy , Härte ) in ℝ2 Antrittsvorlesung

  9. Lernende Vektorquantisierung und Relevanzlernen - LVQ Problem: LVQ basiert auf der Euklidischen Metrik.  Probleme bei vielen und unterschiedlich relevanten Dimensionen Antrittsvorlesung

  10. Lernende Vektorquantisierung und Relevanzlernen - LVQ Dramatisches Beispiel dieses Problems: Antrittsvorlesung

  11. Lernende Vektorquantisierung und Relevanzlernen - LVQ Dieses tritt insbesondere bei als Vektor kodierten komplexen Strukturen auf. (mittlere Anzahl Nachbarn, minimale Anzahl Nachbarn, maximal Anzahl Nachbarn, Anzahl von gegebenen Subgraphen, topologische Indizes, ... Farbe der Knoten) Antrittsvorlesung

  12. Lernende Vektorquantisierung und Relevanzlernen - LVQ Kohonen, wenn er diesen Vortrag hören würde…  Antrittsvorlesung

  13. RLVQ … Antrittsvorlesung

  14. Relevanzlernen: ersetze die Euklidische Metrik durch eine Metrik mit adaptiven Relevanzfaktoren adaptiere die Relevanzfaktoren durch Hebbsches Lernen: Lernende Vektorquantisierung und Relevanzlernen - RLVQ  Relevanz LVQ Antrittsvorlesung

  15. Generalisiertes RLVQ – adaptive Relevanzfaktoren in GLVQ, Adaptation als stochastischer Gradientenabstieg Lernende Vektorquantisierung und Relevanzlernen - RLVQ gewichteter quadratischer Abstand zum nächsten korrekten/falschen Prototypen minimiere  Antrittsvorlesung

  16. Lernende Vektorquantisierung und Relevanzlernen - RLVQ Wir bzw. Kohonen, wenn er‘s wüßte …  Antrittsvorlesung

  17. Anwendungen … Antrittsvorlesung

  18. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Erkennung von Fehlzuständen bei Kolbenmaschinen PROGNOST Antrittsvorlesung

  19. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Detektion aufgrund hochdimensionaler und heterogener Daten: Sensoren liefern zeitabhängige Daten: Druck, Oszillation, ... Prozeß Charakteristika, Merkmale des pV Diagramms, … Sensorik Antrittsvorlesung

  20. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Typische Datenlage: • 30 Zeitreihen mit je 36 Einträgen • 20 Analysewerte über ein Zeitintervall • 40 globale Merkmale 15 Klassen, 100 Trainingsmuster Antrittsvorlesung

  21. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … Prognost  Antrittsvorlesung

  22. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen Prognose von Splice-Stellen: Kopie der DNA branch site A64G73G100T100G62A68G84T63 C65A100G100 reading frames 18-40 bp pyrimidines, i.e. T,C donor acceptor ATCGATCGATCGATCGATCGATCGATCGAGTCAATGACC nein ja Antrittsvorlesung

  23. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen • IPsplice (UCI): menschliche DNA, 3 Klassen, ca.3200 Punkte, Fenstergröße 60, alt • C.elegans (Sonneburg et al.): nur acceptor/decoys, 1000/10000 Trainingspunkte, 10000 Testpunkte, Fenstergröße 50, decoys liegen nahe an acceptors • GRLVQ mit wenigen Prototypen (8 / 5 pro Klasse) • geänderte Metrik: LIK lokale Korrelationen Antrittsvorlesung

  24. Lernende Vektorquantisierung und Relevanzlernen- Anwendungen IPsplice: Antrittsvorlesung

  25. Lernende Vektorquantisierung und Relevanzlernen- Anwendungen Antrittsvorlesung

  26. Lernende Vektorquantisierung und Relevanzlernen- Anwendungen C.elegans: ... GRLVQ erlaubt kom-pakte Modelle, Aufwand linear in Bezug auf die Trainingsdaten Antrittsvorlesung

  27. Lernende Vektorquantisierung und Relevanzlernen - Anwendungen … die Biologen  Antrittsvorlesung

  28. Large margin … Antrittsvorlesung

  29. Lernalgo. Lernende Vektorquantisierung und Relevanzlernen – large margin   F := durch GRLVQ mit p Prototypen berechnete binäre Klassifikationen (xi,yi)i=1..m Trainingsdaten, i.i.d. gemäß Pm f in F Ziel: EP(f) := P(y≠f(x)) soll klein sein Antrittsvorlesung

  30. Lernende Vektorquantisierung und Relevanzlernen – large margin Ziel: EP(f) := P(y≠f(x)) soll klein sein Lerntheorie:EP(f) ≤ |{ i | yi≠f(xi)}| + strukturelles Risiko Für GRLVQ gilt: EP(f) ≤ |{ i | yi ≠ f(xi)}| + Ʃ0<Mf(xi)<ρ(1-Mf(xi)/ρ) + O(p2(B3+(ln 1/δ)1/2)/(ρm1/2)) wobei Mf(xi) := - dλ+(xi)+ dλ-(xi) der margin ist (= Sicherheit) • dimensionsunabhängige large-margin Schranke! GRLVQ optimiert den margin: empirischer Fehler wird im Training optimiert wie sicher legen m Trainingsdaten die Funktion fest Trainingsfehler Punkte mit zu kleinem margin Schranke in Abhängigkeit von m = Anzahl Daten p = Anzahl Prototypen, B = Träger, δ = Konfidenz ρ = margin Antrittsvorlesung

  31. Lernende Vektorquantisierung und Relevanzlernen – large margin Wir  Antrittsvorlesung

  32. Weitere Ansätze … Antrittsvorlesung

  33. Weitere Ansätze Rekursive Verarbeitung von beliebig langen Sequenzen reeller Vektoren A T C G … Antrittsvorlesung

  34. a b e a h d Weitere Ansätze Rekursive Verarbeitung von Bäumen und DPAGs: gerichtete positionierte azyklische Graphen mit beschränkter Anzahl Nachfolger/Vorgänger und einem Wurzelknoten Antrittsvorlesung

  35. Weitere Ansätze Ich  Antrittsvorlesung

  36. Weitere Ansätze Antrittsvorlesung

  37. SVM Komplexität GRLVQ + Schriftzeichenerkennung Satellitendaten Zeitreihenprognose Kernelisierung Neural Gas Regelextraktion Rekurrente Netze Rekursive Netze Weitere Ansätze Lernbarkeit SOM, Datamining .. und weitere Nullmengen  Antrittsvorlesung

  38. os Berlin Rheine Birmingham Hyderabad Biele Padua Pisa Leipzig Illinois Houston Gatersleben Thorsten Bojer Prognost Peter Tino Brijnesh Jain Jochen Steil Helge Ritter Tina  Marc Strickert Kai Gersmann OR-Gruppe Theo.Inf. Thomas Villmann Erzsebeth Merenyi Udo Seiffert Bhaskar DasGupta Matukumalli Vidyasagar Alessandro Sperduti Alessio Micheli Thanks!!! Antrittsvorlesung

  39. Antrittsvorlesung

More Related