1 / 38

Cascade Correlation für Strukturen

Cascade Correlation für Strukturen. Wissenschaftlicher Vortrag zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück. 3.95 € in Ihrer Apotheke ... aber die Pharmaindustrie. 10-15 Jahre 500 mio $  Produktenwicklung für seltene Krankheiten findet nicht statt (EU: 1 pro 2000,

kovit
Download Presentation

Cascade Correlation für Strukturen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Cascade Correlation für Strukturen Wissenschaftlicher Vortrag zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück Cascade Correlation für Strukturen

  2. 3.95 € in Ihrer Apotheke ... aber die Pharmaindustrie ... Cascade Correlation für Strukturen

  3. 10-15 Jahre 500 mio $  Produktenwicklung für seltene Krankheiten findet nicht statt (EU: 1 pro 2000, U.S.A: 1 pro 1000)  vereinfachte Zulassung (‘Orphan-drug-Status’)  automatisches drug design Cascade Correlation für Strukturen

  4. Cascade Correlation für Strukturen ... ist eine 1999 von Bianucci/Micheli/Sperduti/Starita im Rahmen von QSAR/QSPR Problemen vorgeschlagene automatische Lernmethode, ... weiterentwickelt 2003 zu Contextual Cascade Correlation (Micheli/Sperduti/Sona) Cascade Correlation für Strukturen

  5. Übersicht • QSAR/QSPR Probleme • Klassische Lösungen • Cascade Correlation • Cascade Correlation für Strukturen • Experimente • Theorie Cascade Correlation für Strukturen

  6. QSAR/QSPR Probleme … Cascade Correlation für Strukturen

  7. QSAR/QSPR Probleme Quantitative Structure Activity/Properties Relationship Probleme: sage aufgrund der Struktur eines chemischen Moleküls dessen chemische Funktionalität bzw. physikalische Eigenschaften quantitativ voraus Wirksamkeit zur Hemmung von Prostaglandinen Größe des Moleküls Cascade Correlation für Strukturen

  8. C C C H H H C C C H H H H H H H H H H H H H H H H H H C C C C C H H H H H C H H QSAR/QSPR Probleme • QSPR-Problem: sage den Siedepunkt (in oC) von Alkanen voraus. Alkane: CnH2n+2, Methan, Ethan, Propan, Butan, Pentan, … Hexan 2-Methyl-Pentan je größer n und je mehr Seitenstränge, desto höher der Siedepunkt  ausgezeichnetes Benchmark-Problem Cascade Correlation für Strukturen

  9. QSAR/QSPR Probleme • QSAR-Problem: sage die Wirksamkeit (IC50) von Benzodiazepinen voraus Schmerz-/Beruhigungsmittel: Valiquid, Rohypnol, Noctamid, ... Funktionsweise: potentiert die Wirkung des hemmenden Neurotransmitters GABA Problem: Kreuztoleranz, Kreuzabhängigkeit  interessantes Problem, Vergleichsergebnisse vorhanden Cascade Correlation für Strukturen

  10. Klassische Lösungen … Cascade Correlation für Strukturen

  11. Klassische Lösungen Topologische Indizes Physiko-chemische Eigenschaften lineare Regression neuronale Netze direkte Modellierung Geometrische Eigen-schaften, Ladung 0.42 Explizite vektorielle Darstellung der Konnektivität ... Cascade Correlation für Strukturen

  12. C C C C C C C C C C Klassische Lösungen Siedepunkt von Alkanen: [Cherqaoui/Vilemin] 150 Alkane mit maximal 10 C-Atomen, ad hoc Kodierung: Anzahl der Nachbarn +1 der C in der durch die Stränge vorgegebenen Reihenfolge, der längste Strang zuerst:  standard feedforward Netze adäquate Kodierung, aber n ist beschränkt 1233221121 Cascade Correlation für Strukturen

  13. Klassische Lösungen Wirksamkeit von Benzodiazepinen[Hadjipavlou/Hansch]: IC50 von 79 klassischen 1,4-Benzodiazepin-2 bei Ratten (in vitro), direkte Modellierung und Parameteroptimierung anhand von Daten  log 1/C = 1.3 log P - 2.3 log (β 10log P +1) + 1.08 B1-7 + 1.05 B1-2’ + 2.54 mit P: misst die Hydrophobizität des Moleküls, B1: Sterimol-Parameter, d.h. Breite/Größe des Residuums, log β = -2.41 gute Ergebnisse, aber komplizierte physikochemische Parameter Cascade Correlation für Strukturen

  14. Cascade Correlation … Cascade Correlation für Strukturen

  15. Cascade Correlation Cascade Correlation ... ist eine 1990 von Fahlman/Lebiere vorgeschlagene besonders effiziente Alternative zu standard feedforward Netzen, die iterativ (in Kaskaden) eine die Daten approximierende Funktion aufbaut. Cascade Correlation für Strukturen

  16. x tanh(wtx+b) Cascade Correlation Daten (x,y) in ℝnxℝ seien gegeben, finde f mit f(x)≈y für alle Daten, kleinste Einheit: minimiere den Fehler auf den Daten x y maximiere die Korrelation der Ausgabe dieser Einheit mit dem bisherigen Fehler  die Einheit kann zur Fehlerkorrektur benutzt werden hi(x)=fi(x,h1(x), ..., hi-1(x)) usw. Cascade Correlation für Strukturen

  17. Cascade Correlation • ‘kaskadierte’ (wenige, iterativ optimierte) Parameter  effizientes Training gute Generalisierung auch bei wenigen Daten Siegeszug mit dem zwei Spiralenproblem:  sehr verschachtelte Funktionen, Training theoretisch nicht gut ver-standen, prinzipielle Eigenschaften wie standard feedforward Netze  auch in der Praxis nicht besser als standard feedforward Netze mit besseren Trainingsverfahren oder SVM Cascade Correlation für Strukturen

  18. Cascade Correlation für Strukturen … Cascade Correlation für Strukturen

  19. Cascade Correlation für Strukturen Cascade Correlation für Strukturen 0.42 Cascade Correlation für Strukturen

  20. l(v) ch1(v) chk(v) ... ... ... C C C C C C C C C C C C C C C C C C C C Cascade Correlation für Strukturen Strukturen = gelabelte Bäume mit fan-out k l(v)(ch1(v),...,chk(v)) CH3(CH2(CH2(CH(CH2(CH3),CH(CH3,CH2(CH3)))))) Cascade Correlation für Strukturen

  21. bdz 1 2‘ 3 5 6 6‘ 7 8 9 Cascade Correlation für Strukturen Strukturen = gelabelte Bäume mit fan-out k etwa: bdz(h,f,h,ph,h,h,f,h,h) bdz(h,h,h,ph,c3(h,h,h),h,c3(h,h,h),h,h) bdz(c3(h,h,o1(c3(h,h,h))),h,h,ph,h,h,n2(o,o),h,h) Cascade Correlation für Strukturen

  22. l(v) ch1(v) chk(v) ... ... ... Cascade Correlation für Strukturen Strukturen = gelabelte Bäume mit fan-out k allgemeiner DPAGs = gelabelte azyklische Graphen mit einem Startknoten, fan-out k, fan-in k’, und Positionierung der Kinder und Eltern Cascade Correlation für Strukturen

  23. l(v) ch1(v) chk(v) ... ... ... q-1(h1(v)) Cascade Correlation für Strukturen rekursives Verarbeiten der Struktur von den Blättern zur Wurzel: q-1(hi(v)):=(hi(ch1(v)),...,hi(chk(v))) q-1 azyklisch! q-1 h1(v) = f1(l(v),h1(ch1(v)),...,h1(chk(v))) q-1 q-1 ... das ist verboten, da die Gewichte eingefroren werden! h2(v) = f2(l(v),h2(ch1(v)),...,h2(chk(v)), h1(v),h1(ch1(v)),...,h1(chk(v))) usw. überhaupt kein Problem! Cascade Correlation für Strukturen

  24. Cascade Correlation für Strukturen init; repeat add hi; train fi(l(v), q-1(hi(v)), h1(v), q-1(h1(v)), ...,hi-1(v), q-1(hi-1(v))) on the correlation; train the output on the error; Cascade Correlation für Strukturen

  25. Contextual Cascade Correlation q-1(hi(v)):=(hi(ch1(v)),...,hi(chk(v))) q+1(hi(v)):=(hi(pa1(v)),...,hi(pak’(v))) q-1 q+1 q+1 q-1 ... gäbe Zyklen innerhalb der Struktur! q-1 hi(v)= fi(l(v),q-1(hi(v)),h1(v),q-1(h1(v)),q+1(h1(v)) ...,hi-1(v),q-1(hi-1(v)),q+1(hi-1(v))) Cascade Correlation für Strukturen

  26. Contextual Cascade Correlation q+1 erweitert den Kontext von hi: i=3 i=2 i=1 Cascade Correlation für Strukturen

  27. Experimente … Cascade Correlation für Strukturen

  28. Experimente Alkane: 150 Beispiele, bipolare Kodierung der Symbole, 10-fache Kreuzvalidierung wie [CV], mean max i ≈ 137 (CRecCC), 110 bzw. 140 (RecCC), Bereich: [-164,174] Cascade Correlation für Strukturen

  29. Kontext: PCA der hi(v) Experimente Cascade Correlation für Strukturen

  30. Experimente Benzodiazepine: 79 Beispiele, bipolare Kodierung, 5 Testbeispiele von [HH] und weitere folds, max i ≈ 13-40 Cascade Correlation für Strukturen

  31. Experimente Cascade Correlation für Strukturen

  32. Theorie … Cascade Correlation für Strukturen

  33. Theorie Recurrent Cascade Correlation ... ist eine 1991 von Fahlman vorgeschlagene besonders effiziente Alternative zu standard rekurrenten Netzen, die iterativ (in Kaskaden) eine die Daten approximierende Funktion aufbaut ... es ist der Spezialfall für fan-out k=1 von Cascade Correlation für Strukturen RCC wurde nie wirklich angewandt, obwohl das Training von standard rekurrenten Netzen noch nicht zufriedenstellend gelöst ist Cascade Correlation für Strukturen

  34. Periode ≤ 2 Theorie Giles, 1995: RCC kann nicht alle Automaten darstellen! • betrachte die Eingabe (1,1,1,1,1,1,1,1,1,...) • hi(t) = tanh(wit(1,hi(t-1),h1(t),h1(t-1),...,hi-1(t),hi-1(t-1))+bi) Behauptung: hi(t) konvergiert gegen einen Punkt der Periode ≤ 2 Mathe: sei f:ℝ(-1,1) stetig und monoton wachsend, dann konvergiert (fn(x))n gegen einen Fixpunkt. Induktion: h1(t) = tanh(w1h1(t-1)+b1’) ist monoton wachsend oder fallend • h1n konvergiert gegen einen Punkt der Periode ≤ 2 hi(t) = tanh(wi1hi(t-1) + wit(h1(t),h1(t-1),...,hi-1(t),hi-1(t-1)) + bi’) hi(t) = tanh(w∙hi(t-1) + λ) mit λ Periode ≤ 2 hi(t) = tanh(w∙tanh(w∙hi(t-2) + λ1) + λ2) ist monoton wachsend Cascade Correlation für Strukturen

  35. Theorie ... für die exakt darstellbaren Funktionen ergibt sich: CRecCC NN = CC RCC RecCC RNN RecNN Cascade Correlation für Strukturen

  36. Theorie ... für die approximativ (bezogen auf dP) darstellbaren Funktionen ergibt sich:  RCC ist approximationsvollständig für Sequenzen (=RNN)  RecCC mit multiplikativen Neuronen ist approximationsvollständig für Baumstrukturen (=RecNN)  Contextual Cascade Correlation hat mindestens die approximativen Eigenschaften wie RecNNs und erweitert auf Kontext  gerichtete azyklische Graphen ... der Beweis für RNNs benutzt faktisch nur RCC ... der Beweis für RecNNs benutzt faktisch nur multiplikative RecCC Cascade Correlation für Strukturen

  37. Zu Risiken und Nebenwirkungen fragen Sie Ihren Arzt oder Apotheker Cascade Correlation für Strukturen

  38. Cascade Correlation für Strukturen

More Related