390 likes | 603 Views
Neuroinformatik. Verhalten: Analyse und Modellierung Björn Brembs. Computational Neuroscience. Ivan Petrowitsch Pavlov. Pavlov’s Hunde. Valiet Tungus Barbos. Klassisches Konditionieren. UR. Pavlov‘s Hund. Zeitliche Paarung von CS und US. Komplexere Assoziationen (1960er).
E N D
Neuroinformatik Verhalten: Analyse und Modellierung Björn Brembs
Pavlov’s Hunde Valiet Tungus Barbos
Klassisches Konditionieren UR Pavlov‘s Hund
Komplexere Assoziationen (1960er) Overshadowing Blocking
Theoretische Formulierungen (1970er) Experiment/Analyse: „Lernen ist von der zeitlichen Paarung der Reize abhängig“ Hypothese: „Der prädiktive Wert des CS könnte für das Lernen entscheidend sein“ also: Lernen findet immer dann statt, wenn Erwartungen verletzt werden Formalisierte Hypothese: , mit DV - Lernrate, l - tatsächl. US - erwarteter US Rescorla-Wagner-Regel (1972): Mit ai - Salienz von CSi (0<a<1), b - Salienz des US (-1<b<1)
Rescorla Wagner Regel Anfangsbedingungen: • Vmax = 100 (willkürlich) • Vall = 0 (kein Lernen) • Vcs = 0 (kein Lernen) • c = 0.5 (willkürlich) Vereinfacht: DVCS=c(Vmax-Vall)
First Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 1 0.5 * 100 - 0 = 50
Second Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 100 - 50 = 25
Third Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 3 .5 * 100 - 75 = 12.5
4th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 4 .5 * 100 - 87.5 = 6.25
5th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 5 .5 * 100 - 93.75 = 3.125
6th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 6 .5 * 100 - 96.88 = 1.56
7th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 7 .5 * 100 - 98.44 = .78
8th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 8 .5 * 100 - 99.22 = .39
1st Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 1 .5 * 0 - 99.61 = -49.8
2nd Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 0 - 49.8 = -24.9
Hypothetical Acquisition & Extinction Curves with c=.5 and Vmax = 100
Acquisitions & Extinktions Kurven mit c=0,5 vs. c=0,2 (Vmax = 100)
R-W sagt Übererwartung voraus DVCS=c(Vmax-Vall) • Blocking • Wenn Vall=Vmax=100 wird CS2 kaum noch assoziative Stärke erreichen (Blocking) • Übererwartung • Bei Vall>Vmax wird DV<0!
Seit Rescorla und Wagner • Sutton und Barto 1990: Reinforcement learning, temporal difference models • „actor-critic model“ assoziativen Lernens http://en.wikipedia.org/wiki/Temporal_difference_learning http://www.scholarpedia.org/article/Temporal_difference_learning Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto: http://www.cs.ualberta.ca/~sutton/book/the-book.html http://machinelearning.org
Analyse von Spontanverhalten http://brembs.net/spontaneous/ http://www.plosone.org/doi/pone.0000443
Die Organisation von Verhalten wird meist als Input/Output Modell beschrieben Brain function is ultimately best understood in terms of input/output transformations and how they are produced. Michael Mauk (2000): Nature Neuroscience 3, 649-651 Konstanter Input Verrauschter Output Konstanter Output …aber jedes Verhalten ist eine Antwort auf einen Reiz Nicht jeder Reiz bedingt die gleiche Antwort…
baseline spike Drosophila am Drehmoment-Kompensator Selbst bei konstantem sensorischem Eingang verhält sich die Fruchtfliege variabel
Zustandsraum-Rekonstruktion Koordinaten-Einbettung Zeitreihe: 80, 60, 40,…… Einbettungs-Dimension: 3 Drei Datenpunkte bestimmen einen 3D Vektor: All computations: Alexander Maye, UKE Hamburg
Fliegen gegen Poisson Fliegenverhalten sieht nicht wie einfaches Rauschen aus Geometric Random Inner Products: GRIP Inter-Spike-Interval (ISI-)Analyse Fliegen als Zufallsgeneratoren? All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Statistik erster Ordnung ISI-Verteilungen haben ein „schweres Ende“ Potenzgesetz: Skaleninvarianz All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Unabhängigkeit der Daten Mischung der Einzelwerte ähnelt den Originaldaten nicht All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Nichtlinearität? Noch nicht einmal sehr komplexe stochastische Modelle reichen aus Branched Poisson Process: BPP Root mean square fluctuation of displacement Offensichtlich scheint die Nichtlinearität ein wichtigerer Faktor zu sein als die Zufälligkeit! All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Korrelation Nichtlinearität Nichtlineare Vorhersagen: S-Maps Mathematisch instabile, nichtlineare Prozesse steuern das Flugverhalten von Drosophila Logistische Gleichung: nichtlinear linear/stochastisch All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Ein neues Verhaltensmodell Haben Fruchtfliegen einen freien Willen? Es muss eine input-unabhängige Output-Komponente geben: