Neuroinformatik

1. Neuroinformatik Verhalten: Analyse und Modellierung Björn Brembs

2. Computational Neuroscience

3. Ivan Petrowitsch Pavlov

4. Pavlov’s Hunde Valiet Tungus Barbos

5. Klassisches Konditionieren UR Pavlov‘s Hund

6. Zeitliche Paarung von CS und US

7. Komplexere Assoziationen (1960er) Overshadowing Blocking

8. Theoretische Formulierungen (1970er) Experiment/Analyse: „Lernen ist von der zeitlichen Paarung der Reize abhängig“ Hypothese: „Der prädiktive Wert des CS könnte für das Lernen entscheidend sein“ also: Lernen findet immer dann statt, wenn Erwartungen verletzt werden Formalisierte Hypothese: , mit DV - Lernrate, l - tatsächl. US - erwarteter US Rescorla-Wagner-Regel (1972): Mit ai - Salienz von CSi (0<a<1), b - Salienz des US (-1<b<1)

9. Rescorla Wagner Regel Anfangsbedingungen: • Vmax = 100 (willkürlich) • Vall = 0 (kein Lernen) • Vcs = 0 (kein Lernen) • c = 0.5 (willkürlich) Vereinfacht: DVCS=c(Vmax-Vall)

10. First Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 1 0.5 * 100 - 0 = 50

11. Second Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 100 - 50 = 25

12. Third Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 3 .5 * 100 - 75 = 12.5

13. 4th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 4 .5 * 100 - 87.5 = 6.25

14. 5th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 5 .5 * 100 - 93.75 = 3.125

15. 6th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 6 .5 * 100 - 96.88 = 1.56

16. 7th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 7 .5 * 100 - 98.44 = .78

17. 8th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 8 .5 * 100 - 99.22 = .39

18. Extinktion

19. 1st Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 1 .5 * 0 - 99.61 = -49.8

20. 2nd Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 0 - 49.8 = -24.9

21. Hypothetical Acquisition & Extinction Curves with c=.5 and Vmax = 100

22. Acquisitions & Extinktions Kurven mit c=0,5 vs. c=0,2 (Vmax = 100)

23. Rescorla-Wagner Spreadsheet

24. R-W sagt Übererwartung voraus DVCS=c(Vmax-Vall) • Blocking • Wenn Vall=Vmax=100 wird CS2 kaum noch assoziative Stärke erreichen (Blocking) • Übererwartung • Bei Vall>Vmax wird DV<0!

25. Computational Neuroscience

26. PER Konditionierung

27. R-W und Vummx1

28. Blocking und Dopamin

29. Seit Rescorla und Wagner • Sutton und Barto 1990: Reinforcement learning, temporal difference models • „actor-critic model“ assoziativen Lernens http://en.wikipedia.org/wiki/Temporal_difference_learning http://www.scholarpedia.org/article/Temporal_difference_learning Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto: http://www.cs.ualberta.ca/~sutton/book/the-book.html http://machinelearning.org

30. Analyse von Spontanverhalten http://brembs.net/spontaneous/ http://www.plosone.org/doi/pone.0000443

31. Die Organisation von Verhalten wird meist als Input/Output Modell beschrieben Brain function is ultimately best understood in terms of input/output transformations and how they are produced. Michael Mauk (2000): Nature Neuroscience 3, 649-651 Konstanter Input Verrauschter Output Konstanter Output …aber jedes Verhalten ist eine Antwort auf einen Reiz Nicht jeder Reiz bedingt die gleiche Antwort…

32. baseline spike Drosophila am Drehmoment-Kompensator Selbst bei konstantem sensorischem Eingang verhält sich die Fruchtfliege variabel

33. Zustandsraum-Rekonstruktion Koordinaten-Einbettung Zeitreihe: 80, 60, 40,…… Einbettungs-Dimension: 3 Drei Datenpunkte bestimmen einen 3D Vektor: All computations: Alexander Maye, UKE Hamburg

34. Fliegen gegen Poisson Fliegenverhalten sieht nicht wie einfaches Rauschen aus Geometric Random Inner Products: GRIP Inter-Spike-Interval (ISI-)Analyse Fliegen als Zufallsgeneratoren? All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

35. Statistik erster Ordnung ISI-Verteilungen haben ein „schweres Ende“ Potenzgesetz: Skaleninvarianz All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

36. Unabhängigkeit der Daten Mischung der Einzelwerte ähnelt den Originaldaten nicht All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

37. Nichtlinearität? Noch nicht einmal sehr komplexe stochastische Modelle reichen aus Branched Poisson Process: BPP Root mean square fluctuation of displacement Offensichtlich scheint die Nichtlinearität ein wichtigerer Faktor zu sein als die Zufälligkeit! All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

38. Korrelation Nichtlinearität Nichtlineare Vorhersagen: S-Maps Mathematisch instabile, nichtlineare Prozesse steuern das Flugverhalten von Drosophila Logistische Gleichung: nichtlinear linear/stochastisch All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

39. Ein neues Verhaltensmodell Haben Fruchtfliegen einen freien Willen? Es muss eine input-unabhängige Output-Komponente geben: