From Real Neurons To Perceptrons

1. From Real Neurons To Perceptrons Jacob Schroder

2. Überblick • Die Modellierung eines echten biologischen Neuron • Die bio-chemische elektrische Eigenscaften eines Neuron • Wie diese Eigenschaften sich modellieren lassen • Fazit: Perceptron != Neuron • Frage: Gibt es eine Biologische Analogie von Perceptrons? • Populationmodellierung von Neuronen • Fazit: Wie Populationmodellierung ähnlich wie Perceptrons ist

3. Die Zellmembran • Elektrische Eigenscaften eines Neuron • Zellmembran ist eine 3-4 nm dichte Lipid-doppelschicht • Die Membran ist der Schlüssel zu den interessanten elektrischen Eigenschaften eines Neuron

4. Die Membran II • Die Membran ist undurchlässig für die meisten Ions • Diese Isolierungseigenschaft impliziert dass die Membran wie ein Kondensator funktionert • Ionkanäle lassen Ions zu über die Membran zu gehen • Membrankapazitanz • Membranpotential ist dann variabel • Der Gliechgewichtpunkt einens Neurons • Normaleweise wenn ein Neuron inaktiv ist hat das Neuron eine negative Ladung

5. Elektrische Werte eines Neuron • Membrankapazität = Cm • Spezifische Membrankapazität cm = Cm /A • Membranpotential = V • Membranwiderstand = Rm • Spezifische Membranwiderstand rm = Rm /A • Membranzeitkonstante = tm = RmCm

6. Variabeles Membranpotential • Wieviel Strom ist erforderlich um Membranpotential zu einer gegebenen Rate zu ändern • dQ/dt = eingehender Strom • Was kann das Membranpotential ändern? • Diffusion • Äusserer eingehender Strom • Synapses • Ionkanäle abhängig von Elektrischer Spannung

7. Welche Kräfte Sind an Die Bewegung von Ions Beteiligt • Diffusion • Der Unterschied zwischen der Ladung innerhalb des Neuron und ausserhalb des Neuron • -[Membranpotentials] ziehen +Ions in dem Neuron, und stossen -Ions aus dem Neuron ab • Konzentration differences • Na+ und Ca+2 sind konzentrierter draussen und K+ konzentrierter drinnen • Ionpumps: Na/K ist am wichtigsten; gibt’s andere

8. Modellierung von Membrandiffusion • Gleichgewichtpotential, E, ist sehr wichtig für die Modellierung von Diffusion • Das Berechnen dieses Werts ist wie wir Diffusion modellieren werden • Zwei Kräfte sind an die Bewegung von Ions in Diffusion beteiligt 1. Konzentrationgradient 2. Kraftbarriere wegen der Membranpotential

9. Kraftwerte für Ions • Einerseits: Gegeben R als die universale Gaskonstante und eine normale Temperatur hat ein Mol Ions RT Kraft • Anderseits: Ist die thermische Kraft von einem Mol Ions = die Kraft verloren oder zugenommen wann ein Mol Ions über die Membran geht = FVT • F ist die Faradaykonstante und ist definiert als (Avagodros Number) * (Die Ladung eines Protons) • VT ist das Potential über die Membran • FVT = RT ergibt,

10. Membrandiffusion II • Wahrscheinlichkeit dass ein Ion innerhalb der Zelle die Kraft hat um die Kraftbarriere zu überschreiten • Gegeben dass eine positive Ion die Ladung, zq, hat und dass V negativ ist • q ist die Ladung eines Protons und z ist variabel => dass ein Ion die thermische Energie von -zqV haben muss um die Membran zu überschreiten => dass die Wahrscheinlichkeit dass ein Ion diese Kraft hat wenn die Temperatur T ist, = exp(zqV/kBT) • kB ist die Boltzmann Konstante • Diese Wahrscheinlichkeit ist in Molgewicht exp(zFV/RT) = exp(zV/VT)

11. Membrandiffusion III • [inside] = Ionkonzentration innerhalb der Zelle • Die Rate dafür Ions aus der Zelle fliessen ist proportional zu [inside]*Boltzmann-Konstante • [outside] = Ionkonzentration ausserhalb der Zelle • Die Rate dafür Ions in die Zelle fliessen ist proportional zu [outside] => • Sei E das Membranpotential die die Gleichung erfüllt • 5.3 nach E aufgelöst ergibt • V wird zum E oder Umkehrungpotential hingezogen

12. Man kann E für individuelle Ions berechnen • Vereinfachung: wir benutzen nur ein E das nur einen durchschnittlichen Wert für alle Ions representiert => Kapazität durchschnittlicher Wert für alle Ionkanäle • Ein Ions E zieht V zu seinem E hin • Wenn V > E fliesst positiver Strom ausser dem Neuron • Wenn V < E fliesst positiver Strom im Neuron ein • E von Na+ and Ca+2 ist +, und depolarisiert ein Neuron • E von K+ ist -, und hyperpolarisiert ein Neuron • Während eines Aktionpotential • Depolarisieren Na+ und Ca +2 das Neuron und danach K+ hyperpolarisiert das Neuron

13. Membranstrom = Im • Im = der gesamte Strom der über die Membran fliesst • Einschliesslich Ionkanäle und äusserer Input • im = Im/A • Spezifischer Membranstrom • gi ist der spezifische Leitwert je Flächeneinheit für eine (oder mehrere) Art Ionkanal, i

14. Single Compartment Model(Einzelabteil-Modell) • Modellierung von elektrotonik kompakten Neuronen • Elektrotonik kompakt heisst ein Neuron das ein relativ gleichmässiges Membranpotential hat • Modell ist eine Vereinfachung • Ignoriert Synapses und Ionkanäle abhängig von Elektrischer Spannung • Intrazellularwiderstand kann grosse Unterschiede in der Membranpotential verursachen • Einzelabteil Modell kann doch sehr nützlich sein

15. Das Modell • Nochmal, • Beschreibt das wesentliche Beziehung für Änderungen im Membranpotential • Geteilt durch A,

16. Integrate and Fire Modell • Erweiterung des Einzelabteil-Modell • Neuron kann ein Aktionpotential feuern • Aktionpotential ist wann 1. V folgt eine “rapid stereotyped Trajectory” 2. V kehrt zu einem Wert zurürck der hyperpolorisiert relativ zu dem Schwellwert ist • Der gesamte Membranleitwert wird als einen einzelnen Wert, gL, modelliert • Wann V ³ Vth dann feuer! • Nach dem Feuern, V = Vreset, wo Vreset < Vth

17. Das Modell • Wesentliche Integrate and Fire Gleichung ist 1.6*rm • Widerstand = 1/Leitwert, d.h. • rm/A = Rm

18. Das Passiv oder Leaky Integrate and Fire Neuron • Modelliert unterhalb dem Schwellwert Membranpotentials für manche Neuronen sehr gut • Das Neuron benimmt sich wie ein Kondensator und ein Drahtwiderstand die parallel sind

19. Feuerfestigkeit – “Refractoriness” • Grundlegende Eigenschaft von echten Neuronen • Leichte Lösung - Ein Neuron darf nicht für eine bestimmte Zeit nach einem Aktionpotential feuern • Eine realistischere Lösung ist die Hinzufügung von einem neuen Leitwert • Gleichung 5.8 mit einem neuen Strom, gsra • Wann ein Neuron feuert: gsra => gsra + Δgsra, Δgsra gross • Neuron zum Δgsra für eine Zeitkonstante befestigt • gsra ist von einem K+ Leitwert modelliert

20. Cabel Equation(die Kabelgleichung) • Die Modelleriung von Dendrits und Axons • Diese neuronalen Strukturen sind normaleweise dunn genug dass wir die radiale Ekkeften auf dem Strom ignorieren können weil sie unbedeutend im Vergleich mit den entlanglaufenden Effekten sind • Dendrits und Axons benehmen sich wie ein Koaxialkabel • Ladung in den Dendrits und Axons sind eine Funktion, V(x,t), von Längsposition und Zeit • x ist die Längskoordinate und t ist Zeit • Einfliessender Strom ist positive und ausfliessender Strom ist negativ

21. Das Modell • Ziel: Änderungsrate für das Membranpotential • Erst berechnen wir IL, entlanglaufender Strom • Längswiderstand ist • ΔV= - RLIL • Beziehung zwischen ΔV und RL kommt von Ohmsches Gesetz • Impliziert • Nach IL aufgelöst & den Grenzwert für x gegen 0 ergibt

22. Modell II • Die Änderungsrate von V hängt von der Kapazität ab • Die Menge von erforderlichem Strom um V zu einer bestimmten Rate zu ändern ist • Für die gesamte Kablegleichung brauchen wir eine Gleichung die beschreibt wie die verschiedenen ein/ausfliessenden Ströme und entlanglaufende Ströme das Differential von V beeinflussen

23. Alles Zusammen! • Die verschiedenen Ströme die Membranpotential ändern können wird in dieser Graphik gezeigt

24. Die Ströme vom Diagramm addiert ergibt • Vereinfachung von 2 Termen; geteilt durch 2paDx • Die Wesentliche Kabelgleichung

25. Attenuation - Schwächung • Eine Lösung zur Kabelgleichung mit konstanter Stromspritze auf einem Punkt, 0 • Exponentielle Abschwächung des Signals • Vermüteter Grund für die biologische Motivation für Spiking

26. Randbedingungen für die Kablegleichung • Für ein gespaltetes Kabel • Die Potential muss stetig sein: V(x,t) muss in jedem Teil des Kabels definiert sein so dass wo die Teile des Kabels sich treffen das Ergebnis von V(x,t) für jedes Kabel gleich ist • Die Summe von entlanglaufendem Strom in jedem Teil des Kabels muss bei dem Verbindungspunk gleich 0 sein • Sei der Strom nach dem Ende des Kabels einfach gleich 0

27. Fazit: Perceptron != Neuron • Wir haben gesehen • Ein Modell für elektrotonik kompakte neuronale Teilfläche, das Single Compartment Model • Ein Modell für dendritische und axonische Segmente eines Neuron mit der Kabelgleichung • Folgerung ist dass ein Model eines echten Neuron ist unbedingt anders als ein Perceptron Frage • Gibt es eine Biologische Analogie von Perceptrons?

28. Eine Deterministiche Populationmodellierung von Neuronen • Prämisse • Neuronen sind relativ in der Nähe von einander • Verbindungen sind willkürlich und dicht • Daraus folgen dass es einen Weg von jedem Neuron zu jedem anderen Neuron gibt, egal wenn dieser Weg durch ein Paar andere Neuronen führt => Wir ignorieren die räumliche Aspekte der Modellierung • Alle neuronalen Prozesse sind Interaktionen zwischen hemmenden und stimulierenden Neuronen, d.h. dass wir nur diese zwei Typen von Neuronen modellieren

29. Das Modell • E(t) = Proportion von stimulierenden Neuronen die in einer Zeiteinheit ab Zeit, t, feuern • I(t) = Proportion von hemmenden Neuronen die in einer Zeiteinheit ab Zeit, t, feuern • E(t) = 0 = I(t) ist der Rühezustand wo nur Hintergrundaktivität passiert • Neuronen sind noch aktiv, d.h. dass ein negativer Wert einen Abfall von normaler Aktivität bedeutet

30. Welche Proportion ist Feuerfest? • Sei die absolute feuerfeste Periode = r • Die Proportion von stimulierenden Neuronen die feuerfest sind • Proportion von stimulierenden Neuronen die nicht feuerfest sind • Äquivalente Gleichungen für I(t)

31. Welche Proportion bekommt mindestens Eingabe > Schwellwert? • Erforderlich sind 2 Funktionen • Se(x) = Erwartete Proportion von stimulierenden Neuronen die mindestens Eingabe > Schwellwert bekommen • Si(x) = Erwartete Proportion von hemmenden Neuronen die mindestens Eingabe > Schwellwert bekommen • Genannt “Subpopulation response functions”

32. Eine typische S(x) • Se(x) und Si(x) müssen sigmoidale Funktionen sein • S ist eine Funktion von dem durchschnittlichen Level der Exzitation

33. Durchschnittlicher Level der Exzitation eines Neuron • Die Eingabe für S(x) • c1 und c2 sind die durchschnittliche Zahl von stimulierenden und hemmenden Synapsen je Neuron • P(t) ist die äussere Eingabe • a(t) ist eine Abklingenfunktion, d.h. dass der Level der Exzitation des Neuron fällt im Zeitablauf ab • I(t) hat eine entsprechende ähnliche Gleichung, aber mit eigenen P(t) und cX

34. Erste Gruppe von Termen ist die Proportion von Neuronen die nicht feuerfest ist • Zweite Gruppe von Termen ist die Proportion von Neuronen die mindestens Eingabe > Schwellwert

35. Time Coarse Graining • Idee - Wir wollen einen durchschnittlichen Wert für eine Funktion über ein Intervall • Numerische Vereinfachung und glättet kurze Schwankungen

36. Die Gleichungen • Nehmen die Taylorentwicklung weil Time Coarse Graining glättet grosse Schwankungen • Benutzen die 2 neuen Vereinfachungen von dem lezten Slide

37. Populationmodellierung und Perceptrons • Die letzte Gleichungen koennen auch in dieser Form ausgedrückt werden • E ist die stimulierende Eingabe • I ist die hemmende Eingabe • kc1 => a • kc2 => b • P(t), t und die feuerfest Periode, (1-rEbar), lassen fallen

38. Populationmodelierung und Perceptrons II • E and I sind linear • Nehmen den Grenzwert für t gegen ¥, und dann => • Ist eigentlich die Perceptron Gleichung • S ist die Ausgabefunktion für einen Perceptron

39. Kurzfassung • Neuronen sind sehr komplexe Einheiten • Die Lipid-Doppelschicht bewirkt viele komplexe Effekten • Ein vereinfachtes Modell, Integrate and Fire Model • Modelliert nur wesentliche Eigenschaften eines Neuron • Kann Kapazität, Potential und Spiking gut modellieren • Nicht ähnlich wie ein Perceptron • Die Kabelgleichung für Dendrits und Axons • Schlägt eine Antwort zu “Why Neurons Spike” vor • Populationmodellierung bietet eine biologische Analogie für Perceptrons

40. Danke für Ihre Aufmerksamkeit • Quellen 1. Cowan, Jack D. and Wilson, Hugh R. Excitatory and Inhibitory Interactions In Localized Populations of Model Neurons. Biophysical Journal. 1972. Vol. 12. 2. Abbot, L.F. and Dayan, Peter. Theoretical Neuroscience. MIT Press: London, England. 2001. p. 153-217.

41. Zusätzliche Folien

42. Spike-Rate Adaptierung • Grundlegende Eigenschaft von echten Neuronen • Wir brauchen einen detaillierteren Membranstrom • Gleichung 5.8 mit einem neuen Strom, gsra • Wann ein Neuron feuert: gsra => gsra + Δgsra • gsra ist von einem K + Leitwert modelliert • Wann es sich activiert, gsra hyperpolisiert das Neuron und dadurch verlangsamt irgendeines Aktionpotential • gsra fällt für Zeitkonstante, tsra, ab,

43. Spike-Rate Adaptierung II • b ist eine Aufnahme von einem Kortikalneuron mit konstantem Stromsprizte das Spike Rate Adaptierung zeigt • c ist unseres Modell mit den Werten • rmΔgsra = 0.06, tsra = 100ms, Ek = -70mV

44. Die Feuerrate • Could eliminate? • Gleichung 5.8 nach V(t) aufgelöst ergibt, • Gilt nur wenn das Neuron unter den Schwellwert ist und wenn Ie unabhängig von Zeit ist • Gegeben dass • t=0, das Neuron gerade feuerte und V = Vreset, und tisi die Zeit ist wann das nächste Aktionpotential passieren wird

45. Feuerrate II • Nach tisi aufgelöst ergibt, • Ergibt die “Interspike interval firing rate” für konstant Ie • Gegeben einen genügend grossen Ie • Benutzt die lineare Approximation, ln(1+z) = z, für klein z