290 likes | 431 Views
Neurale Netwerken. Kunstmatige Intelligentie Rijksuniversiteit Groningen. Mei 2005 . hc 10. Spiking neurons stof: artikel. overzicht. inleiding l l. drie generaties. threshold transfer function continuous transfer function (bv sigmoid) spike trains (integrate-and-fire)
E N D
NeuraleNetwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005
hc 10 • Spiking neurons • stof: artikel
overzicht • inleiding • l • l
drie generaties • threshold transfer function • continuous transfer function (bv sigmoid) • spike trains (integrate-and-fire) beschouwing biologische plausibiliteit: elke generatie meer natuurgetrouw dan de vorige beschouwing computationele kracht: • 1 is universeel voor digitale functies • 2 en 3 ook voor analoge functies • 3 heeft een hogere uitdrukkingskracht dan 2 (met minder neuronen kun je hetzelfde)
biologische neuronen • menselijk zenuwstelsel: ±100 miljard neuronen • 1 mm3 cortex: ±10.000 neuronen met elk ±10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3) • neural staining:
biologische neuronen axon synaps dendriet synaps cellichaam (soma) axon dendriet synaps synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht
dendrieten: • activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential) • depolarisatie werkt exciterend (EPSP) • hyperpolarisatie werkt inhiberend (IPSP) • graded potentials axon: • rust potentiaal axon: -70 mV met binnenkant neuron negatief (firing threshold -50 mV) • als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal • all-or-nothing potentials • Hodgkin & Huxley (1952)
benodigde tijd voor visuele verwerking! 4 s spikes in 30 visual cortex cells
informatieoverdracht tussen biologische en kunstmatige neuronen • spiking neurons gebruiken spike patronen • standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1 • axon activatie:
PSPs vs actiepotentialen • graded vs all-or-nothing • EPSPs, IPSPs vs spike trains • integrate-and-fire (spike 1-2 ms) • informatie in aantal spikes en de timing van losse spikes • (relative/absolute) refractory period (10 ms) beperkt vuurfrequentie
NV neural viewer www.btinternet.com/~cfinnie • recovery periods, flames • edge detector • interaural
clamp neurale dynamica • intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel • clamp voorbeelden • ui(t) – urest = εij • EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj(f))
wiskundig model SRM0 zie artikel voor uitleg functionaliteit en symbolen parameters η0, τ, Δt > 0
verschillende PSPs actie potentiaal (blauw) niet in goede proportie • verschil in teken (IPSP, EPSP), verschil in hoogte • verschil in lengte • vertraging • in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal
netwerk types MLP, Hopfield, Kohonen, Elman, ... leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde
beperkingen van SRM0 • alle PSPs hebben dezelfde vorm • PSPs niet afhankelijk van de toestand van het neuron • dynamica alleen afhakelijk van laatste spike • geen adaptatie • geen bursting neurons • geen inhibitory rebound spike • bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen) uitgebreidere modellen...
spiking neurons in hardware [3], [4]geen tentamenstof VLSI systems can use data representations of either binary (digital VLSI) or continuous (analog VLSI) voltages. Progress in digital technology has been tremendous, providing us with ever faster, more precise and smaller equipment. In digital systems an energy-hungry synchronisation clock makes it certain that parts are ready for action. Analog systems consume much less power and space on silicon than digital systems (in many orders of magnitude) and are easily interfaced with the analog real world. However, their design is hard, due to noise computation is fundamentally (slightly) inaccurate and sufficiently reliable non-volatile analog memory does not (yet) exist [20,4]. Hybrid (noise resistant digital communication and memory, cheap analog computation)
referenties [1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press [2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press) [3] J. Vreeken (in press) Spiking neural networks, an introduction. [4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown [5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning
laatste college aanstaande woensdag • voorbeeld-tentamen-vragen • practicum: feedback en ruimte voor vragen