1 / 29

Neurale Netwerken

Neurale Netwerken. Kunstmatige Intelligentie Rijksuniversiteit Groningen. Mei 2005 . hc 10. Spiking neurons stof: artikel. overzicht. inleiding l l. drie generaties. threshold transfer function continuous transfer function (bv sigmoid) spike trains (integrate-and-fire)

macaria-roseanne
Download Presentation

Neurale Netwerken

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. NeuraleNetwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005

  2. hc 10 • Spiking neurons • stof: artikel

  3. overzicht • inleiding • l • l

  4. drie generaties • threshold transfer function • continuous transfer function (bv sigmoid) • spike trains (integrate-and-fire) beschouwing biologische plausibiliteit: elke generatie meer natuurgetrouw dan de vorige beschouwing computationele kracht: • 1 is universeel voor digitale functies • 2 en 3 ook voor analoge functies • 3 heeft een hogere uitdrukkingskracht dan 2 (met minder neuronen kun je hetzelfde)

  5. biologische neuronen • menselijk zenuwstelsel: ±100 miljard neuronen • 1 mm3 cortex: ±10.000 neuronen met elk ±10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3) • neural staining:

  6. biologische neuronen axon synaps dendriet synaps cellichaam (soma) axon dendriet synaps synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht

  7. biologische neuronenuitleg termen op p. 12, 13 boek

  8. dendrieten: • activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential) • depolarisatie werkt exciterend (EPSP) • hyperpolarisatie werkt inhiberend (IPSP) • graded potentials axon: • rust potentiaal axon: -70 mV met binnenkant neuron negatief (firing threshold -50 mV) • als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal • all-or-nothing potentials • Hodgkin & Huxley (1952)

  9. benodigde tijd voor visuele verwerking! 4 s spikes in 30 visual cortex cells

  10. informatieoverdracht tussen biologische en kunstmatige neuronen • spiking neurons gebruiken spike patronen • standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1 • axon activatie:

  11. PSPs vs actiepotentialen • graded vs all-or-nothing • EPSPs, IPSPs vs spike trains • integrate-and-fire (spike 1-2 ms) • informatie in aantal spikes en de timing van losse spikes • (relative/absolute) refractory period (10 ms) beperkt vuurfrequentie

  12. NV neural viewer www.btinternet.com/~cfinnie • recovery periods, flames • edge detector • interaural

  13. clamp neurale dynamica • intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel • clamp voorbeelden • ui(t) – urest = εij • EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj(f))

  14. wiskundig model SRM0 zie artikel voor uitleg functionaliteit en symbolen parameters η0, τ, Δt > 0

  15. verschillende PSPs actie potentiaal (blauw) niet in goede proportie • verschil in teken (IPSP, EPSP), verschil in hoogte • verschil in lengte • vertraging • in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal

  16. netwerk types MLP, Hopfield, Kohonen, Elman, ... leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde

  17. beperkingen van SRM0 • alle PSPs hebben dezelfde vorm • PSPs niet afhankelijk van de toestand van het neuron • dynamica alleen afhakelijk van laatste spike • geen adaptatie • geen bursting neurons • geen inhibitory rebound spike • bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen) uitgebreidere modellen...

  18. spiking neurons in hardware [3], [4]geen tentamenstof VLSI systems can use data representations of either binary (digital VLSI) or continuous (analog VLSI) voltages. Progress in digital technology has been tremendous, providing us with ever faster, more precise and smaller equipment. In digital systems an energy-hungry synchronisation clock makes it certain that parts are ready for action. Analog systems consume much less power and space on silicon than digital systems (in many orders of magnitude) and are easily interfaced with the analog real world. However, their design is hard, due to noise computation is fundamentally (slightly) inaccurate and sufficiently reliable non-volatile analog memory does not (yet) exist [20,4]. Hybrid (noise resistant digital communication and memory, cheap analog computation)

  19. referenties [1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press [2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press) [3] J. Vreeken (in press) Spiking neural networks, an introduction. [4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown [5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning

  20. laatste college aanstaande woensdag • voorbeeld-tentamen-vragen • practicum: feedback en ruimte voor vragen

More Related