1 / 35

Introduction

Introduction. Réseau de neurones artificiel ?. Abstraction du système nerveux humain Traitement parallèle de l’information Par opposition à un automate sériel comme un ordinateur Capacité d’apprentissage et d’adaptation

kenny
Download Presentation

Introduction

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Introduction

  2. Réseau de neurones artificiel? • Abstraction du système nerveux humain • Traitement parallèle de l’information • Par opposition à un automate sériel comme un ordinateur • Capacité d’apprentissage et d’adaptation • Principe de traitement très simples et identiques pour tous les éléments • Mais comportement de groupe complexe! • Applications • Résolution de problèmes difficiles • Modélisation biologique

  3. Réseau de neurones biologique • Quand un pigeon devient expert en art! (Watanabeet al. 1995) • Experience : • Pigeon dans une boîte de Skinner • Exposition aux tableaux de deux artistes (Chagall / Van Gogh) • Récompense pour bec à la vue d’un tableau de l’un des artistes (e.g. Van Gogh)

  4. Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement • Précision de 85% pour les tableaux non vus auparavant! • Mémoire oui, mais aussi • Identification de traits essentiels et/ou généralisation • Pas d’usage apparent d’un processus réfléchi • Force majeure des réseaux de neurones! (artificiels et biologiques)

  5. Les réseaux de neurones artificiels • Opèrent par apprentissage et non programmation • Une fois présentés avec des stéréotypes de comportement à apprendre, peuvent généraliser. • Ex: Reconnaître des images partielles après avoir appris des images complètes. • Troquent le traitement séquentiel familier pour un traitement parallèle de l’information

  6. Quelques domaines d’application • Reconnaissance de formes • (ex. : détection de cellules cancéreuses) • Régulation de processus industriels • (ex. : dosage d’ingrédients) • Pilotage automatique de véhicules automobiles • Reconnaissance de la voix et de l’écriture manuscrite • Interprétation de la parole et du texte écrit • Prédiction boursière/environnementale • Amélioration des moyens de trucider le voisin!

  7. Catégorisation des domaines • Classification • Regroupement/Catégorisation • Approximation de fonctions • Prévision/prédiction • Optimisation (plus court chemin, routage, etc.) • Mémoires adressables par contenu • Automatique

  8. 1m SNC 10cm Sous-Systèmes 1cm Régions 1mm Réseaux locaux 100mm Neurones 1mm Synapses 0.1mm Molécules Niveaux de traitement dans le système nerveux central humain

  9. RNA 101 • Un réseau de neurones artificiels (RNA) incorpore Les deux composants fondamentaux d’un rèseau de neurones biologique: • Neurones (noeuds) • Synapses (poids)

  10. Circuits locaux dans le cortex visuel LGN inputs Cell types

  11. Neuronebiologique Sortie impulsive : 1 – Le neurone répond 0 – Le neurone ne répond pas (Sans nécessairement être inactif)

  12. Synapse biologique • Agent principal du comportement neuronal • Connexion typique le long d’un arbre dendritique • Force de connexion variable + ou - • Plasticité à court terme • Utilisation de mécanismes électrochimiques • Origine corrélationnelle?

  13. Électrique (rare) 3.5 nm pré-post distance Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels) Courant ionique Propagation instantanée Transmission bidirectionnelle Chimique 20-40 nm pré-post distance Discontinuité cytoplasmique Vésicules présynoptiques et récepteurs postsynaptiques Transmetteur chimique Délai synaptique .3 ms Transmission unidirectionnelle Types de synapses

  14. Synapse dendritique

  15. Synapse dendritique

  16. Neurotransmetteurs Transmitter Channel-typ Ion-current Action Transmitter Channel-typ Ion-current Action Acetylecholin nicotin. Receptor Na+ and K+excitateur Glutamate AMPA / Kainate Na+ and K+excitateur GABA GABAA-Receptor Cl-inhibiteur Glycine Cl-inhibiteur Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release Glutamate NMDA Na+, K+, Ca2+Dépend de la tension bloqué au potentiel de repos

  17. Synaptic Plasticity

  18. Neurotransmetteurs • Plusieurs types • Amino Acides : Glutamate, GABA • Amines biogéniques : Dopamine, Histamine • Neuropeptides … LHRH, Proctolin • Endorphines, acetylcholine, etc. • NMDA, GABAAsonrfrèquents au niveau des récepteurs • Certainssontexcitateurs et d`autresinhibiteurs

  19. Synapse excitatrice vs. inhibitrice

  20. Exemples de sommationsdendritiques

  21. De l’entité biologique au modèle Neurone -> Nœud Synapse -> Arc pondéré

  22. x0 = +1 w0 x1 w1 Fonctiond’activation État interne v Sortie y Entrée x2 w2 Poidssynaptiques Sommateur linéaire xm wm Modélisationsimplifiée Biais • Hypothèses : • Synapses synchrones • Pas de pertes • Sortie non impulsive

  23. Fonctions d’activation communes • Simplifications des séquences d’impulsions • La fréquence des impulsions remplace l’information individuelle • L’information de phase est perdue • Plusieurs fonctions existent • L’efficacité dépend de l’application

  24. Fréquence des impulsions biologiques • La valeur moyenne dépend de plusieurs facteurs • Pertes (leakage), saturation, sources de bruit • Généralement modelé avec une fonction sigmoïde

  25. savoir du réseau • Réside dans la présence et la force des connexions inter-neuronales (synapses), mais : • Différents types de neurones • Différents types de topologies de réseaux  Comment trouver les bons poids?

  26. Plasticitésynaptique

  27. Plasticité synaptique Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post synaptique et l‘entree de calcium à travers des récepteurs specialisés

  28. Plasticitésynaptique

  29. Potentiation et dépression à long term (LTP et LTD) Stimulation de 15 min à bassefréquence (1 Hz) Stimulation de 1 s à haute fréquence (100Hz) (montreaussil.effect de l’endroit de stimulation sur l’arbredendritique) • Modèle simplifié à un produit de sorties dans les RNA • Cependant, ne rend pas compte de la causalité temporelle des événements pré et post synaptiques.

  30. Spike-timing Dependent Synaptic Plasticity (STDP) • La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique. • Plus conforme à la règle de Hebb (ajout de la causalité temporelle) • Popularité ascendante dans les modèles artificiels From Bi and Poo J. Neurosci. 18, 10464 (1998)

  31. Topologies de base • En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie

  32. Taxonomie +BSB, BAM, etc.

  33. Capacité de classification d’un PMC

  34. Pourquoialleraussiloin ? • Un modèle simple de mémoire associative : • On part de/forme un ensemble orthogonal de vecteurs {xi} à mémoriser • On définit l’ensemble des vecteur-réponses désirés {yi} • On calcule la matrice • La fonction de rappel d’un stimulus quelconque x est alors: • Ça fonctionne, non? Oui, mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?

More Related