1 / 61

L’estimation

L’estimation. Plan. Définition et Objectifs Rappel régression linéaire Réseaux neuronaux Démonstrations. Définition et Objectifs. Prévoir la valeur d’une variable non observée à partir de variables observées Applications typiques Prévision Finance, économie, météo, environnement.

lahela
Download Presentation

L’estimation

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. L’estimation

  2. Plan • Définition et Objectifs • Rappel régression linéaire • Réseaux neuronaux • Démonstrations

  3. Définition et Objectifs Prévoir la valeur d’une variablenon observée à partir de variables observées • Applications typiques • Prévision • Finance, économie, météo, environnement. • Modélisation numérique • Représentation numérique de systèmes physiques difficiles à décrire par des équations explicites : moteurs, …

  4. Caractérisation • Généralisation de la classification à une variable à prévoir continue • Comme la classification • C’est un problème supervisé • Il comporte 2 utilisations (mais dans une moindre mesure) • Utilisation descriptive • Exprimer l’équation de dépendance entre les variables d’entrée et la variable de sortie. • Etudier la sensibilité aux variables d’entrée • Utilisation décisionnelle • Calculer l’estimation de la sortie en fonction des entrées • La nature fondamentale du problème est un calcul d’espérance conditionnelle : • E(Demain|Aujourd’hui)

  5. Caractérisation (suite) • Les variables observées peuvent être Qualitatives ou quantitatives • La variable à prévoir est continue • Le modèle est mis au point sur un ensemble de données où toutes les variables sont observées (y compris la sortie) • Exemple : Prévision financière • Données : Historique de données macroéconomiques et financières • Variables explicatives : Production industrielle, Devises, Taux de chomage, Taux d’utilisation des capacités, etc. • Variable à prévoir : Indice boursier (CAC40)

  6. Techniques disponibles • Régression linéaire • Régression polynomiale ou autres • Réseaux neuronaux • Support Vector Machines

  7. Régression linéaire

  8. La régression linéaire : rappels • Cadre théorique : variables aléatoires • Cadre expérimental : observations • En pratique : • Un ensemble de couples (X,Y) • On pose : Y* = b0 + b1X1 + b2X2 + … + bpXp • On cherche Y* qui minimise (Y*-Y)2 • On peut trouver facilement les (bi), et on peut mesurer la qualité de l’ajustement • Cas non linéaires ?

  9. Réseaux neuronaux

  10. Plan • Fondements biologiques • Le perceptron • Les réseaux multicouches • Applications : estimation, classification

  11. Fondements biologiques • Objectifs : • Reproduire les capacités de raisonnement de l’homme • Comment : • Reproduire le fonctionnement des structures de base du cerveau • Approche • Modéliser l’élément de base (le neurone) • Modéliser la structure du système (le réseau) • Modéliser le fonctionnement du système (dynamique et apprentissage)

  12. Le neurone • Corps cellulaire • Dendrites • Axone

  13. Contient le noyau de la cellule Quelques m de diamètre Vie du neurone Intégration de signaux Génération de l’influx Le corps cellulaire

  14. Extensions tubulaires du corps cellulaire Quelques 1/10m de diamètre Réception des signaux Les dendrites

  15. Fibre nerveuse 1mm à quelques m de longueur Transport des signaux L’axone

  16. Le neurone : résumé

  17. Point de contact entre neurones axone / dendrite axone / axone axone / corps cellulaire etc. La synapse

  18. Le fonctionnement du système • Au niveau microscopique • Neurones, synapses • Au niveau macroscopique • Réseau

  19. Fonctionnement micro De l’influx nerveux MEMBRANE

  20. Sommateur à seuil : réception de signaux sommation génération si influx total dépasse un certain seuil dendrites axone sommation seuillage Le corps cellulaire

  21. Membrane au repos : ddp = -70 mV Influx = inversion locale de polarité membrane au repos + + + + + + + + + + + + + ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ - 70 mV + + + + + + + + + + + + + influx + + + + + ~ ~ + + + + + + ~ ~ ~ ~ ~ + + ~ ~ ~ ~ ~ ~ - 70 mV + + + + + ~ ~ + + + + + + L’influx nerveux

  22. Maintien de la ddp canaux K+ ouverts canaux Na+ fermés Ions K+ pression osmotique : vers l’exterieur ddp : vers l’intérieur Maintien couche K+ [Na+] [Cl~] [K+] [K+] [Cl~] [Na+] [K+] [K+] [Na+] canaux [Na+] pompes La membrane au repos

  23. Inversion locale ouverture canaux Na+ (aval) ouverture canaux K+ (amont) Résultats inversion progresse rétablissement du potentiel (K+) rétablissement des concentrations (pompes) Délai de réaction sortie [K+] + + + + + + ~ ~ ~ ~ + + + + + + + + ~ ~ ~ ~ ~ ~ + + + + ~ ~ ~ ~ ~ ~ ~ ~ entrée [Na+] + + + + + + ~ ~ ~ ~ + + + + + + + + Propagation de l’influx

  24. Transformation du signal électrique en signal chimique(bouton synaptique) Transformation inverse (dendrite) axone influx neurotransmetteurs récepteurs dendrite La réception de l’influx

  25. Le modèle du neurone • Un sommateur à seuil • reçoit un ensemble d’influx • effectue une sommation • émet lui-même un influx si la somme des influx reçus dépasse un certain seuil Le neurone = séparateur linéaire Neurone de Mc Cullogh & Pitts (1943)

  26. ET logique OU logique X Y -1.5 X Y -0.5 Un neurone pour réaliser des fonctions logiques

  27. Le modèle du réseau • Le système visuel : • réseau de neurones réels le mieux connu • capable de réaliser des fonctions complexes dont les ordinateurs sont encore incapables (reconnaissance des formes) • Architecture du système visuel Architecture en couches *** Niveaux d’abstraction successifs • Architecture en couches • *** • Niveaux d’abstraction successifs

  28. Le système visuel de la grenouille détecte 4 types de stimuli : Un objet pénètre dans le champ visuel  Un objet pénètre dans le champ visuel et s’y arrête  Le niveau d’éclairement général du champ visuel diminue  Un petit objet de forme arrondie pénètre dans le champ visuel et s’y déplace de façon erratique Fonctionnement du système • Stimuli , ,  FUITE • Stimulus  ATTAQUE En laboratoire, la grenouille est incapable de se nourrir de moucherons déjà tués : le stimulus correspondant n’est pas reconnu !!

  29. Adaptation • Constat : La capacité de traitement de stimuli complexes est insuffisante => Adaptation nécessaire • Support de l’adaptation : Les synapses • Principe : Le réseau de neurones adapte la fonction qu’il réalise à son environnement en modifiant la force des relations entre les neurones. Un nouveau stimulus pourra alors progressivement déclencher une action

  30. Fondements biologiques : résumé • 3 idées : • Une cellule à seuil pour réaliser des séparations • Un réseau à couches pour hiérarchiser les informations • Un mécanisme d’apprentissage des connexions pour adapter le réseau à une fonction donnée

  31. Principe des modélisations • A partir du modèle biologique • Modèle du neurone (neurone formel) • Modèle du réseau (architecture et fonctionnement) • Mécanisme d’apprentissage

  32. Modèle du neurone Sommateur à seuil

  33. Architecture du réseau(1) Hiérarchique

  34. Architecture du réseau :(2) Complètement connecté

  35. Fonctionnement du réseau • Le réseau est un système dynamique • Etat initial • Aléatoire • Fixé par l’extérieur (ex : rétine) • Règle de fonctionnement • Séquentiel • Parallèle

  36. Apprentissage • Non supervisé • L’environnement imprime sa marque sur le réseau neuronal : le réseau devient d’une certaine façon une image de l’environnement • Supervisé • On introduit explicitement la notion de tâche à accomplir pour le système. Le réseau neuronal doit alors s’adapter pour réaliser une fonction donnée.

  37. Ai = activation du neurone i Apprentissage non supervisé :La règle de Hebb j i Wij Wij(t+1)=Wij(t)+k Wij(t+1)=Wij(t) Wij(t+1)=Wij(t) Wij(t+1)=Wij(t) Wij(t+1)=Wij(t)+kAiAj

  38. Règle de Hebb : exemple Cette matrice représente un réseau de neurones complètement connecté sur lequel on a formé la lettre A (les connexions ne sont pas représentées). Si on forme successivement un ensemble de lettres, et que deux neurones sont souvent activés simultanément, alors la règle de Hebb conduira à renforcer la connexion entre ces deux neurones.

  39. Apprentissage supervisé • Principe • On dispose d’un ensemble d’exemples (X,Y), où X est l’entrée et Y la sortie. • Présenter un exemple Xk au réseau • Le faire fonctionner • Comparer la sortie du réseau avec Yk • Modifier les poids du réseau s’il y a une erreur

  40. Apprentissage supervisé • Règles de modification des poids • Dépendent de l’architecture • La règle de Hebb peut s’appliquer

  41. Le perceptron • 1958 (Rosenblatt) • Première tentative d’intégrer : • Le neurone à seuil • La règle de Hebb • Propriétés : • spécifications précises • assez complexes pour être intéressant • assez simple pour être étudié • biologiquement plausible

  42. Neurones à seuil Architecture calquée sur celle du système visuel Apprentissage par essai et erreur Description Couche d’association figée

  43. Fonctionnement du perceptron • On présente Xk sur la rétine du perceptron, et on souhaite avoir la réponse dk (binaire) • Quatre cas peuvent se produire • dk=1 et sk=1 => ok • dk=1 et sk=0 => erreur • dk=0 et sk=1 => erreur • dk=0 et sk=0 => ok

  44. Règle d’apprentissage du perceptron • Cas d’erreur • Par exemple dk=1 et sk=0 • Explication • La somme pondérée des entrées de la cellule de décision est trop faible • Action • Augmenter les poids dont l’entrée est positive • Diminuer les poids dont l’entrée est négative

  45. Règle d’apprentissage du perceptron Wi(k+1)= Wi(k)+(dk-sk).ai • Cette règle • Peut se ramener à la règle de Hebb entre les cellules d’association et la cellule de décision • Converge si la solution existe • La solution existe ssi • Le problème est linéairement séparable

  46. Limites du perceptron : le XOR

  47. Le problème du XOR Le problème du XOR n’est pas linéairement séparable : il s’agirait ici de faire passer une droite séparant les points blancs des noirs.

  48. Solution du problème du XOR En ajoutant une cellule d’association qui réalise le ET logique des deux cellules de la rétine, le problème du XOR devient linéairement séparable : il suffit à présent de faire passer un plan pour séparer les points blancs des noirs, ce que réalise le plan figuré sur le dessin.

  49. Théorème de connexité (Papert & Minsky) m cases • Non connexe • L+M+R > s • Connexe • L’+M+R <= s • => L’< L • Connexe • L+M+R’ <= s => R’<R • Non connexe • L’+M+R’ > s • => R’>R : impossible m+2 cases

  50. Faites-vous mieux qu’un perceptron ?

More Related