1 / 25

Réseaux de neurones artificiels « le neurone formel »

Réseaux de neurones artificiels « le neurone formel ». S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu. Le neurone biologique. Le neurone formel. Le neurone formel. Phydsiologie. +. +. +. +. +. +.

hogan
Download Presentation

Réseaux de neurones artificiels « le neurone formel »

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Réseaux de neurones artificiels« le neurone formel » S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu

  2. Le neurone biologique

  3. Le neurone formel

  4. Le neurone formel

  5. Phydsiologie

  6. + + + + + + Discrimination Linéaire + + + + + + + Codage {-1,1}, fonction de décision de type « heaviside »

  7. Géométrie : illustration dans R2 °

  8. Estimation... et rêve

  9. Cas gaussien multidimensionnel m1 m2 Le Discriminateur de Bayes est linéaire...

  10. Moindres carrés X = [x1 ; x2]; X = [X ones(length(X),1)]; yi = [ones(length(x1),1) ; -ones(length(x2),1)]; W = (X'*X)\(X'*yi); west = W(1:2); best = W(3);

  11. Résistance aux « outliers »

  12. Moindre carrés « stochastiques »ADALINE (Widrow Hoff 1960) = D Algorithme itératif de gradient

  13. Algorithme de gradient : illustrationdans le plan w1,w2 Lignes d ’iso-coût : J(W) = constante Minimum du coût w2 + Direction du gradient J’(W) Le gradient est orthogonal aux lignes d ’iso coût : argument à la « Taylor » w1

  14. 3 solutions LE NEURONE FORMEL

  15. Algorithme itératif Stabilisation du coût (erreur relative) nbitemax = 50; k=0; while ((cout > 0) & (k<nbitemax)) K=K+1; ind = randperm(length(X)); for i=1:length(X) Dir = (sign(X(ind(i),:)*W)-yi(ind(i)))*X(ind(i),:); W = W - pas*Dir'; end cout = sum(abs(sign(X*W)-yi)); disp([k cout]); end Randomisation (ok si n grand) Évaluation du coût : n opérations

  16. ADALINE, Ça marche...

  17. ADALINE des fois ça ne marche pas… Solution au sens des moindres carrés

  18. Le Perceptron, des fois ça ne marche pas... ...Quand les exemples ne sont pas linéairement séparables

  19. Règle du perceptron(Rosenblatt 1958) codage

  20. Règle du perceptron(Rosenblatt 1958) • Pas de fonction coût minimisée • preuve de convergence • (dans le cas linéairement séparable)

  21. Règle du perceptron(Rosenblatt 1958)

  22. Convergence des algorithmes de gradient

  23. Performances des algorithmes linéaires Théorème (Vapnik & Chervonenkis, 1974)

  24. Performances des algorithmes linéaires Théorème (Vapnik & Chervonenkis, 1974) borne Probabilité d’erreur précision risque empirique Asymptotiquement « jouable » Malédiction de la dimensionnalité

  25. Conclusion • Neurone formel = Modèle linéraire • Estimation des paramètres • directe • rapide - n3 • itérative • lent - apprentissage au coup par coup • OCR : n=106

More Related