1 / 29

Une théorie générale des réseaux connexionnistes

Une théorie générale des réseaux connexionnistes. Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA. Sommaire. Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B. Survol des produits matriciels.

renate
Download Presentation

Une théorie générale des réseaux connexionnistes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA

  2. Sommaire • Survol des produits matriciels • Inner vs. Outer • Lien avec les réseaux connexionnistes? • Conjecture • Vecteurs d’entrées • N. B. Université de Ottawa, Novembre 2009

  3. Survol des produits matriciels

  4. Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Survol des produits matriciels Université de Ottawa, Novembre 2009

  5. Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

  6. Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

  7. ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit la dimensionnalité  inner product . Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

  8. ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit de un la dimensionnalité  inner product . par exemple Survol des produits matriciels Université de Ottawa, Novembre 2009

  9. Inner vs. Outer

  10. Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Que fait un inner? Université de Ottawa, Novembre 2009

  11. Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009

  12. Dans Mathematica: Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009

  13. Calcule toutes les combinaisons possibles des paires d’entrées: ??? Que fait un outer? Université de Ottawa, Novembre 2009

  14. Calcule toutes les combinaisons possibles des paires d’entrées: ??? Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009

  15. Dans Mathematica: Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009

  16. Lien avec les réseaux connexionnistes?

  17. Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q Université de Ottawa, Novembre 2009

  18. Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009

  19. Imaginons un perceptron... • La règle d’apprentissage: • Le changement de poids de la connexion i, j est proportionnel à la force de l’input et à la force de l’erreur • Avec un autre formalisme: • ou encore dans Mathematica: • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009

  20. Imaginons un perceptron... • Pris ensemble: • La règle de transmission: • La règle d’apprentissage: • définissent un réseau appelé dans le jargon • un réseau Sigma-pi Université de Ottawa, Novembre 2009

  21. Conjecture

  22. Toute règle de transmission est réalisée par un Inner • Toute règle d’apprentissage est réalisée par un Outer Université de Ottawa, Novembre 2009

  23. Des exemples? • Un perceptron (McClelland et al., 1986) • Un réseau de course (Cousineau, 2004a et b, 2005) • Un réseau FEBAM-SOM (Chartier et Giguère, 2009) • Un réseau de Kohonen (SOM; 1982) Université de Ottawa, Novembre 2009

  24. Vecteurs d’entrées

  25. Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une surface (i.e. une matrice) L’entrée peut aussi être une matrice (e.g. une image rétinienne) L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur) Université de Ottawa, Novembre 2009

  26. Pour y arriver, supposant un input I de dimensions p q un output O de dimensions s t On utilise ou dans Mathematica: • Supposant • un input I de dimensions p q r • un output O de dimensions s t • On utilise • ou dans Mathematica: Université de Ottawa, Novembre 2009

  27. N. B.

  28. Pour la règle de transmission: ← signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle d’apprentissage: ← signifie aussi introduire une constante d’apprentissage • Tout au long, j’ai utilisé un raccourci, le signe ← • Ce signe a plusieurs significations Université de Ottawa, Novembre 2009

  29. Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined

More Related