300 likes | 385 Views
Une théorie générale des réseaux connexionnistes. Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA. Sommaire. Survol des produits matriciels Inner vs. Outer Lien avec les réseaux connexionnistes? Conjecture Vecteurs d’entrées N. B. Survol des produits matriciels.
E N D
Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA
Sommaire • Survol des produits matriciels • Inner vs. Outer • Lien avec les réseaux connexionnistes? • Conjecture • Vecteurs d’entrées • N. B. Université de Ottawa, Novembre 2009
Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Survol des produits matriciels Université de Ottawa, Novembre 2009
Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009
Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité outer product Le second réduit la dimensionnalité inner product . Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009
... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité outer product Le second réduit de un la dimensionnalité inner product . par exemple Survol des produits matriciels Université de Ottawa, Novembre 2009
Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Que fait un inner? Université de Ottawa, Novembre 2009
Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009
Dans Mathematica: Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009
Calcule toutes les combinaisons possibles des paires d’entrées: ??? Que fait un outer? Université de Ottawa, Novembre 2009
Calcule toutes les combinaisons possibles des paires d’entrées: ??? Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009
Dans Mathematica: Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009
Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q Université de Ottawa, Novembre 2009
Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009
Imaginons un perceptron... • La règle d’apprentissage: • Le changement de poids de la connexion i, j est proportionnel à la force de l’input et à la force de l’erreur • Avec un autre formalisme: • ou encore dans Mathematica: • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009
Imaginons un perceptron... • Pris ensemble: • La règle de transmission: • La règle d’apprentissage: • définissent un réseau appelé dans le jargon • un réseau Sigma-pi Université de Ottawa, Novembre 2009
Toute règle de transmission est réalisée par un Inner • Toute règle d’apprentissage est réalisée par un Outer Université de Ottawa, Novembre 2009
Des exemples? • Un perceptron (McClelland et al., 1986) • Un réseau de course (Cousineau, 2004a et b, 2005) • Un réseau FEBAM-SOM (Chartier et Giguère, 2009) • Un réseau de Kohonen (SOM; 1982) Université de Ottawa, Novembre 2009
Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une surface (i.e. une matrice) L’entrée peut aussi être une matrice (e.g. une image rétinienne) L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur) Université de Ottawa, Novembre 2009
Pour y arriver, supposant un input I de dimensions p q un output O de dimensions s t On utilise ou dans Mathematica: • Supposant • un input I de dimensions p q r • un output O de dimensions s t • On utilise • ou dans Mathematica: Université de Ottawa, Novembre 2009
Pour la règle de transmission: ← signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle d’apprentissage: ← signifie aussi introduire une constante d’apprentissage • Tout au long, j’ai utilisé un raccourci, le signe ← • Ce signe a plusieurs significations Université de Ottawa, Novembre 2009
Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined