R é seaux neuronaux

1. Réseaux neuronaux Christelle Scharff IFI 2004

2. Inspiration de la biologie • Structure du système nerveux: • Un grand nombre de neurones connectés qui traitent l’information • La réponse du neurone dépend de son état et de la force de la connexion • Les forces sont développées par expérience • Comportement du neurone

3. Neurone real et artificiel Simulation du cerveau humain

4. Réseaux neuronaux

5. Neurone • Un nœud (neurone) est l’unité basique du traitement de l’information. • Un nœud est construit sur: • Des entrées numériques (l’entrée par défaut est appelée biais) • Des poids • Une fonction d’addition qui calcule la somme pondérée des entrées • Une fonction d’activation qui limite l’amplitude de la sortie du nœud. 

6. Exemples de fonction d’activation (1)

7. Exemples de fonction d’activation (2) • Fonction sigmoïde (logistique) • Fonction tangente-hyperbolique (Tanh)

8. Structure (1)

9. Structure (2)

10. Algorithme (1) • Entrée: Un ensemble S de m données classées. Les classes sont dans [0,1] ou {0,1}. C(X) est la classe d’un exemple X. • Les données sont normalisées dans [0,1] ou {0,1} • On choisit une fonction d’activation • On choisit une architecte: • Nombre d’entrées • Nombre de sorties • Nombre de couches internes • Nombre de neurones de chacune des couches internes • Pour une entrée X, O(X)=Y est la sortie calculée

11. Algorithme (2) L’algorithme minimise l’erreur suivante:

12. Algorithme (3) • On initialise aléatoirement les poids de tous les neurones du réseau • De façon itérative, on présente un élément X de S en entrée du réseau, le réseau calcule une sortie O(X), la sortie attendue est C(X). • On peut mesurer l'écart entre la sortie calculée et la sortie attendue et on modifie les poids de la couche de sortie (pour minimiser l’erreur sur cet exemple) • Rétropropagation du gradient pour le calcul des poids • Un critère d'arrêt doit être défini

13. Réseau de neurones • Différente méthodes existent pour déterminer la qualité d’un réseau de neurone: • Le paramètre nombre d’exemples • Le paramètre taux d’apprentissage • La tolérance • L’inertie

14. Entrées • Il est souvent nécessaire de normaliser les entrées sur [0,1] ou {0,1} • Exemple: A est un attribut prenant les valeurs {1,2,3,4,5} • 3 entrées • 3 est codé en binaire par 011 • 5 entrées • 5 est code en 00100 • 1 entrée réelle • 1 est code en 0, 2 en 0.25, 3 en 0.5, 4 en 0.75 et 5 en 1

15. Choix de l’architecture Une architecture riche mais pas trop!

16. Discussion • Le modèle n’est pas très lisible • Traitement des données numériques après normalisation • Calcul de classification simple • Temps d’apprentissage • Apprentissage non incrémental • Pas pour un grand nombre d’entrées

17. Références • Cours de modélisation et de fouilles de données de Prof. Ravi Mantena, New York University. • J. Han, and M. Kamber. Data Mining Concepts and Techniques. Morgan Kaufmann. • Data Mining: A Tutorial-Based Primer. Richard J. Roiger & Michael W. Geatz. Addison Wesley. • N. R. Nitin, and P. C. Bruce. Data Mining in Excel : Lecture notes and Cases.