Un neurone élémentaire

1. Un neurone élémentaire Fauconnier Cécile Informatique de Gestion Université de Liège

2. Introduction • Un réseau de neurones est un outil d'analyse statistique • Définitions: • Un neurone est une fonction algébrique non linéaire, paramétrée, à valeurs bornées • Un réseau de neurones est un ensemble fini de neurones, c’est-à-dire un ensemble fini de fonctions algébriques non linéaires, paramétrées, à valeurs bornées.

3. Un neurone poids f sortie entrées

4. Mise en oeuvre • Mise en œuvre d'un réseau de neurones: • Définition de la structure du réseau • Détermination des paramètres qui définissent le réseau • Phase de validation

5. Plan de l'exposé • Problème posé et définitions conceptuelles • Résolution pratique du problème et résultats

6. Le problème • Données: Questionnaires éventuellement mal remplis et décisions pour chaque questionnaire • Problème: extraire la prise de décision à l’aide de ces questionnaires pour pouvoir traiter tous les questionnaires de même type qui pourraient être remplis

7. Représentation Abstraction du problème g' A X D g

8. Les données • D: matrice de bits n X c nb de questionnaires X nb de bits par questionnaire • A chaque ligne de D correspond le bit donné par la valeur de g. Ces bits forment un vecteur colonne de bits, à n lignes: le vecteur R

9. Un neurone • Un neurone réalise une fonction non linéaire bornée appelée fonction d’activation y=f(e1,…eJ,w1,…,wJ) où les ej sont les variables et les wj les paramètres • Sortie du neurone: • Les poids wj renforcent les liaisons, les annulent ou les diminuent.

10. Fonction d’activation • Choix: la fonction signe

11. Résolution du problème • Résoudre le problème posé à l’aide d’un neurone dont la structure est définie, c’est déterminer les paramètres wj qui définissent ce neurone de telle manière que les valeurs de ce neurone approchent au mieux les valeurs de la fonction g de départ pour les différents questionnaires donnés.  Phase d’apprentissage

12. Résolution du problème • Lorsque les paramètres wj seront déterminés, la fonction g’ cherchée sera définie par

13. Défaut du neurone • Soit di un questionnaire caractérisé par les bits e1,…,ec. Le défaut pour ce questionnaire est donné par

14. Défaut d’un neurone • Défaut du neurone

15. Apprentissage • Définition: Procédure qui consiste à estimer les paramètres des neurones du réseau, afin que celui-ci remplisse au mieux la tâche qui lui est affectée.

16. Méthode d’ajustement • Choix de la méthode : Poids aléatoires w1,…,wc Calcul du défaut Changement de poids On garde les poids Si le défaut a diminué

17. Valeur de la méthode d’ajustement • Le concept d’apprentissage n’est intéressant que si le réseau possède la capacité de généralisation. • Deux méthodes: • Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification • Comparaison au modèle aléatoire théorique

18. Elaboration pratique • Problème concret: • 11 notes sur 20 pour 99 étudiants • Grade obtenu pour chaque étudiant Question: un étudiant donné a-t-il une distinction ou non?

19. Transformation des données • Notes ramenées sur 15 • Notes codées sur 4 bits • Grade1 bit : présence d’une distinction  1 absence d’une distinction  -1 pas de décision 0  Au total, 45 bits par étudiant

20. Phase d’ajustement • Procédé : Modification d’un poids à la fois tant que le défaut diminue D, R, Poids aléatoires w1,…,wc w1,…wc modifiés Modification de 2 poids à la fois tant que le défaut diminue Modification de 3 poids à la fois tant que le défaut diminue

21. Résultats • Valeur du neurone pour un étudiant i donné • Erreur initiale: 226 • Erreur après modification de 1 poids à la fois : 56 • Erreur après modification de 2 poids à la fois : 44 • Erreur après modification de 3 poids à la fois : 36

22. Influence des poids initiaux aléatoires • Grande influence des poids initiaux. • Défaut compris entre 20 et 56 • Moyenne: 33.5 Ecart-type : 8.1

23. Validité de la méthode • Deux méthodes: • Ensemble d’apprentissage restreint afin d’avoir des exemples de vérification • Comparaison au modèle aléatoire théorique

24. Méthode 1 • On enlève un étudiant de l’ensemble d’apprentissage. • On effectue l’ajustement • On compare la valeur du neurone pour l’étudiant retiré et la valeur réel  On réalise ces différentes étapes pour chaque étudiant de l’ensemble de départ et on peut constater le pourcentage d’erreur obtenu …34%

25. Déduction • La méthode n’est pas sans faille • Hypothèse: • Influence des poids initiaux aléatoires Résolution : Effectuer différents apprentissages pour ne pas être soumis aux choix initiaux …28% (5 ajustements)

26. Méthode 2 • Comparaison au cas théorique aléatoire • Cas aléatoire • Matrice aléatoire D de bits (-1,0,1) (dim 99 x 45) • Apprentissage

27. Résultats • Erreur initiale: 184 • Erreur après modification de 1 poids à la fois: 106 • Erreur après modification de 2 poids à la fois: 80 • Erreur après modification de 3 poids à la fois: 60

28. Résultats (suite) • Erreur jamais inférieur à 50 • Moyenne:65.5 Ecart-type: 8.3

29. Construction d’un intervalle de confiance • Test d’hypothèse: l’erreur obtenue reflète-t-elle le cas aléatoire? • n : nombre de questionnaires • c : nombre de questions par questionnaire • D: matrice aléatoire de bits (dim. n x (c+1))  apprentissage, erreur finale

30. Test (suite) • X: v.a. définie par le défaut obtenu à partir d’une matrice donnée • Moyenne : m • Ecart-type: σ  Grand nombre de réalisations

31. Test (suite) • Thm central-limite • Intervalle de confiance unilatéral de la moyenne de la variable X, au niveau de confiance 1-α:

32. Neurones concurrents • Solution apportée à l’influence des valeurs initiales des poids : mettre des neurones en concurrence • 40 ajustements + vote majoritaire  Taux d’erreur: 23.23%

33. Autres tests sur les données Variance des tests: • Un étudiant est ajourné ou non • Un étudiant obtient une satisfaction ou non • Un étudiant obtient une grande distinction ou non • Un étudiant obtient une plus grande distinction ou non

34. Résultats finaux • Les pourcentages d’erreur sont équivalents peut importe le test considéré. • Les grades de différents étudiants sont mal prédits. • Certains sont difficiles à placer dans une classe ou l’autre

35. Conclusion • Citons notamment que l'absence de justification pour le choix des paramètres et de la structure du réseau nous a conduit à travailler par essais et erreurs. Ceci ne remet pas en cause la validité de nos résultats mais nous ne pouvons affirmer avoir obtenu le plus haut degré de précision. • Nous avons, dans cette étude empirique, mis en œuvre une technique relative aux réseaux de neurones. Seules quelques pistes ont été exploitées et nous n'excluons pas qu'il soit possible d'obtenir de meilleurs résultats. De plus, le caractère singulier et ponctuel de l'étude empirique ne nous autorise pas à tirer des conclusions générales.