RESEAUX NEURONAUX

1. RESEAUX NEURONAUX .

2. OBJECTIFS • .

3. LES RESEAUX DE NEURONES • HISTORIQUE • LE MODELE BIOLOGIQUE • LES MODELES INFORMATIQUES • APPLICATIONS

4. LES TECHNIQUES D'INTELLIGENCE ARTIFICIELLE • LES GENERATEURS DE PROGRAMME • LES SYSTEMES EXPERTS • LES SYSTEMES BASES SUR LA CONTRAINTES • LA LOGIQUE FLOUE

5. HISTORIQUE1930-1950 LA GENESE • BOUCLES DE RETROACTION • AUTOMATES • CYBERNETIQUE WIENER • NEURONE FORMEL • MAC CULLOCH ET PICH • AUTOMATE CELLULAIRE • VON NEUMANN • PARADIGME DE MACHINE AUTOREPRODUISANTE • MACHINE DE TURING

6. HISTORIQUE1950 - 1970 L'EUPHORIE • AUTOMATES NEURONAUX • RECONNAISSANCE DE FORMES • NEURONES FORMELS • ADALINE WIDROW • PERCEPTRON ROSENBLUTT • CALCULS ANALOGIQUES • APPRENTISSAGE SANS RETROACTION

7. HISTORIQUE1970 - 1980 LA TRAVERSEE DU DESERT

8. HISTORIQUE1980 - ... LE RENOUVEAU • 82/85 HOPFIELD, RETROACTION, OPTIMISATION • 85-88 • RETROPROPAGATION, • MACHINE DE BOLTZMANN, • APPRENTISSAGE COMPETITIF, • CARTES TOPOLOGIQUES • SIMULATEURS, • PLAN ETATIQUES (USA JAPON CEE) • 88-91 • APPROFONDISSEMENT, APPLICATIONS, ATTENTES

9. RESEAUX NEURONAUXLES ATOUTS • PROGRAMMATION • PAR APPRENTISSAGE • SANS ALGORITHME • PARALLELISME • CALCULS INDEPENDANT SUR CHAQUE NEURONE • UTILISANT DES CIRCUITS SPECIALISES • GENERALISATION • TRAITEMENT DES EXEMPLES NOUVEAUX A PARTIR D'UNE GENERALISATION DES CARACTERISTIQUES DES EXEMPLES PRECEDANTS

10. RESEAUX NEURONAUXINCONVENIENTS • PAS DE GARANTIE DE RESULTAT • INSTABILITES • QUALITE DE L'APPRENTISSAGE

11. LE NEURONE BIOLOGIQUEDIAGRAMME CORPS CELLULAIRE SYNAPSE AXONE NOYAU DENDRITES NEURO-TRANSMETTEURS - excitateurs - inhibiteurs

12. LE NEURONE BIOLOGIQUELES TAILLES • DENDRITES • 0.N MICRONS • CORPS CELLULAIRE • N MICRONS • ASSURANT LA VIE DU NEURONE • L'AXONE • 1 millimètre-> 1 mètre • LA SYNAPSE • 0.01 microns

13. LE MODELE BIOLOGIQUE • ELECTRIQUE • AMPLITUDE CONSTANTE • VALEUR INFORMATION = FREQUENCE • CHIMIQUE

14. + LE MODELE BIOLOGIQUESCHEMATISATION SYNAPSE DENDRITES E1 CORPS W1 S W2 E2 • AXONE EN WN

15. LA VISIONCHEZ L'HOMME • RETINE = CELLULES PHOTO-SENSIBLES : • LES CELLULES BATONNETS, SENSIBLES A LA LUMIERE • LES CELLULES CONES, SENSIBLES AUX FORMES ET AUX COULEURS • NERF OPTIQUE • CORTEX VISUEL • ORGANISE EN COLONNES

16. LA GRENOUILLE • CELLULES D'ANALYSE DERRIERE L'OEIL • CHAMP DE VISION • UN OBJET MOUVANT PENETRE • UN OBJET MOUVANT PENETRE ET S'ARRETE • BAISSE GLOBALE ET SUBITE DE LA LUMINOSITE • UN PETIT OBJET SOMBRE ET ARRONDIS'Y DEPLACE DE MANIERE ERRATIQUE. FUITE ATTAQUE

17. LES MAMMIFERES CORTEX VISUEL CELLULES GANGLIONAIRES CELLULES COMPLEXES CELLULES SIMPLES CHAMP VISUEL

18. EXPERIENCES SUR LES CHATS

19. ETATS CONNEXIONS • LA COMMUNICATION RENFORCE LA CONNEXION • ETATS DES NEURO-TRANSMETTEURS • LABILE, POUVANT DIFFUSER, • STABLE, NE DIFFUSANT PAS, • DEGENERE, NE POUVANT PLUS DIFFUSE DEFINITIVEMENT. LABILE STABLE DEGENERE

20. 109 106 103 103 106 109 RESEAUX DE NEURONESCOMPLEXITE ABEILLE interconnexions/s SURVEILLANCE INFRA-ROUGE SURVEILLANCE RADAR RECONNAISSANCE DE LA PAROLE R A P I D I T E MOUCHE DETECTION DE CIBLE 89 SANSUE ROBOTIQUE SONAR 89 interconnexions STOCKAGE (DARPA 89)

21. LE NEURONE FORMEL ENTREES - binaires - entières - réelles SORTIE - binaires - entières - réelles E1 F S E2 EN

22. Heaviside Signe LE NEURONE FORMELAUTOMATES • BOOLEEN • MODELE DE MAC CULLOCH ET PITTS (194X) • ENTREES, SORTIES, ET FONCTIONS BOOLEENNE • A SEUIL • SORTIE BINAIRE • FONCTION DE SORTIE • HEAVISIDE • SIGNE 1 0 1 -1

23. LE NEURONE FORMELAUTOMATES • LINEAIRES • ENTREES SORTIES REELLES • A SATURATION • ENTREES SORTIES REELLES OU ENTIERES • FONCTION LINEAIRE A SATURATION Multi-linéaire

24. LE NEURONE FORMELLES AUTOMATES • CONTINUS • ENTREES SORTIES REELLES • FONCTION SOMMATRICE LINEAIRE • FONCTION DE CALCUL SIGMOIDE • PROBABILISTES • LES SORTIES SONT BINAIRES, • CALCULEES PAR UNE FONCTION STOCHASTIQUE

25. W W W APPRENTISSAGE • SOUMETTRE LE RESEAU A UN JEUX D'ESSAIS • REGLES MATHEMATIQUES • REGLE DE HEBB W actif actif inactif actif actif inactif inactif inactif REGLE DE HEBB

26. LE PERCEPTRONMODELE DE ROSENBLATT RETINE ASSOCIATION DECISION S1 E1 F F E2 F F S2 E3 F F S3 F F SN EN

27. PERCEPTRONMODELE D'ETUDE RETINE ASSOCIATION DECISION 0/1 0/1 S1 E1 0/1 Bool 0/1 0/1 E2 0/1 Bool S2 0/1 0/1 0/1 E3 Bool S3 0/1 0/1 Bool E4 0/1 SN

28. PERCEPTRONAPPRENTISSAGE • Wi = Wi + k(sortie désirée - sortie obtenue)*ei W 0 1 W 0 0 SORTIE DESIRE W 1 1 W 1 0

29. LE PERCEPTRONCARACTERISTIQUES • SI SOLUTION • CONVERGEANCE • EXISTANCE TAILLE MINIMUM POUR UN PROBLEME • LIMITATIONS -> ABANDON • LES PERCEPTRONS A CHAMP LIMITE NE PEUT RECONNAITRE DES FORMES CONNEXES • IMPOSSIBLE DE TRAITER LES FONCTIONS NON LINEAIREMENT SEPARABLES ex : XOR • TROUVE LA PREMIERE SOLUTION • NE TROUVE PAS LA MEILLEURE

30. REGLE DE WIDROW ET HOFF • NE PAS UTILISER DE SEUIL EN APPRENTISSAGE • TROUVE LA MEILLEURE SOLUTION WIDROW-HOFF PERCEPTRON

31. RESEAU MULTI-COUCHES COUCHE D'ENTREE COUCHE DE SORTIE COUCHES CACHEES INTERNES E1 S1 F F F E2 S2 F F F E3 S3 F F F EN SN F F F

32. LE MODELE EN COUCHES • CLASSIFICATIONS NON SEPARABLES LINEAIREMENT • RETRO-PROPAGATION DU GRADIANT • EXTENSION DE LA REGLE DE WIDROW-HOFF • FONCTION SIGMOIDE a -a

33. RETRO-PROPAGATIONDU GRADIENT • MINIMISER Y désiré X RESEAU S

34. RETRO-PROPAGATIONDU GRADIENT OU PAS ESSAI N i Wil Wki li Oi j k

35. RESEAU ENTIEREMENT CONNECTE

36. LE MODELE DE HOPFIELDSTRUCTURE • MONO-COUCHE TOTALEMENT CONNECTE • NEURONES A DEUX ETAT (-1/1) • FONCTION DE CALCUL SIGNE • MEMORISE UN CERTAIN NOMBRE D'ETATS • MEMOIRE ASSOCIATIVE • PAR CALCUL PREALABLE • MISE A JOUR • ASYNCHRONE ALEATOIRE (HOPFIELD) • ASYNCHRONE • SYNCHRONE

37. LE MODELE DE HOPFIELDAPPRENTISSAGE • FORCER LE RESEAU AUX VALEURS DES DIFFERENTS ETATS A MEMORISER. • COMPARAISON NEURONES • MEME ETAT => AUGMENTER LE POID • SINON => DIMINUER LE POID

38. LE MODELE DE HOPFIELDUTILISATION • INITIALISE LE RESEAU AVEC L'ETAT D'ENTREE, • EN PRINCIPE IL CONVERGERA VERS L'ETAT STABLE LE PLUS PROCHE • LE RESEAU SE COMPORTE DONC COMME UNE MEMOIRE ASSOCIATIVE ADRESSEE PAR SON CONTENU.

39. MODELE DE HOPFIELDDESAVANTAGES • ETATS STABLES SUPPLEMENTAIRES • LES RECHERCHER ALEATOIREMENT • APPLIQUER LA REGLE INVERSE POUR LES DESTABILISER • ORTHOGONALISATION NECESSAIRE • OUBLI CATASTROPHIQUE • AJOUT D'UN SEUL ETAT • DES METHODES D'OUBLI PROGRESSIF PEUVENT CORRIGER CE PROBLEME.

40. point de départ minimum local minimum global MACHINE DE BOLTZMANN • 1985 AMELIORATION DU MODELE HOPFIELD • CORRECTIF DECROISSANT POUR EVITER LES MINIMUMS LOCAUX

41. MACHINE DE BOLTZMANN • NEURONES SUPPLEMENTAIRES POUR DISTINGUER LES ETATS PROCHES • N NEURONES VISIBLES • M NEURONES CACHES. • FONCTIONNEMENT • LIBRE : TOUS LES NEURONES EVOLUES • FORCE : SEULS LES NEURONES CACHES EVOLUENT.

42. LE MODELE DE KOHONEN • AUTO ADAPTATIF • TYPER ET LOCALISER LES NEURONES • CREATION/DESTRUCTION DE NEURONES • PROJECTION • COMPRESSION DE DONNEES • MEILLEURE ADAPTATION AU BRUIT • APPLICATION • MINIMISER LES CHEMINS • FILTRES • RECONNAISSANCES DE FORMES

43. APPLICATIONS RESEAU RETRO HOPFIELD BOLZMANN KOHONEN APPLICATIONS PROPAGATION CLASSIFI -CATION TRAITEMENT IMAGES AIDE A LA DECISION OPTIMISATION * * * * * * * * * * * *

44. CONDITIONS D'APPLICATION • NE PAS CONNAITRE • DE SOLUTION ALGORITHMIQUE • DE SOLUTION ASSEZ RAPIDE • DONNEES BRUITEES • PROBLEMES DONT LES CONDITIONS VARIENT • DISPOSER D'UN JEUX D'EXEMPLES

45. RECONNAISSANCE DE FORMES • OCR : CARACTERES • NESTOR : RECONNAISSANCE DE CODES POSTAUX 97,7% • OCR/90 CODES POSTAUX US (BELL) • 6 couches 4635 neurones • 98442 interconnexions (2578 paramètres) • 7300 exemples • 90 % correctement classés , 9% rejetés • 1% incorrectement classés • EasyReader Classic (93) • basé sur OCR NeuronEye • 12 langue prix <1500

46. RECONNAISSANCEDE CARACTERES • FORMSCAN DE ITESOFT • ANALYSE DE FORMULAIRE • OCR RESEAUX NEURONAUX • CORRECTION SYNTAXIQUE PAR DESCRIPTION DES CHAMPS • CORRECTION MANUELLE • 55 KF SUR P.C.

47. RECONNAISSANCE DE FORME • Appledjjn : Apple+France telecom • modem-fax avec OCR intégré • OCR Mimetics • CIRCUIT ASIC • MIMETICS / INNOVATIC • FONDEUR : SGS THOMSON • 1500 CARACTERES/SECONDE • 40000 connexions • 3000 frs • 30 fois plus rapide qu'un processeur ALPHA

48. TRAITEMENT DU SIGNAL • MAINTIENT D'UN BALANCIER

49. VISION/PAROLE • NETTalk : SYNTHESE VOCALE DE TEXTE • 300 NEURONES • REUSSITE 95% • GENERALISATION 80%

50. PREVISION / MODELISATION • PREVISION D'UTILISATION D'OPTIONS D'ACHATS • 23 neurones. 90 % GENERALISATION 80%