780 likes | 997 Views
Réseaux de neurones artificiels « programmation par l’exemple ». S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu. Plan de Route. études de cas nez électronique capteur logiciel prévision de charge entrante
E N D
Réseaux de neurones artificiels« programmation par l’exemple » S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu
Plan de Route • études de cas • nez électronique • capteur logiciel • prévision de charge entrante • modélisation de l’écrouissage • Conclusion : programmation à base d’exemples • l’apprentissage simple • une affaire de noyaux ! • qui se ressemble s’assemble • Réseaux de neurones • perceptrons multicouches • fonctions de bases radiales
Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares
Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.
Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Solution • programmation à base d’exemple • précision de la prévision • domaine de validité • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.
Nez électronique • Objectifs • remplacer un capteur coûteux par 6 capteurs « bon marché » • détecter certaines situation critiques • Données disponibles • 280 points de mesures • 12 variables mesurées (pentes et conductance des capteurs) • a priori • phénomènes « réguliers » • coût « absolu » • méthode • S.V.M. (un genre de réseau de neurones) • sélection des variables pertinentes par analyse discriminante • définition des zones d’ambiguïté • définition d’un domaine de validité du domaine • Résultats
Nez électronique Classe 1 Classe 3 Ambigus Classe 2 inconnus Régle de décision dans le plan de l’AFD
Capteur logiciel • Objectifs • valider les données d’un capteur physique de NH4 • remplacer ce capteur pour la détection • Données disponibles • 4 années, toutes les heures • 24 variables mesurées (pH, température, conductance, turbidité,…) • beaucoup de données manquantes • a priori • phénomènes « réguliers » • coût quadratique • méthode • réseau de neurones • sélection des variables pertinentes • prévision de l’erreur de prédiction par un autre réseau de neurones • définition d’un domaine de validité du domaine • Résultats
R.P.S. : Consommation journalière en 1988 Consommation en m3 Mois
Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain
RNA y = W f ( W f (W X) ) 2 1 1 3 2
Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain
Modèle de type “boite noire” Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Situation : X Information non observable Y yp = r(x) Algorithme de prévision La consommation du lendemain
Prévision de la classe de qualité du bois • But : Minimiser les erreurs de classement • Données : • 550 points de mesures • Entrées : mesures physique sur les planches • Sorties : point de rupture Classe • Informations a priori • nature des classes
Prévision de la charge entrante • Objectifs • prévoir quand et quelle quantité de polluant va arriver à . la station d’épuration • Données disponibles • 12 années, toutes les heures • 24 variables mesurées : pluie, charge entrante, température • a priori • phénomènes « réguliers » • coût quadratique • méthode • prévision de la pluie par un réseau de neurones • prévision de la charge par un second réseau de neurones • structurer les réseaux de neurones à priori • définition d’un domaine de validité du domaine
Optimisation de la qualité du verre (Saint Gobain) • But : Optimiser la fabrication • Données : • 127 points de mesures (plan d’expérience) • Entrées : quantités de “sables” • Sorties : mesures physiques • Informations a priori • pas de variations brusques (monotonie)
Écrouissage • Objectif • prévoir le comportement de l’alliage en fonction des forces • Données disponibles • simulations logiciel dans un premier temps • données réelles ensuite • a priori • phénomènes temporels à mémoire • coût quadratique • méthode • réseau de neurones récurrents (bouclés) • approche incrémentale • Résultats
Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps
Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique Pour une même valeur du couple (F,D) le futur est imprédictible Il faut connaître le passé du système f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps
Écrouissage : le modèle « statistique » e(t) = e(t-1) + D (f(t)-f(t-1)) z-1 Plastique/Elastique sp a-b e sm a+b 1 -a f(t) +1 x 1 -1 Monte/Descend f(t-1) 1 On cherche à « écrire » un programme, qui à partir d’une suite de « forces » calcule la réponse de la pièce
Écrouissage : résultats mesure modèle
Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification
Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification Modules logiciels
Que peut on faire ? • résumer • classer • prévoir
Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1 Les données
Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1
Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1
Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe (décider) • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn ? + X1
+ + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1
+ + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1
Modèle « boite noire » Prévision ^ y = r(X) X Entrées Observables erreur CRITERE Système Réel Entrées Non Observables Y = F(X, )
Les différentes étapes d’une application • Recueil des données brutes • génération de caractéristiques • sélection des caractéristiques pertinentes • étiquetage des classes • conception du classifieur • évaluation du système
notations espace des sources J coût d ’une règle de décision (erreur de prédiction)
Conclusion • C’est un outil dont il ne faut pas se priver • Les méthodes statistiques peuvent dans certains cas • apporter des solution originales à des problèmes « difficiles » • il faut disposer de données • on fait de la programmation à partir de données • la notion de « coût » est fondamentale • il faut disposer d’une bonne méthodologie • il était une fois un concours de prévision...
Modèle “Boite Noire”... Innovation Y = r(x) + (x) • fontion de prévision : r(x) • fonction de précision : (x) X { Système Réel Y = F(X, ) ...Minimise l’erreur de prédiction
Variance non constantedistribution non gaussienne P(Y/X=x) r(x) x
Variance non constantedistribution non gaussiènne P(Y/X=x) r(x) x
Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x
Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x
Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme
Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme • Pas de modèle : • si on veut pourvoir tout apprendre, il faut contrôler la complexité • Représentation des incertitudes : • fusion d’informations incertaines • Méthodologie et applications : • domaine de validité, intervalle de confiance, heuristiques