Céline Hudelot Comité de thèse du 26/06/2003 Directeur de thèse: M. Thonnat

1. Plate forme pour la reconnaissance automatique d’objets complexesApplication au diagnostic précoce des pathologies végétales Céline Hudelot Comité de thèse du 26/06/2003 Directeur de thèse: M. Thonnat Encadrée par : P. Boissard

2. Plan de la présentation • Introduction • Présentation de la plate forme: • SBC d'Interprétation • SBC d’Ancrage • SBC de Traitement d’Images • Application aux maladies des rosiers

3. Introduction • Objectifs • Plate forme de vision cognitive pour la reconnaissance d’objets naturels complexes dans leur environnement • Proposer des solutions génériques et réutilisables: indépendantes de toute application

4. Introduction • Vision Cognitive • Etude de l’acquisition et de l’utilisation de la connaissance et du raisonnement en vision par ordinateur (réseau ECVision) • De la « reconstruction visuelle » au « Ordinateurs qui savent voir »

5. Introduction • Reconnaissance d’objets: • 3 sous problèmes : • Traitement d’images -> description numérique des objets • Transformation numérique <->symbolique • Interprétation données symboliques pour la reconnaissance

6. Introduction • Objets naturels • Pas de formes géométriques prédéfinies: • Variabilité et complexité expertise du domaine nécessaire • Environnement naturel: • Objets multiples et divers Nécessite connaissance et raisonnement sur la scène • Différents contextes Nécessite d ’adaptation

7. Introduction • Exemples d’images de pathologies de rosier

8. Requête d'Ancrage Description symbolique de la scene Données numériques Requête de TI La plate forme proposée • Trois niveaux connaissance et raisonnement SBC d'Interprétation Interprétation : Oïdium précoce, développement mycelien important BC dédiée au domaine d'application Moteur d'Interprétation Acquisition de la connaissance du domaine avec des concepts visuels SBC d’Ancrage BC dédiée aux concepts visuels et au management de données Moteur d'Ancrage Image courante SBC de Traitement d’Images Bibliothèque de programmes de TI BC sur l'utilisation des programmes de TI Moteur de pilotage de programmes

9. SBC d'Interprétation • Rôle: • Guider l’extraction de l’information dans les images par propagation d'hypothèses sur les objets attendus • Trouver la classe des objets effectivement présents dans l’image • Interpréter la scène de manière identique à l’expert du domaine: • utilisation de terminologie, voire taxonomie du domaine

10. SBC d'Interprétation • Modélisation de la connaissance • Arbre de spécialisation de classes d’objets du domaine • Arbre de sous-partie attaché à chaque classe d’objets reflète la taxonomie du domaine • Représentation sous forme de frames avec des attributs et des champs prédéfinis

11. SBC d'Interprétation • Acquisition de la connaissance: • Apport du génie ontologique • Ontologie : ensemble de concepts, de relations entre concepts et d ’axiome permettant de définir un domaine: • [maillot03]: apports d’une ontologie de concepts visuels pour la description d ’objets: • concepts spatio-temporels • concepts de couleur • concepts de texture Concepts du domaine décrits par concepts visuels

12. SBC d'Interprétation • Raisonnement • Parcours en profondeur d ’abordde l’arbre des classes du domaine • Hypothèse d’objets physiques par envoi d’une requête d’ancrage: guide l’extraction d ’information • Mise en correspondance de la description symbolique reçue du niveau inférieur avec les classes prédéfinies • Raffinement de l interprétation

13. SBC d ’Ancrage • Ancrage: • « Connecter dans un système artificiel les symboles (représentations abstraites) et les données provenant des capteurs » [coradeschi99] • Rôle: • Etablir correspondance entre représentations symboliques et données images correspondant au même objet physique

14. SBC d’Ancrage • Formalisation de la connaissance: • Connaissance déclarative: • Concepts visuels: • spatio-temporels (ex: Ligne, disque, et descripteurs : taille, élongation...) • couleur (ex: teinte, luminosité,…) • texture • Relations spatiales : • topologiques, de distance et d’orientation • Requête d ’Ancrage: hypothèses d’objets visuels • 2 types: requête objet isole, requête d ’analyse de scène

15. SBC d’Ancrage • Formalisation de la connaissance: • Connaissance procedurale: • Critères de traduction: de données symboliques en données numériques • Critèresd’extraction d’objets: initialiser recherche information par génération de requêtes de TI • Critères de vérification: diagnostiquer les résultats obtenus • Critères d’analyse de scène: management des données dans le cas d’objets multiples

16. SBC d ’Ancrage • Raisonnement • Construction requête TI selon description objets visuels attendus (Critère d ’extraction d ’objets) • Sélection et mise en correspondance données images extraites et description d ’objets visuels. (critères de vérification) • Instanciation et envoi objets au SBC d’Interprétation • Raisonnement spatial: cas d’objets multiples

17. SBC de Traitement d’Images • Rôle : • Extraction et description numérique des objets • Construction dynamique du traitement en s ’adaptant à des conditions variables : contexte du traitement

18. SBC de Traitement d’Images • Formalisation de la connaissance: • Connaissance déclarative: • Buts: fonctionnalité de traitement d’images (ex: seuillage, détection de contours) • Opérateurs: connaissance pour résoudre un but donné: • primitifs: programme particulier • complexes: combinaison de programmes • Requêtes: instanciation d’un but à atteindre, données d entrée nécessaires, contraintes

19. SBC de Traitement d’Images • Formalisation de la connaissance: • Connaissance procedurale: • Critères varies implementés par des règles de production: • Critères de choix: choisir entre plusieurs alternatives • Critères d’initialisation: régler l'exécution • Critères d’évaluation: diagnostiquer la qualité des résultats • Critères d’ajustement et de réparation: réparer une mauvaise exécution

20. Requête utilisateur + données Base de connaissance de pilotage Moteur de pilotage 7 2 1 Planification Exécution plan (Partie de) résultats correct 4 6 5 3 Bibliothèque de programmes Réparation Evaluation Actions correctrices jugements incorrect SBC de Traitement d’Images • Raisonnement: • Sélection des programmes dans une bibliothèque de programmes de TI • Exécution programmes sélectionnés • Evaluation des résultats et adaptation si besoin

21. Conclusion sur la plate forme • Une plate forme générique de vision cognitive • 3 moteurs avec des raisonnement adaptés pour séparer les sous problèmes: • interprétation • ancrage • pilotage de programme • Concepts de connaissance et structure adaptés aux différentes expertises: facilite la construction des SBC

22. Application aux pathologies végétales • Enjeux biologiques: • Détection précoce des pathologies • Quantification précise de l’infection • A plus long terme, intégration dans un système de Production Intégrée des Cultures (PIC) • Réduction de l’utilisation de pesticide : meilleure pour l’environnement, moins nocive pour les agents

23. Application aux pathologies végétales • Pourquoi la vision cognitive ? • Diagnostic pathologies végétales = acte visuel visant à déduire la présence de maladies par l ’observation des signes et symptômes • SAVOIR VOIR : se focaliser sur les critères pertinents • SAVOIR RAISONNER : interprétation des signes et symptômes en terme de maladies Véritable problème vision cognitive

24. Application aux pathologies végétales • Acquisition d’images de pathologies • 1ere année : Expérimentations sur • Choix du capteur (multi-résolutions) • De la procédure d’acquisition (In situ non destructif vs en laboratoire destructif) • De la procédure d’échantillonnage : • choix des organes à observer • définition de précoce : ce qu’on ne peut pas voir à l ’œil nu • Etude de faisabilité

25. Application aux pathologies végétales • Acquisition de la connaissance pathologique • Par interviews de Philippe Nicot et Marc Bardin (INRA Avignon) • Utilisation d’outils dédies: Annotate et Ontovis Mise en évidence des concepts biologiques importants pour la reconnaissance

26. Concepts visuels de forme et descripteurs Arbre des concepts experts ex: puceron Zone décrite Arbre des composants ex: corps Application aux pathologies végétales • Ontovis: interface graphique pour la description d ’objets a l ’aide d ’une ontologie de concepts visuels [maillot2003]

27. Application aux pathologies végétales • Base de connaissance du domaine: • Description des signes et symptômes des signes observables pour le rosier de serre • Association organe/symptômes • Actuellement: organe observé = feuille

28. Saine Acariens specialise Feuille Ravageurs Aleurodes Conidies Non Saine Pucerons Virus Compose Tube germinatif rouge Oidium Tissu vegetal Maladies fongiques Colonie mycelique vert Nervures Penicilium Fructifiant Application aux pathologies végétales • Base de connaissance du domaine: • Mycelium: • Composant de : Maladie fongique • composee de au moins 2 Hyphae • nb_hyphae = {inconnu} • Hyphae: • Composant de : Mycelium • Concept spatial : ligne • ligne.epaisseur:= {fine, tres fine} • ligne.direction:={presque droite} • Concept couleur: luminosite={claire} • ...

29. Application aux pathologies végétales Exemple • Mycelium: • Composant de : Maladie fongique • composee de au moins 2 Hyphae • nb_hyphae = {inconnu} • Hyphae: • Composant de : Mycelium • Concept spatial : ligne • ligne.epaisseur:= {fine, tres fine} • ligne.direction:={presque droite} • Concept couleur: luminosite={claire} • ... SBC d’Interpretation Insecte Non saine Virus M Fongique Requete d’Ancrage • Requête d’Ancrage: • Type : Scène • au moins objet visuel 1 : ligne • ligne.épaisseur:= {fine, très fine} • ligne.direction:={presque droite} • nombre objet1 : inconnu • contraintes spatiales : connexité • Requête d’Ancrage: • Type : objet seul • description spatiale : ligne • ligne.épaisseur:= {fine, très fine} • ligne.direction:={presque droite} • description couleur: luminosité={claire} • description texture : aucune SBC d’Ancrage

30. Application aux pathologies végétales SBC d’Ancrage • Requête d’Ancrage: • Type : objet seul • description spatiale : ligne • ligne.épaisseur:= {fine, très fine} • ligne.direction:={presque droite} • description couleur: luminosité={claire} • description texture : aucune • Concept visuel : Ligne • Attributs haut niveau • epaisseur={fine, tres fine, moyenne,epaisse} • droiture={courbe, presque droite, droite} • epaisseur-homogene = {vrai, faux} • … • Attributs image • type • Extremites (x1,y1), (x2,y2) • largeur ... • Longueur … 1 • Hypothese objet visuel • description spatiale : ligne • ligne.épaisseur:= valeur1 • ligne.direction:=valeur 2 • description couleur: luminosité=valeur 3 Critere d ’extraction: Si ((type-objet = ligne) et (ligne.epaisseur ={fine, tres fine}) Alors Ligne.image.type = crete et Requete TI = Extraction de cretes Critere de traduction: Si (ligne.epaisseur = connue) Alors Ligne.image.largeur = tableau[][] 2 • Requete TI : Extraction de cretes • but : extraction de cretes • contraintes: • ridge.largeur = [1..3]

31. Crete 1 • + parametres descriptifs • Crete 2 • + parametres descriptifs • Crete 3 • + parametres descriptifs Application aux pathologies végétales SBC d’Ancrage • Concept visuel : Ligne • Attributs haut niveau • epaisseur={fine, tres fine, moyenne,epaisse} • droiture={courbe, presque droite, droite} • epaisseur-homogene = {vrai, faux} • … • Attributs image • type • Extremites (x1,y1), (x2,y2) • largeur ... • Longueur … • Instance objet visuel 1 • Ligne • Ligne.epaisseur={fine} • Presque droite • Longueur = [...] • Hypothese objet visuel • description spatiale : ligne • ligne.épaisseur:= valeur1 • ligne.direction:=valeur 2 • description couleur: luminosité=valeur 3 Instance objet visuel 2 Ligne Ligne.epaisseur={ tresfine} Presque droite Longueur = [...] Critere de verification Si ligne.image.longueur > 15 *ligne.image.largeur alors line-extraction est validee 5,7 4 3

32. Application aux pathologies végétales

33. Requête d'Ancrage Aphids Insects Acarids Aleurods Application aux pathologies végétales • Une application generique Interpretation Aleurod with its eggs Interpretation Aleurods: Sub class of Insects Comp of Body: has shape={surface} Body.taille = {big} Body.elongation ={important} has color={white} Comp of antenna … Can have eggs in neighborhood Ancrage • Seuillage region claire • + contraintes : • taille = importante Pilotage de programmes TI + parametres descriptifs

34. Application aux pathologies végétales • Exemple raisonnement spatial: • Critère d ’analyse de scène: • Si au moins est présent • nombre = 0 • Pour tout objet de la relation • analyse de l’objet (Requête objet simple) et vérification relation • si succès, nombre = nombre +1

35. Application aux pathologies végétales

36. Communications scientifiques • Rapport technique (06/2002): Etude de faisabilité d ’un système d ’acquisition d ’images de végétaux pour la détection précoce de pathologies • http://www-sop.inria.fr/orion/personnel/Celine.Hudelot • Worshops: • bio: • Rencontres groupe Oidiums INRA Frejus (04/2002) : Apport de la vision par ordinateur pour la détection précoce de pathologies • Colloque International Tomate sous abri (09/2003): An automated approach to monitoring the sanitary status and to detect early biological attacks on plants in greenhouse- Examples on flower crops • vision: Vision system control architecture (04/2003): An Architecture for Knowledge Based Vision Interpretation

37. Communications scientifiques • Conferences: • International Conference on Tools with Artificial Intelligence: ICTAI 2003: • A Cognitive Vision Platform for Automatic Recognition of Natural Complex Objects (soumis)

38. Travaux Futurs • Implémentation de la plate forme: • Utilisation de LAMA, plate forme pour le développement de systèmes à base de connaissances • Ajout d’un raisonnement à plusieurs échelles pour le système d’interprétation • Ajout éventuel de la composante temporelle • Evaluation des résultats et validation de la plate forme avec l ’application de détection des pathologies