Commande d’un processus de fabrication par un système de vision

1. Commande d’un processus de fabrication par un système de vision El Sahmarani Khaled

2. Sommaire • Contexte et motivation • Problématique – Étude préliminaire • La commande par vision • Applications et résultats • Conclusions et perspectives

3. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Contexte et motivation • Besoins industrielles (SERPAC Industries) • Optimisation de système de commande • Limitation de câblage • Imposer un système intelligent (robotique) • La vision dans le monde industriel • Investissement à l’échelle mondiale • Système matériel et logiciel complexes (technologie embarqué et algorithme de traitement) • Impact économique • Avantages et inconvénients

4. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Système de commande actuel • Partie opérative • Partie commande • Supervision, maintenance et surveillance • Capteurs • actionneurs

5. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Structure Classique Planification et Ordonnancement Maintenance Supervision COMMANDE Surveillance Capteurs PARTIE OPERATIVE Actionneurs Organisation d’un système de commande • Diversité des capteurs  diversité des modes de défaillance • 80% des défaillances sont dus aux capteurs • Défaillance de système de conduite (actionneur, câblage parfois des dizaines de mètres) • La sûreté de l’installation (défaillances en cascade, diagnostic) • Pertes en cours de production (rebut) • Temps de mise en œuvre trop important  Solution (SERPAC) : limiter le nombre de capteur

6. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Proposition d’une nouvelle structure • Limitez le nombre de capteur  facilite la mise en œuvre (1 seul outil) • Diminution de temps d’installation • Diminution de matériel de câblage • Flexibilité de l’outil de vision • Facilité la phase de surveillance • Facilité la phase de supervision • Type de donnée exploitable (détection de mvt, reconnaissance, identification, position, vitesse) Vision system

7. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Étude préliminaire • Maquette de tri de colis (SERPAC) • Tri en fonction de la taille des colis • Matériel vision : webcam, matlab • Automate: TSX Micro, PL7 V4.2 • Détection de présence • Transfert vers l’organe de commande • Port série • Ethernet  Problèmes: perturbations et luminosité

8. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Remplacer les capteurs classiques par un capteur intelligent (vision) Limiter le câblage Exploitation de la vision pour la minimisation des pertes en ligne Structuration de la partie opérative autour de la vision Améliorer la partie supervision et surveillance Structure Classique Ordonnancement Ordonnancement Structure Nouvelle Commande Planification et Ordonnancement Commande Capteur 1 … …… ……. Capteur .n Planification et Ordonnancement Traitement Actionneur Actionneur Capteur Vision Maintenance Supervision Partie opérative Maintenance Supervision Partie Opérative Surveillance Ordonnancement Ordonnancement COMMANDE Commande Supervision Surveillance ??? PO, Capteur Commande Surveillance, Supervision Vision, image PO, Capteurs PARTIE OPERATIVE COMMANDE Actionneurs Surveillance Capteurs PARTIE OPERATIVE Actionneurs Intégration de la vision Vision

9. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Comparaison entre capteurs classiques et système de vision • Qualité d’information des capteurs classiques • Mesure vitesse, position, etc. • Capteur de présence • Mesure physique, pression, force, etc. • Besoin d’instrumentation ou de convertisseur Signaux compatibles avec les cartes d’entrée des automates (pour les analogique 4-20mA, 0-5/10V, pour les logiques 24V ) • Qualité d’information du système de vision • Capture de mouvement • Capture de position, vitesse, accélération • Identification de défaut • Localisation et reconnaissance de forme • Possibilité de communiquer avec plusieurs terminaux ou automates. Système unique Plusieurs types de capteurs

10. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Les limites • Certaines mesures physiques (poids, volume…) • Très haute cadences  système de vision limité à quelques centaines d’images par seconde • Défaut d’éblouissement (détectable mais pas inévitable) • Défaut de pixellisation ( µm mais pour des petites distances) • Fiabilité logicielle (traitement d’image, matlab!) • Luminosité

11. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Structuration de la commande par des modules Grafcet Algorithmes classiques de traitement d’image Algorithmes classiques de traitement d’image Commande par vision • Développements, différents systèmes de commande: • Algorithme de traitement d’image très élaborés, tout embarqués (coût élevé) • Algorithme de traitement d’image classique, avec une structure de commande complémentaire (solution moins cher)

12. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Algorithmes de vision • Détection de contour (Harris, Canny) • Reconnaissance de forme et identification de défaut • Corrélation • Hough • Freeman • Identification de couleur

13. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Algorithme de vision, comparatif • Étude morphologique, • Reconnaissance de forme et identification de défaut • Hough • Freeman Résultat visuel, bleu (Hough) et rouge (Freeman)

14. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Modèle choisi Acquisition d’image Filtrage Récupération ZOI ou capteurs virtuels Détection de mouvement ou de présence Localisation de pièce ou de forme Identification de défaut COMMANDE TRAITEMENT Grafcet détection de présence/mouvement (Macro 4) Grafcet conditions Initiales (Macros 1) Grafcet Maître Grafcet Localisation (Macro 5) Grafcet initialisation Système de vision (Macro 2) Grafcet Identification (Macro 6) Architecture opérationnelle, principaux modules Modules ou algorithmes choisis Modèle de commande

15. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Probabilité de défaillance Probabilité de défaillance Vision 2 vision Détection de présence Actionneur Perturbation Localisation Vision 1 vision Identification identification Actionneur Acquisition Tcap1 Tcap3 Luminosité Détection de présence Passage intempestif Tcap2 Localisation Localisation Tcap4 Convoyeur Vérin hydro2 Vérin hydro1 identification Identification Vibration Acquisition Convoyeur Vérin hydro2 Vérin hydro1 Probabilité de défaillance Vision vision Actionneur Perturbation Détection de présence Localisation Localisation Luminosité Convoyeur Vérin hydro2 Identification identification Passage intempestif Vérin hydro1 Acquisition Vibration Perturbation Performances, Arbres de défaillance Système classique Système avec vision redondant Système avec vision

16. Choix matériel et logiciel Redondance Choix des zones d’intérêt Test et simulation par apprentissage Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Applications, commande par vision Étape initiale, aspect matériel Choix fonctionnels

17. Cahier de charge, spécification de l’installation et des produits. Caméra usb, fire wire, ethernet (Imasys) Programme : Sherlock 6.0 Matlab Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Étape initiale, aspect matériel • Choix matériel et logiciel • Redondance • Choix des zones d’intérêt • Test et simulation par apprentissage

18. Nombre de caméra Position pour les zones de redondance Choix de priorité (maître, esclave) Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Étape initiale, aspect matériel • Choix matériel et logiciel • Redondance • Choix des zones d’intérêt • Test et simulation par apprentissage

19. Nombre de capteurs classiques à remplacer Dimensions des zones ou capteurs virtuels Choix des algorithmes correspondants à ces zones Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Étape initiale, aspect matériel • Choix matériel et logiciel • Redondance • Choix des zones d’intérêt • Test et simulation par apprentissage

20. Choix des images de pièces types à contrôler Test des algorithmes de traitement d’image Maquette de simulation Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Étape initiale, aspect matériel • Choix matériel et logiciel • Redondance • Choix des zones d’intérêt • Test et simulation par apprentissage

21. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels • Conditions ambiantes de fonctionnement • Vitesse d’acquisition • Type d’image couleur: • RGB • YCbCr

22. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels • Transformation en niveau de gris • Filtre sélectif de couleur

23. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels • Filtre bidimensionnel, moment supérieur • Harris • Canny

24. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels • Localisation par corrélation • Localisation dans la transformée de Hough

25. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats à la partie commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels Par étude morphologique comme: • Par la transformée de Hough • Par le code de Freeman

26. Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et reconnaissance de forme Identification de défaut Transmission des résultats et commande Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Choix fonctionnels • Par réseau Ethernet • Par Serial Link • Firewire • Autres….

27. Étude de cas, cahier des charges Spécifications techniques et outillage Montage et programmation Simulation et essai en plate-forme Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application chez SERPAC, Tri de colisreconnaissance de forme

28. Identification de défaut et reconnaissance de forme Algorithmes de détection de défaut ou de reconnaissance par étude morphologique Tri de noix, par identification de couleur Élaboration d’algorithme de détection de défaut par colorimétrie Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application à l’AIP

29. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Première tâche Deuxième tâche Troisième tâche Identification de qualité par couleur Localisation des noix Calculd’angle Machine pour casser les noix Entrée des noix Convoyeur........... Rejet des noix de mauvaise qualité Réorientation des noix mal placer Quatrième tâche Machine pour casser les noix Qualitéducerneau Cerneau endommagé ou de mauvaise qualité Convoyeur Cerneau intact et de bonne qualité Application, tri de noix • Détection de contour  nb de noix / image • Identification de couleur  qualité des noix (supérieur ou non) • Orientation des noix (par Hough) • Qualité du cerneau (identification de couleur) • Interface homme machine pour la supervision

30. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application, tri de noix • Détection de contour  nb de noix / image

31. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application, tri de noix • Identification de couleur  qualité des noix (supérieur ou non) La couleur recherchée est mieux identifiée dans le premier noix

32. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application, tri de noix • Orientation des noix (par Hough) Transformée de Hough Orientation de noix par Hough, l’angle où le fuseau de Hough est le plus large représente l’orientation du noix

33. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application, tri de noix • Qualité du cerneau (identification de couleur) Nb de pixels identifiés 1940 1277

34. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Application, tri de noix • Interface homme machine pour la supervision

35. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Conclusions • Optimisation du système de commande • Remplacement des capteurs matériels par des virtuels. • Exploitation de la vision pour la supervision et le surveillance • Technologie embarqué permet d’alléger la programmation de la partie commande (temps de cycle automate) • Adaptation à divers modèles de commande • Compatibilité des algorithmes aux différentes applications (mouvement, présence, colorimétrie…) • Détection de défaut, limitation des pertes de fabrication

36. Contexte et motivationproblématique commande par vision applications et résultats conclusions et perspectives Perspectives • Validation de l’architecture sur une maquette industrielle • Tester la sûreté de l’installation, essai sous contraintes (luminosité, vibration…) • IHM (Interface Homme Machine) • Proposition de systèmes multi-capteurs • Test de fiabilité logicielle (algorithme de traitement d’image). • Système de vision sans fil