- TEMICS - Traitement d ’Images, Modélisation et CommunicationS

1. Séminaire d ’évaluation du programme 3B (15-16/3 2001) - TEMICS -Traitement d ’Images, Modélisation et CommunicationS

2. Quelques dates, chiffres et mouvements • 1997: TEMIS (Traitement, Exploitation et Modélisation d ’Images Séquentielles) se scinde en deux projets • TEMICS -> Thème fédérateur : « Image et Communication » -> 18 personnes (dont 2 chercheurs INRIA, 1 Mdc, 1 IR CNRS, 1 IE INRIA (50%)) • VISTA -> Thème fédérateur : « Modélisation statistique, vision dynamique et vision active » • Mouvements: Arrivées -> 1 DR INRIA (Nov. 97), 1997-2001 1 CR INRIA en détach. (Sept 98), 1 CR CNRS (Janv. 2000). Départs -> 1 DR INRIA (reste à 10%); changement chef de projet (Mars 99), 1 IE INRIA • Doctorants: 8 soutenances sur la période 1997- Fév. 2001

3. Composition au 15 Mars 2001

4. Objectifs en 1997 (création du projet) Thème fédérateur : « Image et Communication » (Analyse,modélisation, édition, et communication) • Conception de schémas robuste d ’analyse spatio-temporelle (segmentation, suivi) de séquences et d ’extraction des attributs (mouvement, forme, illumination, …) des objets • Spécification de modèles conjoints pour l ’analyse d ’objets réels et synthétiques avec comme contexte la réalité augmentée • Adéquation de la représentation/compression de l ’information visuelle avec les protocoles réseau, notamment dans un contexte de réseaux hétérogènes

5. « Infléchissements » sur la période 1997-2001 • Fédération des efforts en analyse, codage et codage conjoint pour fonctionnalités telles que: • interactivité (manipulation, navigation), • prise en compte des modèles de canal ; • Elargissement de la problématique codage conjoint à des liens sans fils; • Démarrage de travaux en tatouage d ’images et de séquences vidéo.

6. Axes de recherche (à partir de 1999) • Analyse, modélisation, édition de séquences vidéo L. Amsaleg, L. Morin, H. Nicolas, S. Pateux 4 thèses soutenues + 5 thèses en cours • Codage et codage conjoint source-canal pour communication vidéo C. Guillemot, C. labit (10 %) 4 thèses soutenues + 4 thèses en cours • Tatouage d ’images et de séquences vidéo C. Guillemot, S. Pateux 1 thèse en cours

7. Bilan • Principaux résultats algorithmiques • Analyse, segmentation, suivi temporel (approches régions et contours) • Codage basé régions, et codage basé sur une représentation par maillages • Modélisation 3D pour compression et navigation • Edition de séquences pour post-production • Codage conjoint pour communication sur IP (codage robuste, contrôle de congestion point-à-point et multi-point, transformations redondantes) • Codage conjoint pour communication sans fils (décodage turbo) • Tatouage d ’images • Logiciels • Bilan factuel (publications, visibilité, collaborations)

8. Objectifs: • Segmentation avec bonne localisation spatiale + suivi temporel • Gestion objets multiples et déformables • Représentation compacte et scalable Bilan (1): Analyse, segmentation, suivi temporel • Première approche:Suivi temporel basé-contours • Utilisation de contours actifs dans un cadre multi-objets • Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires Contour actif Attache aux données Terme de régularisation Minimisation de:

9. Bilan (2): Analyse, segmentation, suivi temporel • Seconde approche:Approche orientée-régions • Segmentation spatiale d ’images basée sur des outils de morphologie math. • Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions • Interface Graphique pour le suivi interactif

10. Bilan (3): Analyse, segmentation, suivi temporel Codage basé régions • Segmentation basée mouvement avec modèles de mouvement affines • Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction) MPEG-2 (1 Mbits/s) Region (1 Mbits/s)

11. Bilan (4): Représentation par maillages • Objectifs • Suivi des déformations par maillage actif • Maillage propre à un objet vidéo • Modélisation hiérarchique adaptative • Résultats • Concept de lignes de ruptures • Schéma de codage vidéo basé maillage • Optimisation R-D des maillages

12. Bilan (5):Représentation/compression basées modèles 3D • Objectifs: • Objectifs de compression et de navigation dans de grandes scènes • Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) • Représentation compacte et scalable des modèles et attributs. Approche: • Estimation de mouvement par maillage • Critères mixtes compression-qualité rendu • Suite modèles 3D + images clés texture + position caméra; schéma IPP R=117kb/s, format CIF, fr=25Hz Rec3D H263

13. Bilan (6): Edition de séquences • Objectifs: • Manipulation d ’objets dans une séquence • Mélange réaliste d ’objets synthétiques et d ’objets naturels Analyse Analyse du mouvement + segmentation Reconstruction d’images panoramiques Analyse des conditions d ’éclairement Synthèse Création de nouvelles trajectoires Harmonisation conditions d ’éclairement

14. Bilan (7): Edition de séquences Détermination de la direction d ’éclairement Détection des variations d ’éclairement Segmentation de l ’ombre

15. Bilan (8): Codage conjoint source-canal(IP+sans fil) • Optimiser la QoS en prenant en compte les modèles de la source et du canal • Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils) • Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal • Equilibre approches compatibles et non compatibles

16. Bilan (9) Codage conjoint compatible: redondance temporelle Objectif:transmission robuste aux pertes Estimation compensée en mvt de la propagation des pertes Métriques de performance débit-distorsion taux de pertes=10% Modèle de test H263 Optimisation R-D avec prise en compte du canal

17. + d + d t + d t n feed buff n feed £ ò ò ~ + B ( t ) R ( t ) dt ( t ) dt e R e n N t t n n Bilan (10) Codage conjoint compatible: contrôle de congestion Objectif:Adaptation à la bande passante • Modèles de prédiction de bande passante • Régulation de débit en point-à-point 5% pertes, Rennes-Stuttgart

18. Bilan (11) Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint Objectif:Adaptation à la bande passante en multi-point • Algorithme de clustering et d’agrégation (Planète) • Représentation scalable • Modèles et régulation par niveau de scalabilité Récepteur 1 (50Kbit/S) Récepteur 3 (100Kbit/s) Récepteur 2 (100Kbit/s)

19. Bilan (15): (Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils) Objectif:Exploiter la corrélation résiduelle ou introduite • Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2) • Décodage souple de VLCs, basé sur estimateur de type MAP • Turbo décodage source-canal • Synchronisation “douce” de VLCS Réseau Bayésien aléatoire

20. Bilan (16): Codage conjoint non compatible Transformations redondantes Objectif: Introduire de la corrélation au niveau de la représentation de source • Introduire de la redondance dans la représentation compressée du signal • Exploiter la diversité dans un contexte de transmission multi-canal Décodeur de source décodage syndrôme Projec tion Codeur de source codeur de canal canal Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées) Décodage basé syndrôme (n,1) (n,n) (n,k) (k,k) (k,1) F « Bonnes » bases de décomposition? Mise en forme du bruit de quantification

21. Bilan(17): Tatouage d ’images fixes et animées • Objectifs • Insertion de marque robuste • Invisibilité de la marque (masquage psychovisuel) • Résistance aux attaques • Analogie avec le codage canal • Premiers résultats • Modélisation des attaques • Analogie codage canal • technique d ’étalement de spectre • utilisation de code correcteurs • définition de la capacité d ’insertion originale tatouée Attaquée (JPEG 10%) Message inséré: Temics

22. Bilan (18): Logiciels Logiciels avancés • Logiciel de segmentation et de suivi interactif d’objets vidéo • Logiciel de création d’images mosaïques intégré sous forme de “plug-in” dans le logiciel “after-effect” de post-production Logiciels prototypes • Plate-forme de communication: expérimentation, validation algorithmes dans des conditions aussi réalistes que possible • Librairie d’outils de traitement d’images et de développement de démos interactives

23. Visibilité Publications Autres: Coordination scientifique CNRT-TIM (S. Pateux) Coordination réseau d ’actions intégrées Franco-Marocaine (C. Labit) Editeur associé IEEE Trans. on image processing (C. Guillemot) Membres CT2 RNRT (C. Labit 98-99, C.Guillemot 2000) Participation évaluation propositions IST (99-2000), SFI (C. Guillemot) Membres comités techniques nationaux GRETSI (C. Labit), et internationaux: VCIP, NSIP, IEEE-IMDSP (C. Guillemot) .

24. Collaborations Inria Programme 3B • VISTA • SIAMES • SYNTIM Thèmes Analyse de mouvement, indexation et BDs Outils de modélisation 3D pour champs denses de référence (RNRT-V2NET, IST-Openise) Représentation hiérarchique de scènes 3D (CTI-CNET); intégration outils dans « after-effect » Hors programme 3B • RODEO/PLANETE • SIGMA2 • ARMOR • CODES ARC-DEVIN: vidéo sur Internet Approches statistiques pour décodage conjoint source-canal Différenciation de services Montage projet RNRT sur tatouage

25. Collaborations Recherche Internationales Actions intégrées • Univ. Brescia, Italie (Galilée) • Univ. Rabat, Maroc (action France-Maroc) • Univ. Polytechnique de catalogne, Espagne (Picasso) • Univ. Hanovre, Allemagne (TMR- postdoc) • Univ. Stuttgart, Allemagne (Procope) Thèmes Compression avec régions d ’intérêt pour télédiagnostic médical Co-encadrement thèses (statistiques d ’ordre supérieur en compression) Segmentation Modèles d ’illumination pour réalité augmentée Différenciation de services Accueils professeurs invités • Univ. Illinois Chicago, USA • QMW, Londres, UK Transformations redondantes et descriptions multiples Représentation 3D

26. Collaborations industrielles bi-latérales Partenaire Thèmes / Contributions • Convention CIFRE Microprocess Mai 97 - Avr. 2000;bourse thèse IRISA+ 125KF • Convention CIFRE Thomson TCO Mai 1998 - Avr. 2001; suivi thèse locaux TCO • CTI-CNET Mars 96 - Mars 99; 525KF • Convention CIFRE Thomson Multimédia Oct.98 - Sept. 2001; suivi thèse locaux TMM Edition semi-automatique de séquences Reconstruction interactive de scènes 3D Modélisation et représentation hiérarchique de scènes 3D Chaîne de navigation à distance dans des modèles 3D de scènes réelles • Contrat CNES Nov. 97 - Oct. 2000; bourse thèse IRISA • CTI - CNET Sept. 98 - Août 2001;975 KF • Contrat CELAR Sept 99-Mars 2000; 610KF Régulation de débit pour imagerie satellitaire Codage scalable pour transmission vidéo multipoint sur IP Décodage conjoint source-canal pour liaison vidéo en robotique mobile

27. Collaborations Multi-partenaires Projets Européens • ESPRIT-NEMESIS (Sept. 1998 - Août. 2000) • IST-SONG (Jan. 2000- Déc 2001) • IST OPENISE (Jan. 2000-Déc 20001) Projets Nationaux • RNRT-OSIAM (Déc. 1998 - Nov. 2001) • RNRT-COHRAINTE (Mar. 1999 - Fév. 2002) • RNRT-VISI (Sept 1999 - Fév. 2001) • RNRT-V2NET (Jan. 2000- Déc. 2002) Contributions Edition de séquences, mosaïcking pour postproduction Codage robuste - contrôle de congestion sur IP Régulation de débit en différenciation de services Segmentation - suivi temporel Représentation par maillages Codage conjoint sur IP Modélisation 3D

28. Perspectives (1): Analyse Le thème « Image et communication » reste le thème fédérateur du projet • « Convergence » 2D / 2D déformable et 3D pour solutions codage basées modèles et manipulation

29. Perspectives (2): Analyse et codage conjoint • Couplage des schémas robustes d’analyse spatio-temporelle avec les techniques de représentation robuste et scalable de l ’information

30. Perspectives (3): Analyse et codage conjoint Suivi maillage Texture générée Codage (~160Kb/s) MPEG-1 300Kb/s H263 160Kb/s H263 300Kb/s

31. Perspectives (4): Codage conjoint source-canal • Prise en compte des modèles de canal dans la conception d’outils de représentation des images et signaux vidéo • Renforcement des approches non compatibles • représentation scalable à grain fin (représentation multi-résolution et quantification emboîtée) • conception de transformations multi-résolution redondantes • codage par descriptions multiples (analogie codes espace-temps) • exploitation du formalisme réseaux Bayésien en décodage conjoint (Discussions en cours: Convention Bouygues télécom, projet RNRT Eire, )

32. Perspectives (5): Tatouage + évolution projet • Renforcement étude sur tatouage vidéo, en mettant l’accent sur tatouage multi-niveau • Prise en compte impact mutuel tatouage-indexation-représentation des données au sein d ’une base (Projet RNRT et projet IST en cours de montage) • La réalisation des objectifs ci-dessus passe par le renforcement des moyens humains sur les thèmes du codage conjoint et du tatouage. • Réflexion sur création activité de recherche autonome sur les techniques de description, d ’exploitation (recherche, navigation,…) et de stockage de grands volumes de données multimédia et exotiques.