Indexation vidéo Indexation multimédia

1. Indexation vidéoIndexation multimédia Analyse Extraction Index Documents Structuration Représentation Visualisation Exploration Recherche Filtrage Interrogation Requêtes Journée Scientifique - 7 juillet 2003 - Lyon

2. Indexation multimédia Moteur d'instanciation automatique Base de Données Journée Scientifique - 7 juillet 2003 - Lyon

3. SAMoVA speech speech music silence French English Speech transcription Speech transcription • Analyse audio Jérôme Fariñas, Julien Pinquier, Jean-Luc Rouas Journée Scientifique - 7 juillet 2003 - Lyon

4. SAMoVA • Texte dans une vidéo • Quantification de couleurs • Etiquetage des régions • Heuristiques sur les dimensions et les positions des zones de texte • Heuristiques sur l’alignement des zones de texte Hae-Kwang Kim – Bassem Haidar Journée Scientifique - 7 juillet 2003 - Lyon

5. SAMoVA MILLIONS de francs AIAMER • Texte dans une vidéo Journée Scientifique - 7 juillet 2003 - Lyon

6. SAMoVA • Texte dans une vidéo Journée Scientifique - 7 juillet 2003 - Lyon

7. SAMoVA • Texte dans une vidéo • Chaînage • Filtrage • Transcription (OCR) • Analyse statistique • Analyse linguistique Journée Scientifique - 7 juillet 2003 - Lyon

8. SAMoVA • Trajectoire • Mean Shift maximisant le coefficient de Battacharyya Gaël Jaffré Journée Scientifique - 7 juillet 2003 - Lyon

9. Indexation vidéo • Paramètres de la production audiovisuelle Projet ITEA KLIMT • Costume • Identification • Fonction • Cadrage • Décors • Eclairage Gaël Jaffré Journée Scientifique - 7 juillet 2003 - Lyon

10. SAMoVA • Mouvement du corps humain • Différence et filtrage • Localisation • Distance • Appariement Thomas Fourès Journée Scientifique - 7 juillet 2003 - Lyon

11. SAMoVA • Mouvements du corps humain Projets ITEA KLIMT – ROBEA GdansC • Appariement d’un modèle hiérarchique • Contraintes • Description XML Journée Scientifique - 7 juillet 2003 - Lyon

12. SAMoVA Journée Scientifique - 7 juillet 2003 - Lyon

13. Indexation vidéo • Mouvements du corps humain <Motion Id = "1"> <Start_Time>0.5</Start_time> <End_Time>1</End_time> <Left_Arm vertical="Down"/> <Left_Weight vertical = "Center"> <Right_Weight vertical="Center"> <Right_Arm vertical="Down"/> </Motion> <Motion Id="2"> <LeftArm vertical = "Center" horizontal = "Front"/> <RightArm vertical = "Center" horizontal = "Front"/> </Motion> Journée Scientifique - 7 juillet 2003 - Lyon

14. Indexation multimédia • Formalismes descriptifs • Pour la production audiovisuelle • Indexation = • Costume, éclairage, cadrage, décors, objet sonore Segmentation Caractérisation Interprétation Minh Phung Bui Thi Journée Scientifique - 7 juillet 2003 - Lyon

15. Indexation multimédia • Formalismes descriptifs • Pour la production audiovisuelle • Indexation = • Costume, éclairage, cadrage, décors, objet sonore Interprétation Caractérisation Segmentation Minh Phung Bui Thi Journée Scientifique - 7 juillet 2003 - Lyon

16. Indexation multimédia { Différentes points de vue Différentes méthodes d’analyse Différents niveaux sémantiques • Formalismes descriptifs Signe (Pierce) Objet sémantique Types (costume, décor, montage, …) Representamen Syntaxe Formes possibles, caractérisations Interpretant Pragmatique Journée Scientifique - 7 juillet 2003 - Lyon

17. Indexation multimédia • Formalismes descriptifs : XML + • Expression de relations conceptuelles • Explicitation des mécanismes d’héritage XML-Schema pour désambiguïser l’interprétation • Compactage des descriptions (Bin-XML) Claude Seyrat Journée Scientifique - 7 juillet 2003 - Lyon

18. Indexation multimédia Siba Haidar Journée Scientifique - 7 juillet 2003 - Lyon

19. Indexation multimédia • Macrosegmentation • Typologie de l’évolution des caractéristiques bas-niveau AV • Identification d’invariants de production • Distances de similarité Siba Haidar Journée Scientifique - 7 juillet 2003 - Lyon

20. Indexation transmédia • Interventions • Segmentation en locuteurs • Détection/identification des visages Jean-Pierre Desmoulins Journée Scientifique - 7 juillet 2003 - Lyon

21. Indexation transmédia • Leitmotivs • Détection des jingles • Détection des logos Jérôme Louradour Journée Scientifique - 7 juillet 2003 - Lyon

22. Indexation multimédia • Plateforme d’indexation multimédia dynamique Projet ITEA KLIMT • Service d’indexation – externalisation des applications • Chaînage dynamique – typage des échanges (MPEG-7) • Gestion dynamique des ressources – déclaration + contrôle de cohérence Bassem Haidar Journée Scientifique - 7 juillet 2003 - Lyon

23. Indexation multimédia Component control Indexer.exe Control Inteface Configurator Interface Specification.xml • Component 1 Primary server Relationship service • Component 2 server Service 2 annuaire Service 3 • Component n • Plateforme d’indexation multimédia dynamique Application Journée Scientifique - 7 juillet 2003 - Lyon

24. Indexation multimédia • Plateforme d’indexation multimédia dynamique Journée Scientifique - 7 juillet 2003 - Lyon

25. Indexation multimédia • Plateforme d’indexation multimédia dynamique (Chaînage KLIMT) english LVCSR (TRT) Topic detection and tracking(TRT) Speech/Music segmentation(IRIT) Language identification(TRT & IRIT) french LVCSR (IRIT) Journée Scientifique - 7 juillet 2003 - Lyon

26. Projets en cours • Recherche Automatique d’Informations Verbales Et Sonores : vers l’extraction et la structuration de données radiophoniques sur Internet (programme Interdisciplinaire « Société de l’information » CNRS) • KnowLedge InterMediation Technology(projet Information Technology for European Advancement) • Framework d’Expérimentations et de Réalisation Industrielle d’Applications multimédia (projet RIAM, Equipe SIG ) • GdansC (Projet Robea CNRS) • AS STIC Indexation Multimédia – transmodalité et gestion des connaissances • AS «Question du geste dépendant des pratiques artistiques» du RTP ArtiStic Journée Scientifique - 7 juillet 2003 - Lyon