PHAROS – Platform for search of audiovisual resources across online spaces

1. PHAROS – Platform for search of audiovisual resources across online spaces Michel PLU, FRANE TELECOM ORANGE LABS PHAROS Innovation Director

2. PHAROS EN BREF • Academiques: • L3S Research Centre • Fraunhofer IDMT • EPF Lausanne • Open University, KMI • University Pompeu Fabra • VTT Research Centre • Industries: • Engineering, Spa • Fast Search & Transfer ASA • Sail Labs Technology AG • Metaware, Spa • Webmodels, Srl • Fournisseurs de • Contenus • et de services : • France Telecom • Circom Regional • Economie : • Start January 2007 • Duration 36 months • 1er Démonstrateur: Juin 2008 • Total budget: €14.2m • EC contribution: €8.5m • Efforts : 1328 h.m 13 partenaires de 9 pays

3. Objectifs • Offrir une meilleur expérience de recherche et de découverte de contenus audio-visuels en ligne • Passer du paradigme moteur de recherche à une plate forme intégrée d'accès aux contenus multimedia • Cette plate-forme sera construite avec une architecture innovante, ouverte et distribuée qui permettra à chaque organisation d'exploiter la valeur de ses contenus ou de ses technologies

4. Une meilleure expérience utilisateur quelque soit le mode d'accès (Marcia J. Bates . "Toward an integrated model of Information seeking and searching" )

5. Une expérience plus simple Cacher la complexité des • Formats • Des DRMs ( des players ) • Contrôle d'accès au services ( login/mdp ) Accès en tout lieu à tout moment sur de multiples terminaux • Accès contextuel : Filtrage des réponses en fonctions des privilèges de l'utilisateur, et des capacités de ses terminaux • Gestion des multiples terminaux de l'utilisateur : profils dans le réseau

6. Une expérience plus efficace • Trouver les meilleures réponses • y compris en fonction de préférences • Aider à la formulation de requêtes • Y compris la recherche par similarité de contenus et par valeur de propriété • Aider au "tagging" utilisateur et à la recommandation • Filtrer ou agréger les doublons • exactes ou proches • Filtrer le spam

7. Une plate-forme distribuée

8. Offline models analysis Connector Content Capture and Refinement Publish and Subscribe XML and content based Search Engines Query and Result Refinement User behaviour models Multimedia Read Access Content Status Monitoring Une Plate-forme ouverte L'utilisateur soumet une requête, s'y abonne ou navigue dans les contenus indexés Publication Souscription filtrée à des flux RSS audio-visuels Lit les contenus et les programme pour être analysés La requête est analysée et les réponses sont personnalisées Indexe les descriptions XML et les traits bas niveaux des contenus Analyse et enrichi les contenus Content indexation Content anaysis User Interface Annotateurs déclarés comme web-services Les résultats sont adaptés et présentés au terminal Interface avec les gestionnaires de contenus Metadonnées de présentations: thumbmail, preview , legal copy ... Content provider Multimedia System-generated multimedia Gestionnaire de reférences de contenus Fournisseur de méta-donnée (critiques, EPG...)

9. Pharos: Une plate forme ouverte et flexible • Flexible • Intégration à chaud de nouveaux moteurs d'annotations • Intégration de nouveaux flux de méta données • Gestion de schémas multiples au sein du gestionnaire de souscription et publication • Architecture web-services • Ouverte • API publiques • Format d'échanges de données standardisés ( AV-RSS , MPEG 7 , TV-Anytime , ODRL …)

10. La plate forme Pharos: L'excellence opérationnelle • Performance pour de grands volumes de contenus

11. La plate forme Pharos: L'excellence opérationnelle • Meilleure réactivité • Sur disponibilité , disparition , modification de contenus ou de méta données • Basée sur un protocole pub / sub • Pas de crawling – ni de polling • Crawling impossible pour des contenus audiovisuels volumineux et/ou protégés

12. Compétences clés • Connaissances des usagers et des usages: • General public (France Telecom) • Professional broadcasters (Circom Regional members) • Moteur de recherche multimedia • XML and content based (FAST, KMI, …)

14. Compétences clés • Speech-to-text • European and Arabic languages, speaker recognition (Sail Labs) • AnalyseAudio et musicale • Music/noise/sound classification (VTT) , melody/rhythm/instrument recognition (UPF), duplicate detection (Fraunhofer) • AnalyseVideo et image • Duplicate detection ( Fraunhofer) , semantic concept recognition , search by similarity, shot segmentation, key frame extraction (KMi, EPFL…) • Annotation Multimodale • Metadata fusion (UPF…)

15. Compétences clés • Social media analysis • Opinion mining, community building, tags and folksonomy, spam trust and reputation management (L3S, VTT, France Telecom,UPF) • Gestion de contenus • Near-duplicate detection , copy and DRM management (Fraunhofer)… • Ingénierie Logicielle • Service Oriented Architecture (Engineering…), CASE for web services (Web models) , Software integration and delivery (Engineering)

16. Conclusions • PHAROS : Un projet collaboratif européen pour la définition d'une plate forme innovante , ouverte et distribuée pour faciliter l'accès à des contenus audio visuels en ligne • PHAROS : Un consortium composé d'industriels et d'académiques leaders dans leur technologie respective et représentatifs des besoins professionnels et grand publics • Rendez vous en Juin 2008 pour le premier démonstrateur • Des nouvelles sur : http://www.pharos-audiovisual-search.eu/