1 / 26

Anotação semântica de dados multimídia

Anotação semântica de dados multimídia. Paulo Bittencourt Moura CIn - UFPE. Agenda. Introdução Anotação semântica por feedback Anotação semântica com ontologias MPEG-7 e a web semântica Sistemas e ferramentas Considerações finais. Introdução.

asher
Download Presentation

Anotação semântica de dados multimídia

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE

  2. Agenda • Introdução • Anotação semântica por feedback • Anotação semântica com ontologias • MPEG-7 e a web semântica • Sistemas e ferramentas • Considerações finais

  3. Introdução • Recuperação baseada em texto • Recuperação baseada em conteúdo • Recuperação baseada em semântica

  4. Anotação semântica por feedback • Feedback utilizado para “aprender” semântica • Mesclam palavras chaves com dados visuais • Utilizam técnicas de IA para efetuar agrupamentos

  5. Anotação semântica por feedback (2) • [2003, Zhang] • Propaga rotulações durante processo de feedback • Utiliza modelos probabilístico para agrupamento e propagação de anotações

  6. Anotação semântica por feedback (3) • [2004, Gosselin and Cord] • Vetor de relevância para cada busca • 1 – relevante • 0 – não classificado • -1 – irrelevante • Faz soma ponderada das buscas • Considera competência do usuário • Matriz de similaridade compactada

  7. Anotação semântica por feedback (4) • [2005, WANG and ZHANG] • Descrição em dois níveis: categoria e palavras-chave • Redes semânticas ponderadas • Hierarquia de palavras-chave

  8. Anotação semântica com ontologias • O uso de ontologias altera a anotação em alguns sentidos como: • Guiam o processo de anotação • Explicitam a relação entre agentes, propriedades etc. • Ontologia trazem consigo conhecimento adicional • itens que não se enquadram na busca podem ser recomendados

  9. Anotação semântica com ontologias (2) • [2002, Hyovonen e Raatikka] • Eventos promocionais da Universidade de Helsinki • Consultas na forma classe=instancia ou classe=subclasse • Contador de visitas para recomendar imagens mais populares • Mantém log das sessões para não repetir as recomendações • RDF(S)

  10. Anotação semântica com ontologias (3) • [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] • Anotações de imagens de macacos • Terminologia geral (Wordnet e ICONCLASS) • Ontologia de anotação + ontologia de domínio • RDF(S)

  11. Anotação semântica com ontologias (4) • [2007 Leslei, Chua e Ramesh] • Anotação de pinturas • Ontologia baseada em AAT e ULAN • Usa algorítmos probabilísticos para anotações sobre cores e estilos de pinceladas • Heurísticas do domínio artístico para anotação sobre autor, escola e período • Ontology-base Concept Desambiguation (OCD)

  12. MPEG-7 e Web Semântica • MPEG-7 • especifica uma forma padronizada de descrever vários tipos de conteúdo multimídia independente de sua forma de representação ou armazenamento • Elementos básicos • Descriptors (D) • Description Schemes (DS) • Description Definition Language (DDL) • System Tools

  13. MPEG-7 e Web Semântica • MPEG-7 - divisão • Parte 1: Systems • Parte 2: DDL • Parte 3: Visual • Parte 4: Audio • Parte 5: Generic Entities and MDS • Parte 6: Reference Software • Parte 7: Conformance Testing • Parte 8: Extraction and Use of MPEG-7 Descriptions • Parte 9: Profiles and levels • Parte 10: Schema Definition

  14. MPEG-7 e Web Semântica MPEG-7 e Web Semântica • MPEG-7 - falha em interoperabilidade semântica • Anotação com texto livre <FreeTextAnnotation xml:lang="en">Zinedine Zidane scoring against England.</FreeTextAnnotation> • Anotação com palavras-chave <KeywordAnnotation xml:lang="en"> <Keyword>Zinedine</Keyword> <Keyword>Zidan</Keyword> <Keyword>scoring</Keyword> <Keyword>England</Keyword> <Keyword>goal</Keyword> </KeywordAnnotation>

  15. MPEG-7 e Web Semântica MPEG-7 e Web Semântica • MPEG-7 - falha em interoperabilidade semântica • Anotação estruturada com rótulos <StructuredAnnotation> <Who> <Name xml:lang="en">Zinedine Zidane</Name> </Who> <WhatAction> <Name xml:lang="en">Zinedine Zidane scoring against England.</Name> </WhatAction> </StructuredAnnotation> <Semantic id="FormalAbstractionDescription"> <SemanticBase xsi:type="AgentObjectType" id="Zidane"> <Label><Name>Zidane </Name></Label> <Agent xsi: ="PersonType"> <Name> <GivenName>Zinedine</GivenName> <FamilyName>Zidane</FamilyName> </Name> </Agent> </SemanticBase> <SemanticBase xsi:type="EventType" id="scoring"> <Label> <Name>Zinedine Zidane scoring against England.</Name> </Label> </SemanticBase> </Semantic>

  16. MPEG-7 e Web Semântica MPEG-7 e Web Semântica • MPEG-7 - falha em interoperabilidade semântica • Anotação com descritor semântico <Semantic id="FormalAbstractionDescription"> <SemanticBase xsi:type="AgentObjectType" id="Zidane"> <Label><Name>Zidane </Name></Label> <Agent xsi: ="PersonType"> <Name> <GivenName>Zinedine</GivenName> <FamilyName>Zidane</FamilyName> </Name> </Agent> </SemanticBase> <SemanticBase xsi:type="EventType" id="scoring"> <Label> <Name>Zinedine Zidane scoring against England.</Name> </Label> </SemanticBase> </Semantic>

  17. MPEG-7 e Web Semântica • MPEG-7 – ontologias • Hunter: cobre parte do MDS • RDFS / OWL Full • 60 classes e 40 propriedades • Usa ABC como base • Tsinaraki: cobre todo o MDS • OWL DL • 420 classes e 175 propriedade

  18. MPEG-7 e Web Semântica • MPEG-7 – ontologias • Hollink: visual • RDFS • Usa Wordnet como base • VDO: visual • RDFS • Usa DOLCE como base

  19. MPEG-7 e Web Semântica • MPEG-7 – ontologias • DMAG: cobre todo o MPEG-7 • OWL Full • 2372 classes e 975 propriedades • Gerada automaticamente com XSD2OWL • SCDO: cobre o esquema de Descrição semântica • OWL • 23 classes e 71 propriedades

  20. MPEG-7 e Web Semântica • [2006, Burger, Guntner e Gams] • Define pontos de extensão onde o MPEG-7 pode ser aumentado com triplas RDF • Utiliza técnicas modernas de análise para extração de informação semântica • Key frames, detecção automática de cenas, reconhecimento de fala, transformação de fala em texto etc.

  21. Sistemas e ferramentas • M-ontomant-annotizer • Extende Ontomat-Annotizer • Implementa Visual Drescription Extraction (VDE) • DOLCE + VDO + MSO + Ontologias de domínio • Análise de similaridade

  22. Sistemas e ferramentas (2) • VideoAnnEx • Segmentação de vídeo • Editor de ontologia • Anotação em termos de evento, objetos e ações • Sugestão de anotações

  23. Sistemas e ferramentas (3) • MuseumFinland • Anotações de acervo de museus • Integra informações de museus distintos • Uma ontologia de termos para integração de vocabulário • Várias ontologias de domínio • Geração de HTML

  24. Considerações finais • Avanços na área são significativos e notórios mas... • Será possível um sistema aberto e universal? • Será possível automatizar completamente a anotação de multimídia?

  25. Referências • [2005, Wang e Zhang] A Novel Method of Image Categorization and Retrieval Based on the Combination of Visual and Semantic Features • [2004, Gosselin and Cord] Semantic kernel updating for content-based image retrieval • [2003, Zhang] Learning semantics in content based image retrieval • [2002, Hyovonen e Raatikka] Ontology-Based Semantic Metadata Validation • [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Ontology-based photo annotation • [2007 Leslei, Chua e Ramesh] Annotation of paintings with high-level semantic concepts using transductive inference and ontology-based concept disambiguation

  26. Referências • [2004, Hyovonen, Salminen, Junnila e Junnila] A Content Creation Process for the Semantic Web • 04041333.pdf - [2006, Burger, Guntner e Gams] The Role of MPEG-7 in semantic Annotation and the Cross-Media Publishing Process • [2005, Hunter] Adding Multimedia to the Semantic Web: Building and Applying an MPEG-7 Ontology • [2004 Tsinaraki] Interoperability support for Ontoly-based Video Retrieval Appications • [2005, Hollink] Building a Visual Ontology for Video Retrieval • [2006, VDO] Petridis et al., Knowledge representation and semantic annotation of multimedia content • [2005, MDAG] Garciae Celma, Semantic Integration and Retrieval of Multimedia Metadata • [2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards an Ontology for MPEG-7 Semantic Descriptions

More Related