Banco de Dados Multimídia

1. Banco de Dados Multimídia Prof. Cláudio de Souza Baptista UFCG/COPIN Setembro-Outubro 2007

2. Introdução • Sistemas MM devem armazenar, recuperar, transportar, e apresentar dados com características heterogêneas tais como textos, imagens, gráficos, sons e videos. • sistemas complexos • muitos sistemas gerenciam objetos MM restritos a um • domínio de aplicação (Médico, GIS, CAD) •  necessitamos um sistema que permita acesso uniforme aos objetos MM de forma transparente.

3. Introdução • A área de MM é multidisciplinar envolvendo: • - sistemas operacionais • - sistemas tempo-real • - redes • - interface com usuário • - inteligência artificial • - recuperação de informação • - processamento de imagens • - computação gráfica • - BANCO DE DADOS

4. 1. Introdução • MMDBMS trata imagens, vídeos, áudios, textos, gráficos e dados alfa-numéricos igualmente do ponto de vista de processamento de consulta. Cada tipo pode participar numa query ou pode ser parte do resultado. • Aplicações: Medical DB, GIS, Digital Libraries, DNA DB, Image DB, DB científico (geologia, meio ambiente, astrofísica, metereologia, etc )

5. 1. Introdução • MMDBMS = DBMS + suporte à multimídia Resultados Usuário Gerente de apresentação Gerente de consulta MM Imagem Vídeo Áudio Texto Gráficos

6. 2. Características 2.1. Tipos de dados MM • Texto: documentos estruturados, semi-estruturados e não estruturados. Ex.: ASCII, HTML, XML, SGML • Gráficos: desenhos. Ex.: CAD e GIS • Imagens: desenhos, pinturas, fotos, impressões • Video: propriedades de audio + video, composto de frames de video. • Ex.: regular apresentação de vídeo requer 30 frames/sec. • Qualidade NTSC (512x480, 8bpp) => 1.92 Mb/frame • qualidade HDTV (1024x2000, 24 bpp) => 48 Mb/frame • Audio: fala, música, sons

7. 2. Características 2.2 Aspectos Temporais • Incorporação de conceitos temporais no modelo de dados • scheduling e sincronização • apresentacao: sequencial • paralela • introdução da linha de tempo filme música fala texto1 texto2 tempo

8. Tipos de Mídia • Vídeo e áudio têm requisitos • Espaciais (vídeo) • Temporais • Vídeo e áudio possuem dados contínuos • Vídeo e áudio têm operações especiais: • fast-forward() e rewind() • play() • pause() e stop()

9. O que é um MMDBMS? • “Um SGBD multimídia é um framework que gerencia diferentes tipos de dados potencialmente representados em diferentes formatos e em diferentes fontes de mídia” Subrahmanian [2000]

10. Um SGBDMM deve: • Prover API única para consulta às diferentes mídias • Recuperar dados MM de forma contínua • Prover uma maneira transparente para o usuário da representação dos dados

11. Tipos de Recuperação (Gudivada 96) • Recuperação por Browsing • Recuperação por Atributos de Objetos • Recuperação por Restrições Espaciais • Recuperação por Similaridade de Forma • Recuperação por Similaridade Semântica

12. Exemplo de Aplicação MM • Considere uma investigação de polícia sobre drogas com as seguintes características: • Vídeo: dados recuperado por câmeras espalhadas em diversos locais • Áudio: dados capturados de “grampo telefônico” • Imagens: fotografias tiradas por investigadores

13. Exemplo de Applicação MM (cont.) • Documentos: relatórios escritos por policiais durante as invesigações • Dados relacionais estruturados de SGBD existentes (dados bancários, telefônicos, comércio, empresas, histórico policial) • dados de GIS (locais onde existem drogas, plantações, rotas de tráfego, etc.)

14. Consultas exemplo de Imagens • Query 1: Um policial tem a foto de um suspeito e consulta o SGBDMM por imagens similares • Query 2: “Recupere todas as fotos em que João Pires aparece”

15. Consultas exemplo de Imagens • Nas consultas anteriores precisamos de uma função que compute a similaridade entre imagens. • Como a consulta é inexata, um ranking de imagens parecidas deve ser formado • Na Query2 realizou-se a consulta usando-se atributos (metadata) da imagem

16. Consultas exemplo de Áudio • Um policial está ouvindo uma fita de gravação de um conversa telefônica entre suspeitos João Silva e X. • Query 3: Encontre a identidade de X. • Query 4: Mostre as fitas que têm participação de João Silva

17. Consultas exemplo de Texto/Vídeo • Texto: • Busca em jornais, revistas, relatórios, ou um outro documento. • Text mining em bancos • Processos judiciários • “Busca por uma certa palavra chave” • Video: encontre todos os vídeos onde a vítima aparece.

18. Questões de Pesquisa em MM • Linguagem de consulta • Conteúdo de um dado MM • Apresentação MM • Armazenamento

19. Linguagem de Consulta • Linguagem para acesso aos diferentes tipos de dados • Operações para combinar duas ou mais mídias (diferença, união, junção) • Acesso a Dados e Metadados • Planos de consulta Otimizados

20. Conteúdo de um dado MM • Como extrair conteúdo de: • imagem • vídeo-clip • áudio-clip • texto (documento não estruturado) • Como indexar estes conteúdos • Como computar similaridade?

21. Apresentação • Como especificar o conteúdo de uma apresentação MM? • Como especificar os requisitos de espaço e tempo? • Como garantir QoS?

22. Armazenamento • Como dados MM podem ser representados nos dispositivos (CD-ROM, Disco, Fita, DVD, etc.)? • Como otimizar o armazenamento para que operações como: play, fast forward, rewind, pause, possam ser executadas de forma eficiente

23. Produtos Multimídia no Mercado • Desenvolvimento: • Macromedia Director • Click2Learn Toolbook • Java Media Framework (JMF) • Animação Web: • Macromedia Flash • Adobe LiveMotion • Corel Rave

24. Produtos Multimídia no Mercado • Web design • Macromedia DreamWeaver • Adobe GoLive • Microsoft FrontPage • NetObjects Fusion • Streaming • Real realplayer, realserver • Apple Quicktime • Microsoft MediaPlayer, MediaServer

25. Produtos Multimídia no Mercado • SGBD OR • Oracle 9i • InterMedia Audio, Video, Image Cartridge • Oracle Context • IBM DB2 • DB2 Image Extender • DB2 Video Extender • Informix • Excalibur Image Datablade Module • Informix Video Foundation Datablade • Excalibur Text Datablade