Pesquisa em imagens combinando informação visual e informação textual

1. Pesquisa em imagens combinando informação visual e informação textual

2. Introdução • O aumento de quantidade de informação visual utilizada criou a necessidade de novos métodos nas áreas de pesquisa e recuperação de imagens, menos dependentes da intervenção humana.

3. O problema da interpretação de conteúdos • Na recuperação automática de imagens está sempre presente o problema do semantic gap. • Como remediar este problema?

4. Algumas propostas anteriores • Utilização de Latent Semantic Indexing (LSI) com anglogramas (Zhao e Grosky). • Associação de emoções a imagens (Colombo et al). • Construção de estruturas de conhecimento (Barnard et al, Benitez e Chang).

5. A proposta para um protótipo de recuperação de imagens • Baseado no LSI. • Com os objectivos de: • Comparar os resultados obtidos com e sem utilização de características de baixo nível; • Verificar a prestação do LSI quando é utilizado com um conjunto de dados desfavorável; • Testar a eficácia de cada uma das características de baixo nível do MPEG-7.

6. Funcionamento do protótipo • Na fase de indexação é criada uma matriz de termos por documentos e é realizado o LSI sobre essa matriz. • Quando é colocada uma interrogação a matriz é utilizada como num modelo vectorial comum.

7. Criação da matriz de indexação

8. O MPEG-7 • Foi criado com o objectivo de promover a integração de anotações provenientes de fontes de dados diversas num único conjunto de estruturas de anotação e facilitar a pesquisa e recuperação eficientes de informação através da utilização destas estruturas.

9. Características de imagem do módulo XM • O eXperimentation Model é a plataforma de testes dos descritores do MPEG-7. • As suas características são classificadas como sendo relativas à cor ou à textura, mas algumas fornecem também informação espacial.

10. Características de imagem utilizadas • Scalable Color Descriptor (SCD) • Color Structure Descriptor (CSD) • Color Layout Descriptor (CLD) • Homogeneous Texture Descriptor (HTD) • Edge Histogram Descriptor (EHD)

11. Ex-votos • Definição: “Um objecto, quase sempre de índole piedosa, que se oferece a Deus ou a um Santo, em cumprimento de um voto.”

12. Ex-votos • Não têm um estilo distinto. • Muitas vezes um mesmo santo é representado em diferentes ex-votos com postura e simbologia semelhante.

13. Dados de teste • Pinturas votivas (e as descrições nelas inscritas) retiradas do livro “Do Gesto à Memória”. • Segundo este livro, na maioria dos casos, os ex-votos escolhidos são constituídos por dois elementos: a representação do suposto milagre e a representação da entidade à qual o agradecimento é destinado.

14. Conclusões • O protótipo concebido a partir desta proposta produziu bons resultados com a utilização de texto e de características da imagem em simultâneo, melhorando os resultados obtidos, quer com a utilização de comparação vectorial, quer com a utilização do LSI apenas com texto, para uma grande gama de documentos recuperados.

15. Conclusões • Na comparação dos desempenhos individuais dos cinco descritores do módulo XM do MPEG-7 usados, o Edge Histogram Descriptor obteve os melhores resultados.

16. Experiências futuras • Utilizar segmentação. • Utilizar query relevance feedback. • Utilizar outras métricas de distância entre vectores que não o coseno.

17. Experiências futuras • Verificar os resultados do protótipo com um conjunto de dados em que cor e textura sejam um factor de distinção das imagens mais relevante. • Utilizar como dados de teste documentos que conjuguem anotações textuais com vídeo.