Recuperação Inteligente de Informação

1. Recuperação Inteligente de Informação Exemplos de Aplicações CIn-UFPE

2. Roteiro • Áreas de pesquisa e desenvolvimento relacionadas • Exemplos de Sistemas de RI • Aplicações, agentes, serviços na Web CIn-UFPE

3. Tarefa típica de RI • Dados • Um corpus de documentos (itens de dados) & • Uma consulta do usuário • geralmente representada por palavras-chave • Encontrar • Um conjunto ordenados de documentos que são relevantes para a consulta CIn-UFPE

4. Algumas Áreas relacionadas a RI • Ciência da informação • Bibliotecas digitais • Bancos de dados • Para armazenar os dados a serem recuperados • Inteligência artificial • Ontologias e sistemas inteligentes de RI • Aprendizagem de máquina • Classificação e clustering de documentos, criação e manutenção de perfil do usuário, extração de informação, mineração de texto, etc.. • Processamento de linguagem natural CIn-UFPE

5. Algumas Áreas relacionadas a RI • Processamento de Linguagem Natural • Algumas “regiões” de interseção • Sistemas Pergunta-resposta • Extração de informação • Regras para identificar ocorrência de palavras que pertencem a uma dada classe gramatical (via uso de POS-taggers) • E alguns métodos de pré-processamento dos documentos • Análise léxica, Stemming, identificação de grupos nominais, POS-tagging, etc CIn-UFPE

6. Exemplos de Sistemas de RI • Sistemas de Busca • Sistemas de Automação de Bibliotecas • Sistemas de Gerenciamento de Documentos • Engenhos de Busca na Web • Sistemas de Meta-busca • Sistemas de Pergunta-resposta • Sistemas de Classificação/clustering de documentos • Sistemas de Extração de Informação • Sistemas de Recomendação • Sistemas de Mineração de dados/informação • RI Heterogênea CIn-UFPE

7. Exemplos de Agentes de RI na Web • Agentes de filtragem de informação • Agentes notificadores • Agentes de Comércio Eletrônico • Agentes Chatterbots CIn-UFPE

8. Sistemas de Busca Sistemas de Automação de Bibliotecas • Primeira aplicação na área de RI • Atualmente, a tendência são as bibliotecas digitais • RI + BD • Citeseer • Scientific Literature Digital Library • http://citeseer.ist.psu.edu/ CIn-UFPE

9. Sistemas de Busca Automação de Bibliotecas (2007-1) • BDCIn: Biblioteca Digital do Centro de Informática • Indexação de Trabalhos de Graduação, Dissertações de Mestrado e Teses de Doutorado do CIn-UFPE • objetivo geral: • facilitar a divulgação e o acesso aos trabalhos científicos produzidos no CIn CIn-UFPE

10. Sistemas de BuscaExemplos (2008-1) • TG fácil: um engenho de busca web para trabalhos de graduação do CIn-UFPE • Indexação dos TGs pelo conteúdo , não só por meta-dados • Investment search • Base indexada de dados sobre bolsa de valores • notícias atualizadas das principais bolsas de valores do mundo • obtidas a partir de sites da web que contêm notícias sobre economia CIn-UFPE

11. Sistemas de BuscaExemplos (2008-1) • ORKURIOSO • Scraps -Troca de mensagens entre usuários • Busca por scraps • Levantamento de opiniões • Fiscalização policial • Curiosidade • Miss gay... • Resultado • Sender - Link • Receiver - Link • Scrap CIn-UFPE

12. Sistemas de Meta-busca • Engenhos de busca • São robustos e gerais • Porém, retornam uma quantidade muito grande de documentos irrelevantes • Realizam buscas nas bases de índices de outros sistemas • Na Web ou em BDs privados • Recuperação por similaridade • Buscam documentos similares ao que o ususário está visualizando ou editando • E.g. GoogleToolbar, Active Search (CIn), ... CIn-UFPE

13. Current Doc’s Internal Representation Meta-search Document Pre-Processor Query Preparation Doc’s Content Application1 Documents Bases Query Doc. Post-Processor Docs Searcher Docs’ Pointers Docs Retriever Application2 Interface LAN Docs’ Content Local Directories Ordered List of Docs Docs’ Internal Representation Application3 Pointers to Documents Docs Reorderer User’s Profile Profile Manager Relevant Documents Web Sistemas de Meta-buscaExemplo: Active Search

14. Sistemas de Pergunta-Resposta • Recuperação de Informação + Processamento de Linguagem Natural • Recebem como entrada uma pergunta em linguagem natural • Retornam como saída a resposta (curta) ao invés de uma lista de documentos • Utilizando também técnicas de Extração de Informação • Exemplo: • P: Qual o melhor time de futebol do Brasil? • R: Santa Cruz Futebol Clube CIn-UFPE

15. Sistemas de Pergunta-RespostaArquitetura Genérica CIn-UFPE

16. Sistemas de Pergunta-Resposta Exemplo: Pergunte! • Motivação • A Web é o maior repositório de informações já construído • Necessidade de informação melhor representada sob forma de pergunta • Sistemas negligenciam a semântica da pergunta e dos documentos • Sistema Pergunte! • Uma interface em Português para pergunta-resposta na Web • Mestrado de Juliano Rabelo, 2004 CIn-UFPE

17. Sistemas de Pergunta-RespostaExemplo (2007-1) • Q & A: sistema de pergunta-resposta • Restrito a perguntas do tipo “Quem”, “Onde” e “Quando” • Utiliza uma base de dados local CIn-UFPE

18. Classificação e Clustering de documentos • Classificação - Objetivo • Classificar documentos de acordo com um conjunto ou hierarquia de categorias previamente definidas • Clustering – Objetivo • Agrupar documentos semelhantes em classes não conhecidas a priori CIn-UFPE

19. Classificação de documentos • Algumas aplicações: • Recomendação • Alimentar hierarquias de classes, como a do Yahoo, para facilitar a busca • Criação de repositórios de domínio específico • Distribuição de Notícias • Jornal personalizado • Mensagem de Email e Newsgroups • Filtragem de spam • Routing • Atribuição de prioridades • Seleção de folders CIn-UFPE

20. Classificação de documentos Exemplo: Sistema CitationFinder • Classificação automática de páginas de publicações científicas • Mestrado de Mariana Lara Neves, 2001 • Objetivo • Criação e manutenção de um repositório de documentos desse domínio • Para alimentar o sistema Prodext • Construção manual: • Bases de conhecimento com regras de produção • Máquina de inferência (JEOPS) CIn-UFPE

21. Classificação de documentos Exemplo 2007-1 • Classificação de Websites • http://rdf.dmoz.org • documento xml com diversos links e sua descrição e classificação • Domínio específico de “games”. • Conclusão: • A descrição dos sites é muito breve para obtermos um bom resultado com classificadores automáticos CIn-UFPE

22. Clustering de documentos • Aplicações • Criar taxonomias (hierarquias de classes) para browsing de documentos em uma coleção • Agrupar resultados de consultas a engenhos de busca ou outros sistemas de RI • Técnicas • Aprendizado não supervisionado CIn-UFPE

23. Clustering de documentosExemplos • (2008-1) Clusering aplicado à base Iris Data Set • (2007-1) Domme: Domestic Mesh Engine • Engenho de Busca e Agrupamento de Documentos na Intranet do CIn • recuperação eficiente dos documentos da intranet do Cin CIn-UFPE

24. Clustering de documentosExemplo 2007-1 • Indexação e clustering & Busca na Web • Objetivo • Facilitar a busca de material de estudo (apostilas, tutoriais, aulas) na Web sobre um tema específico (e.g., Biologia 2º grau) • Com base no conteúdo de questões previamente cadastradas no sistema CIn-UFPE

25. Clustering de documentosExemplo 2007-1Agrupa perguntas de vestibular sobre um mesmo tema CIn-UFPE

26. BD Sistemas de Extração de Informação • Sistemas capazes de extrair de documentos relevantes apenas a informação requerida • A informação extraída pode ser apresentada ao usuário e/ou armazenada em BDs ou BCs. Página de Hotel Template Nome: End.: Fone: Fax: Preços: Sistema de EI BC CIn-UFPE

27. A.V.Garcia and A. Haeberer. An Architecture for Semantically Based Code Migration. In Proc. of the II Brazilian Symposium on Progr. Languages, pp 179-192, Sept/1997, Campinas, Brasil. Autor: A.V.Garcia and A. Haeberer Título: An Architecture for Semantically Based Code Migration Veículo: In Proc. of the II Brazilian Symp. on Progr. Languages Páginas: pp 179-192 Data: Sept/1997 Local: Campinas, Brasil Sistemas de Extração de Informação Exemplo: O ProdExt • ProdExt: Um Wrapper para extração de referências bibliográficas a partir de páginas eletrônicas • Mestrado de Carla Nunes, 2000 • Abordagem utilizada • Construção manual de base de regras CIn-UFPE

28. Sistemas de Extração de Informação Exemplo: EI utilizando Aprendizagem de MáquinaMestrado de Eduardo Amaral 2004 CIn-UFPE

29. Sistemas de Extração de Informação Exemplos 2008-1 • Extração de anúncios de vendas de carro do JC Online • Os templates gerados forma indexados pelo Lucene, para facilitar a consulta do usuário. CIn-UFPE

30. Mineração de Opiniões • Análise de Sentimentos • Sentiment analysis • Objetivo • Prover tratamento automático de opiniões/sentimentos • Trata a subjetividade do texto • Opiniões são extraídas a partir de • Sites de opiniões • Sites de lojas • Blogs • Foruns… CIn-UFPE

31. Mineração de Opiniões • Desafio • identificar trechos dos textos que expressam sentimentos/opiniões • indicar se uma opinião é positiva (favorável) ou negativa (desfavorável) em relação ao item sendo abordado • Utiliza técnicas de RI e processamento de linguagem natural CIn-UFPE

32. Usuário final Opinion holders Interface Consulta Sumário Base de Textos Sumarização Engenho de Busca Textos Opiniões + sentimento Classificação de Sentimento Textos retornados Identificação de subjetividade Opiniões Mineração de Opiniões Extração de características CIn-UFPE

33. Sistemas de Personalização • São sistemas que buscam adaptar-se às preferências e necessidade individuais de cada usuário • Utilizam profiles • Sistemas de personalização incluem: • Recomendação • Filtragem • Predição CIn-UFPE

34. Sistemas de Recomendação • Recomendam itens para usuários com base em suas preferências • livros, filmes, CDs, páginas web, mensagens de newsgroup • Exemplos de sistemas • Lojas virtuais oferecem esse serviço para aumentar as vendas • e.g. Amazon, CDNow • Existem duas abordagens básicas par recomendação: • Filtragem colaborativa (um tipo de filtragem social) • Recomendação baseada em conteúdo CIn-UFPE

35. Sistema de RecomendaçãoExemplo 2007-1 • ACoReS: Amadeus Course Recommendation System • indica cursos aos usuários • com base na identificação de padrões de comportamento desses usuários em relação ao sistema • Observa o histórico de cursos nos quais os alunos se matricularam CIn-UFPE

36. Integração de Informação • Pergunta-resposta + Extração de informação • Objetivo • Integrar automaticamente diversos Web sites • para responder a determinadas perguntas do usuário cuja resposta não está disponível em um site único • Para cada site selecionado, um wrapper é construído • Os dados extraídos de cada site podem ser tratados como tabelas de bancos de dados • que podem ser consultadas usando-se uma query language (e.g. SQL). CIn-UFPE

37. Integração de InformaçãoExemplo (2007-1) • LOGO:Sistema Integrado para Busca de Passagens Aéreas OnLine • Extração de informação + • Integração de informação CIn-UFPE

38. Mais sistemas e aplicações • Sistemas de mineração de dados/informação • Sistemas de gerenciamento de documentos CIn-UFPE

39. RI Heterogênea • Sistemas de Recuperação multi-língua • Recebem a entrada em uma língua e devolvem a saída em outra língua • Busca de partituras musicais ou cifras • Busca de padrões de exames médicos • Eletrocardiogramas, … CIn-UFPE

40. Agentes de Informação • Fazem mais do que só RI, pois podem: • Comunicar-se • Cooperar • Negociar • Aplicações: • Comércio eletrônico • Leilões/licitações • Etc…………….. CIn-UFPE

41. Agentes de Informação • Agentes Notificadores • Enviam emails para o usuário de acordo com seus interesses • Agentes de Comércio Eletrônico • Capazes de representar o usuário em compras na Web • Agentes Chatterbots • Capazes de dialogar com os usuários em linguagem natural restrita CIn-UFPE

42. Agentes Chatterbots • Chatterbots • Sistemas capazes de dialogar com os usuários em linguagem natural restrita • E.g., Eliza, ALICE • Utilizam técnicas de armazenagem e recuperação muito semelhantes aos sistemas de Pergunta-resposta • Esses agentes também podem ser usados como interfaces em linguagem natural para • Bancos de dados • Bases de conhecimento • Sites na web CIn-UFPE

43. Agentes Chatterbots • Exemplo de bot na Web - Pixel • http://www.virtus.ufpe.br/pixel • Tese de doutorado de André Neves • Utiliza a linguagem AILM • Criação de novas tags para descrever o nível pragmático dos diálogos com chatterbots CIn-UFPE

44. Próxima aula • Preparação de documentos CIn-UFPE