450 likes | 572 Views
Gestão e Recuperação de Informação. Recuperação de Informação na Web. José Borbinha – DEI/IST. Recuperação de Informação na Web. O problema A Web superficial A Web profunda Outros assuntos. Recuperação de Informação na Web: O Problema. Quantos objectos? Quantas páginas? Como achar algo?.
E N D
Gestão e Recuperação de Informação Recuperação de Informação na Web José Borbinha – DEI/IST
Recuperação de Informação na Web • O problema • A Web superficial • A Web profunda • Outros assuntos
Recuperação de Informação na Web: O Problema Quantos objectos? Quantas páginas? Como achar algo? http://news.netcraft.com/archives/2006/04/06/april_2006_web_server_survey.html
O “cyberespaço” em 1995 http://robot-club.com/lti/pub/lycos-websize-9510.html
O “cyberespaço” indexado pelo Lycos em 1995(“...Between Nov 21, 1994 and Jan 31, 1995, Lycos successfully downloaded at least one file from 15,858 unique HTTP servers...”) http://robot-club.com/lti/pub/lycos-websize-9510.html
A “Web” em 1999...(“By analyzing the overlap between engines we estimated a lower bound on the size of the "publicly indexable Web" at 320 million pages (see below for more details). The "publicly indexable Web" excludes pages typically not indexed by the major search engines, e.g. pages behind search forms or authorization requirements. The following figure shows the estimated coverage of six major Web search engines compared to the estimated size of the Web.”) http://www.cs.biu.ac.il/home/search/studies/lawrence.htm
Web Superficial Web Profunda Como achar algo na Web... ainda por cima quando nem tudo é estático...???
Recuperação de Informação na Web • O problema • A Web superficial • Directórios e Catálogos • Search Engines • A Web profunda • Outros assuntos
No princípio: Directórios e Catálogos • Yahoo, SAPO, ... • Subject Gateways (Renardus, ...) • ...
“Subject Gateways”Renardus – Classificação de recursos de qualidade da web... “à mão”!!!
Renardus “mapping tool”... ddc: Sistema de classificação decimal de Dewey
Search Engines • Altavista, Google, A9, tumba!... • Anatomia de uma search engine
AltaVista AltaVista Altavista... Yahoo!
tumba! (Temos Um Motor de Busca Alternativo!) • Motor de busca para sites “portugueses” (de Portugal) • Suporte ao Arquivo da “Web Portuguesa”
Anatomia de uma “Search Engine” Web Crawlers Repository Indexing Engine Ranking Engine Presentation Engine
Uma nova área de negócio: ajudar clientes a ter os seus sites melhor “classificados” nos motores de busca... Caso: “big feet” e Google (Financial Times – UK, September 16, 2005) [http://www.ufppc.org/content/view/3416/36/]...
Recuperação de Informação na Web • O problema • A Web superficial • A Web profunda • Pesquisa distribuída • Partilha de Metadados • Outros assuntos
A Web profunda • Pesquisa Distribuída • Z39.50 / SRU (relembrar aula 5)
Metalib (suporte à b-on...) Z39.50 HTTP/HTML ... http://www.emeraldinsight.com/fig/0721040101001.png
A Web profunda • Partilha de Metadados • OAI-PMH, Syndication (RSS, ATOM, ...)
OAI-PMHProtocol for Metadata Harvesting(http://www.oaforum.org/tutorial/image/structure-model.gif) Web-Services segundo o modelo REST...
TEL – The European Library - Exemplo de um serviço usando OAI-PMH, SRU e Z39.50
Search and Retrieval in TEL: Actual Scenario OAI-PMH TEL central index Z39.50 Z39.50 SRU SRU TEL Portal...
OAI-PMH OAI-PMH TEL central index SRU Z39.50 “intelligent” TEL Portal... Search and Retrieval in TEL: A Desired Scenario (project TELplus...)
Google News Feeds em RSS (RDF) e ATOM (XML)
Recuperação de Informação na Web • O problema • A Web superficial • A Web profunda • Outros assuntos • A Web Semântica • Preservação da Web
Estática Dinâmica Superficial Profunda Preservação da Web