180 likes | 263 Views
Information am Web ... Suchen UND Finden. Wolfgang Korosec, ETH Informatikdienste. Informationen zum Web der ETH. Lange Zeit “unbemerkt” gewachsen Interesse nun umso grösser Schulleitung Institute
E N D
Information am Web ...Suchen UND Finden Wolfgang Korosec, ETH Informatikdienste
Informationen zum Web der ETH • Lange Zeit “unbemerkt” gewachsen • Interesse nun umso grösser • Schulleitung • Institute • Oeffentlichkeit Tagesanzeiger, Das Magazin Nr.23, S29“... Die ETH Zürich ist eine grosse Welt. Jedenfalls schaufelt sie unübersehbar viel Material aufs Netz...” Informatikdienste / Anwednerunterstützung
Situation • Grosses Angebot an Informationen • Keine einheitliche Struktur(Vielfalt = Stärke des WWW !!!) • Dynamisches Verhalten der URLs Informatikdienste / Anwednerunterstützung
Suche am Web ... • Informationssuche weltweit • Altavista • Excite • Lycos • Informationssuche ETH-weit • ? INTERNET INTRANET Informatikdienste / Anwednerunterstützung
Lösungsansätze Crawlers Robots Spiders Informatikdienste / Anwednerunterstützung
Suchsystem • Sammeln von Information • Aufbereiten von Information • Bereitstellen von Information Informatikdienste / Anwednerunterstützung
Harvest Information Broker • Internet Taskforce Group • Verteiltes System • Optimiert für grosse, langsame Netze • Flexibel • Suchsystem • Informationsaufbereitung • Für fast alle UNIX System verfügbar • Viele Anwender, Freeware Informatikdienste / Anwednerunterstützung
Systemarchitektur Clients Broker Broker Gatherer Gatherer Gatherer WEB Informatikdienste / Anwednerunterstützung
Infos und Tests • Harvest Homepagehttp://harvest.cs.colorado.edu/ • Testinstallationhttp://www.awu.id.ethz.ch/suche.html Informatikdienste / Anwednerunterstützung
Harvest Informatikdienste / Anwednerunterstützung
Ht/Dig • Schnelles System (C++) • Sehr NEU • Einfach zu installieren und konfigurieren • Getestet auf Sun, HP, SGI, IBM (?) • z.Z. Beta Version • GNU Public License Informatikdienste / Anwednerunterstützung
Infos und Tests • ht/Dig Homepagehttp://htdig.sdsu.edu/ • Testinstallationhttp://www.awu.id/~wolfgang/search.html Informatikdienste / Anwednerunterstützung
Ht/Dig Informatikdienste / Anwednerunterstützung
Opentext • Kommerzielles System • Lange Refernzliste • Erprobte Technologie • Geeignet für sehr grosse Datenbestände • Flexible Abfragemöglichkeiten • Teuer • http://www.opentext.com Informatikdienste / Anwednerunterstützung
Statistik (unvollständig !!!)* • mind. 148 Server • mind. 47885 HTML Pages • mind. 2331 broken links * Crash des Crawlers (HtDig) nach rund 50000 pages und ca. 15 Std. Laufzeit vermutlich wegen memory leaks. Informatikdienste / Anwednerunterstützung
Top Ten • Name No.of pgs Size kb • www-ir.inf.ethz.ch 4421 68936 • www.zfw.ethz.ch 4086 47696 • odin.ethz.ch 3969 4328 • www.ee.ethz.ch 3857 15126 • wig.ethz.ch 3498 16168 • tardis.ethz.ch 3414 17200 • www.inf.ethz.ch 2366 22273 • ezinfo.ethz.ch 2217 29616 • err.ethz.ch 1897 5791 • mimas.ethz.ch 899 8870 Informatikdienste / Anwednerunterstützung
Schlussfolgerungen und Wünsche • ETH-weites Suchsystem sinnvoll und nutzbringend • Leistungfähige Suchverfahren • Inhaltsbezogene Suche • Gewichtung der Suchergebnisse • mehrere Dokumenttypen • Flexibel Informatikdienste / Anwednerunterstützung