1 / 46

Kolloqium des Rechenzentrums 19.3.2002

Kolloqium des Rechenzentrums 19.3.2002. Online- Archive, Metadaten und die Open Archives Initiative: Susanne Dobratz Die DINI-Suchmaschine- ein OAI Service Provider: Jingyuan Wang Das Projekt Open Archives Forum: Birgit Matthaei. Online- Archive, Metadaten und die Open Archives Initiative.

teigra
Download Presentation

Kolloqium des Rechenzentrums 19.3.2002

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Kolloqium des Rechenzentrums 19.3.2002 • Online- Archive, Metadaten und die Open Archives Initiative: Susanne Dobratz • Die DINI-Suchmaschine- ein OAI Service Provider: Jingyuan Wang • Das Projekt Open Archives Forum: Birgit Matthaei RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  2. Online- Archive, Metadaten und die Open Archives Initiative • Inhalt: • Offene Archive: Probleme • Die Open Archives Initiative • Das OAI Interoperability Framework • Dublin Core Metadatenschema • OAI Protokollspezifikation • Standards, Communities und Open Archives RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  3. Offene Archive • Entstehen aufgrund der aktuellen Publikationssituation in den Wissenschaften • Self-Archiving Ansätze • Probleme: • Unterschiedliche Beschreibungsformate • Unterschiedliche Übertragungsprotokolle • Unterschiedliche Zugriffsstrategien • Mangelnde Interoperabilität! • Neue Dienste sind sehr schwer zu etablieren! RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  4. Problemsituation offener Archive: Details RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  5. RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  6. Beispiel Dublin Core Metadatensatz • Beispiel: http://dochost.rz.hu-berlin.de/dissertationen/history/Luick-Thrams-Michael-1997-07-02 • <META NAME="DC.Type" CONTENT="Text.PhDThesis"> • <META NAME="DC.Creator.PersonalName" CONTENT="Luick-Thrams, Michael"> • <META NAME="DC.Title" LANG="eng" • CONTENT="Creating New Americans:WWII-Era • European Refugees Formation of American Identities"> • <META NAME="DC.Subject" SCHEMA="RVK" • CONTENT="NQ 2530, NQ 5310"> RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  7. Probleme: Details • Metadateninterpretationen • Autor-Feld in Bibliotheken (bei MAB-Format: Feld 100) • Künstler-Feld in Museums-Datenbank • Übertragungsprotokolle • Bibliotheken: Z39.50 – Schnittstelle • NCSTRL: DIENST-Protokoll • Harvest-System: auf HTTP-Basis mit SOIF-Metadatenformat RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  8. Open Archives Initiative • Prinzipien/ Strategie • weltweite Zusammenführung aller wiss. Archive • freier Zugriff auf diese Archive / Metadaten • einheitliche Schnittstellen für Archive und Serviceanbieter • OAI-Grundregeln • netzbasiertes Serversystem, • Definition einer Policy • Nutzung des Dublin Core Metadatensatz • OAI-spezifische XML-Syntax • Spezielles Open Archive Protokoll auf HTTP-Basis • http://www.openarchives.org RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  9. OAI: Historie • 22.10.1999 Treffen in Santa Fe , New Mexiko, USA • Santa Fe Convention for the Open Archives Initiative Feb.2000 • Arxiv / XXX Los Alamos: Paul Ginsparg • Ghent Univ. / Cornell: Herbert van de Sompel (SFX) • NCSTRL: Carl Lagoze • Workshops in den USA, Europa 1999/2000 • Protokoll Version 1.1. (02.07.2001) • Protokoll Version 2 ab Mai 2002 (aktuell im Test) RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  10. OAI Organisationsstruktur • Steering Committee • 12 Mitglieder, USA, UK, D • Allgemeine Politik der OAI • Executive Committee • Carl Lagoze (Cornell Univ.) • Herbert van de Sompel • Technical Committee • Erarbeitung der OAI-Spezifikation • Kontakt mit OAI-Community RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  11. Ziel Open Archives Initiative • The Open ArchivesInitiative has been set up to • create a forum to discuss and solve matters of • interoperability between preprint solutions, as a • way to promote their global acceptance. • Paul Ginsparg, Rick Luce & Herbert Van de Sompel RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  12. OAI: Data and Service Provider • Offene Archive: • Zugänglichkeit der Metadaten • Nicht! notwendigerweise freier Zugriff auf Volltexte • soll durch einheitliche aber flexible Schnittstellen erreicht werden • Service Provider • nutzen Schnittstellen um Services zu etablieren: • Suche, Navigation, Alerting-Dienste u.a. Informationsdienstleistungen RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  13. OAI Technisches Modell Data Provider e-print e-print • Datestamp • Identify • ListMetadataformats • ListSets • ListRecords • ListIdentifiers • GetRecord Data Provider Bilder e-print Service Provider Data Provider OPAC e-print Data Provider Museum e-print • Vollständige Metadatensätze Data Provider Archiv e-print RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  14. Aufbau eines OAI Archivs • 1. Auswahl eines eindeutigen Identifiers • Bsp.: HUBerlin, arXi, physdoc • siehe http://oaisrv.nsdl.cornell.edu/Register/BrowseSites.pl • 2. Implementation des Metadatenformats • Records • Dublin Core Set • XML Transport Syntax • 3. Implementation des OAi Protokolls • 4. Registrierung des Archives bei der OAi RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  15. Anmelden des Archivs bei der OAI • OAI macht einen Konformitätstest • wird regelmäßig wiederholt • XML konformität • Korrektheit der Protokollanfragen • Fehlermeldungen • Robustheit (falsche Identifier etc.) • Inhalt der Registrationsdatenbank ist öffentlich einsehbar RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  16. OAI Records • Header • Eindeutiger Identifier: Schüssel für Archivanfragen • oai:HUBerlin:dissertationen:kemps-christof-2000-06-18 • Datestamp: Datum der Erstellung, des Löschens, der letzten Modifikation eines Items • 2001-06-18 • Metadaten • Metadatenprefix • Dublin Core ohne Qualifier! RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  17. Exkurs: Dublin Core Metadata Set • 15 Elemente zur Beschreibung von WWW-Resourcen im weitesten Sinne • Dublin Core Initiative • Bibliothekare • OCLC, ... • jährlich Workshops seit 1995 • start in Dublin/Ohio USA (Sitz OCLC) • Semantik ist defininiert • Syntax in HTML / XML mit RDF • http://www.purl.org/metadata/dublin_core • Wird von der ISO normiert RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  18. Exkurs: Dublin Core Elemente DC.Format DC.Identifier DC.Source DC.Language DC.Relation DC.Coverage DC.Rights • DC.Title • DC.Creator • DC.Subject • DC.Description • DC.Publisher • DC.Contributor • DC.Date • DC.Type • Allgemeine Grundsätze: • 1. Jedes Feld ist optional • 2. Jedes Feld ist wiederholbar RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  19. OAI Protokoll • basiert auf http-Protokoll • als cgi script imlementieren • Auswahl von sets, die abgefragt werden können (Archivspezifisch) • :dissertationen:cardiology • Ausgewählte Anfragen • ListSets, ListRecords, ListIdentifier.... • Resumption Token • Bei großen Mengen RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  20. OAI Implementation für Datenbankbasierte Systeme (HUBerlin) OAI-Anfrage ?verb=Identify cgi-Schnittstellenutzt HTTP Sybase/ SQL-DB oai-Anfrage OAI-scriptin PHP4 sql-Anfrage OAI-Server RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  21. Archiv 1 Archiv 2 Archiv 3 HARVEST SQL DB Normalisierung der Metadaten OAI Server OAI Implementation für Harvest basierte Systeme (PhysDoc) RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  22. Beispiel OAI Kompatibilität • Beispiel siehe: http://dissertationen.hu-berlin.de/oai/test.html • <?xml version="1.0" encoding="UTF-8" ?> • - <Identify xmlns="http://www.openarchives.org/OAI/1.0/OAI_Identify" xmlns:xsi="http://www.w3.org/2000/10/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/1.0/OAI_Identify http://www.openarchives.org/OAI/1.0/OAI_Identify.xsd"> • <responseDate>2001-03-21T18:05:17+01:00</responseDate> • <requestURL>http%3A%2F%2Fdochost.rz.hu-berlin.de%2FOAI-script%3Fverb%3DIdentify</requestURL> • <repositoryName>Humboldt University of Berlin, GERMANY, Document Server</repositoryName> • <baseURL>http://dochost.rz.hu-berlin.de/OAI-script</baseURL> • <protocolVersion>1.0</protocolVersion> • <adminEmail>mailto:oai@rz.hu-berlin.de</adminEmail> • - <description> RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  23. Open Archives Initiative • Archive / Repositories • Beispiele: • OAI Humboldt-Universität/ HUBerlin • http://dissertationen.hu-berlin.de/oai/HUBerlin.html • Service Provider • Beispiele: • Suche in den OAI-Metadaten des Dokumentenservers der Humboldt-Universität • http://edoc.hu-berlin.de/suche.html RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  24. Standards, Communities, Open Archives • Spezieller Suchanspruch für Spezialfächer steht einem generalisiertem Suchanspruch gegenüber • Communityspezifische Dublin Core Interpretationen • Spezielle DC-Qualifier • Spezielle Setdefinitionen / Klassifikationsschemata für unterschiedliche Communities nutzbar RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  25. OAI Service Provider • • OAI Prinzipien/ Strategie • · weltweite Zusammenführung aller wiss. Archive • · freier Zugriff auf diese Archive / Metadaten • · einheitliche Schnittstellen für Archive und Service • Provider • • Service Provider • ·stellt Servicenach „außen“ zur Verfügung • · muss HTTP- Anfragen an Dataprovider generieren und XML • auswerten können • · mussMetadaten zwischenspeichern RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  26. OAI Service Provider : Prinzip und Struktur Archiv 1 Archiv 2 Archiv 3 SQL DB Erfassung der Metadaten OAI Protokoll OAI Service RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  27. DINI Service Provider: Architektur „Metadaten speichern“ HTTP-Server HTTP-Anfrage PHP Admin XML-Antwort Vorver-arbeitung DBS SQL DINI Service-Provider Data-Provider RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  28. DINI Service Provider: Architektur Suche nach Dokument HTTP-Server PHP Benutzer Metadaten des Dokumentes SQL DBS RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  29. DINI Service Provider: Probleme • · Normalisierung • Sprache (ger, de, deutsch, german, ...) • Datum (2001-11-26, 2001, 2001-xx-xx, Nov-11-2001) • ·Multi-Value-Attribute • Autor, URL, ... • ·Set-Definitionen • unterschiedliche Semantik RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  30. DINI Service Provider: Anpassung • Aufwand hängt von folgende Faktoren ab : • Art der Archive • Einheitlichkeit der Set-Benennungen • Berücksichtigung von Metadatensätzen • Hinzufügen neuer Archive • sehr geringer Anpassungsaufwand RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  31. DINI Service Provider: Suchmaschine • · Suchmaschine • http://www.dini.de/oaisuche/index.php • · Email • jingyuan.wang@rz.hu-berlin.de RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  32. Service Provider: Suchmaschinen • • Arc • http://arc.cs.odu.edu/ • • physdoc • http://www.physnet.uni-oldenburg.de/oai/query.php • • EKU Tuebingen • http://cm1.zdv.uni-tuebingen.de/portal/index.jsp RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  33. Open Archives Forum • Unterstützung Offener Archive in Europa • Projekthintergrund • Projektziele • Umsetzungsstrategien RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  34. Facts • Finanzierung: • Europäische Union, • Information Society Technologies (IST) Programme Projektstart: 1. Oktober 2001 (Laufzeit 2 Jahre) Partner: UKOLN, University of Bath IEI-CNR, Pisa Humboldt-Universität, Berlin RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  35. Interesse der EU • vorbereitende, begleitende, unterstützende Maßnahme • Europäische Sicht auf Open Archive-Aktivitäten Promotion Know-how bündeln Networking Beeinflussung der aktuellen Entwicklungen Sicherung der europäischen Perspektive RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  36. Projektziele • Bestandsaufnahme • Sammlung und ständige Aktualisierung des Wissensstandes zu Historie, Konzepten, Technologien, ... • Nachweis der europäischen Erfahrungen mit der OAI-Spezifikation  Grundlage für die kritische Analyse des Potentials von OAI • Informationsportal für Aktivitäten zu OAI in Europa generell und in Bezug auf die OAI schaffen • Kritische Begutachtung von Herangehensweisen, Standards und Technologien auf ihre Anwendbarkeit und Grenzen hin RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  37. Projektziele • Zusammenarbeit aufbauen und unterstützen • Unterstützung von Projekten und nationalen Initiativen • Schaffung von Foren zum Erfahrungsaustausch bzgl. Initiativen und Technologien im Bereich digitaler Archive • Förderung der Bildung europäischer und fachspezifischer Interessensgemeinschaften • Werben für die gemeinsame Erstellung / Nutzung von Software, Tools, Metadaten-Standards • Motivieren zur Bildung neuer digitaler Archive und darauf aufbauender Dienste RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  38. Projektziele • Bildung einer technologischen Infrastruktur fördern • „low-barrier-interoperability“ • geringe Kosten • niedrige Eintrittsbarrieren für den Austausch zwischen Systemen • Skalierbarkeit des verteilten Suchens • Interoperabilität zwischen verteilten Archiven • durch • Schaffung einheitlicher aber flexibler Schnittstellen für den Austausch unterschiedlicher Metadatenstandards, Übertragungsprotokolle und Zugriffsstrategien • Erkundung weiterer / neuer Möglichkeiten RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  39. Projektziele • Zu Entstehung neuer digitaler Archive und darauf aufbauender Dienste / Geschäftsmodelle motivieren • Öffnen kultureller Ressourcen • Potential für neue Dienstleistungen erkennen • Verwertung kommerzieller Möglichkeiten • Herbeiführung weiterer Entwicklungsergebnisse • Hilfe für europäische Teilnehmer, ein Netzwerk für zukünftige Grundsatzentscheidungen zu bilden RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  40. Partner / Zielgruppe • Wer wird einbezogen? • • Institutionen zur Wahrung des Kulturerbes • • Forschungsorganisationen • • Bereich öffentlicher Bibliotheken • • Dienste des Gemeinwesens • • Kommerzieller Bereich • • Bildungssektor Als service provider: • E-print-Anbieter • Mehrwertdienste Als data provider: • Etablierte Metadaten-Datenbanken • Neue data provider RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  41. Umsetzungsstrategien • „Organisational Validation“ Standpunkt der Endnutzer Motivation der Implementatoren Überprüfung der Stichhaltigkeit des OAI-Modells Analyse offener Probleme Empfehlungen für Geschäftsmodelle aufbauend auf Implementationserfahrungen RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  42. Umsetzungsstrategien • „Technical Validation“ • Inventur der Software-Werkzeuge • Register austauschfähiger Systeme • Implementierungs-Datenbank • Auswertung der OAI-Erfahrungen • Bericht der technischen Probleme, die im europäischen Kontext entstehen • Empfehlungen für verteilte Software-Entwicklung RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  43. Umsetzungsstrategien • „Dissemination“ • Erstellung einer webbasierten Informationsquelle • Gemeinsame Sprache, gemeinsames Wissen schaffen • Schaffung von Informationsstrukturen • Verbesserung der globalen Zusammenarbeit • Optionen und Empfehlungen für die Aufrechterhaltung der OAF-Informations- und Nachrichtendienste nach Ablauf des Projektes RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  44. Umsetzungsstrategien • „Workshops“ • Vier Workshops, verteilt auf zwei Jahre in Pisa, Berlin, Bath und einer weiteren europäischen Stadt • Forum für den Erfahrungsaustausch zwischen europäischen Initiativen • Problem- oder nutzergruppenspezifisch organisiert • Zuarbeit durch Expertisen und Erfahrungsberichte im Umgang mit OAI-Implementationen und weiteren Ansätzen für offene Archive • Berichte über das Potential von OAI durch bereichsspezifische Experten (~ Museen, Verleger, Bibliotheken, Archive, wissenschaftliche Gemeinschaften, ...) • Veröffentlichung neuer Ergebnisse / Agenda für weitere Analysen RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  45. OAF - Humboldt-Universität • Möglichkeit, aktiv • an der Gestaltung von Standards im Bereich digitale Bibliotheken mitzuwirken, • an der Entwicklung anderer zu partizipieren, • sich selbst im Prozess der Entwicklung digitaler Bibliotheken zu positionieren Aufgabe im Projekt:v.a. technische Evaluation von Schnittstellen und Standards auf dem Gebiet der Offenen Archive  Solider und zukunftssicherer Aufbau eines entsprechend gemeinsam zu gestaltenden Serviceangebotes von Bibliothek und Rechenzentrum in der Bereitstellung digitaler Ressourcen (elektronische Publikationen, Mediendatenbanken, Lehrmaterialien) RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

  46. Noch Fragen? • Herzlichen Dank für Ihre Aufmerksamkeit! • Susanne Dobratz • susanne.dobratz@rz.hu-berlin.de • Jing Yuan Wang • jingyuan.wang@rz.hu-berlin.de • Birgit Matthaei • birgit.matthaei@rz.hu-berlin.de RZ-Kolloqium - Open Archive Forum - S. Dobratz, B. Matthaei, J.Y. Wang

More Related