MyCoRe als Objektspeicher eines Verteilten Zeitschriften-Servers?

1. MyCoRe als Objektspeichereines Verteilten Zeitschriften-Servers? http://miless.uni-essen.de/ http://www.mycore.de/ Frank LützenkirchenHochschulRechenZentrum der Universität Essen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

2. MILESS Überblick • MILESS: Multimedialer Lehr- und Lernserver Essen • Genauer: Multimedialer Lehr- und Lernmittel-Server • Nicht: E-Learning-System (Kursmanagement, Diskussionsforen, ...) • Essener Digitale Bibliothek: Infrastruktur für die Universität Essen • In Essen für Essen entwickelte Applikation, d .h. ursprünglich zugeschnitten auf Essener Anforderungen • Dublin Core Datenmodell, XML-Schnittstellen, beliebige Dateitypen • Benötigt IBM Content Manager, DB2 unter AIX oder NT • Java-Applikation bestehend aus Servlets & Applet für Autoren • Open Source unter GNU General Public License, nichtkommerziell • Nachnutzung durch 12 andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), Münster (Miami) • Zunehmende Flexibilisierung zur einfacheren Nachnutzung • Teil von CampusSource NRW, Ursprung des MyCoRe Projekts Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

3. MILESS Basis: Content Manager V7 Abbildung: Marc Schlüpmann, Universität Essen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

4. Architektur Content Manager V8 Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

5. IBM Content Manager als Basis eines MyCoRe VZS Objektspeichers • Verteilte Architektur mit mehreren Objekt-Servern / Resource Managern • Hohe Skalierbarkeit: Millionen von Dokumenten, Terabytes von Dateien • Beliebige Dateitypen: PDF, PS, aber auch XML, Word, LaTeX... • Integrierte Sicht auf Metadaten und Volltexte • Kombinierte Suche in Metadaten und Volltext mit linguistischen Features • Hierarchisches Speichermanagement über Tivoli Storage Manager • Backup von Metadaten und Inhalten • Auslagerung selten genutzter Objekte auf Offline-Medien (Bandarchiv) • Langzeitarchivierung (physisch) über Tivoli Storage Manager Mechanismen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

6. MILESS Software-Architektur Abbildung: Marc Schlüpmann, Universität Essen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

7. Abhängigkeit vom Hersteller IBMbei einer MILESS / MyCoRe Lösung? • Langfristige Unabhängigkeit vom Datenbank-Backend war schon immer ein Ziel, das sich in der Systemarchitektur wiederspiegelt • Persistenz-Layer bildet eigene Datenstrukturen und Suchabfragen auf Content Manager Strukturen und Abfragesprache ab • XML Schnittstellen für Import und Export • Darstellung sämtlicher Metadaten im XML Format • Wesentliche Teile der Funktionalität sind "oberhalb" von CM realisiert • Implementierung alternativer Persistenz-Adapter in MyCoRe, z. B.Metadaten: Implementierung für XML:DB API, z. B. Apache Xindice (GPL)Content: Statt CM Objektservern auch Flat Filesystem Audio/Video Streaming: Statt IBM VideoCharger Server auch Real Server • Trennung von Applikation und Persistenz-Layer ist realisierbar • IBM Content Manager: für langfristige, speicherintensive Lösungen • Open Source Backends: für kleinere Lösungen, Zukunftssicherheit Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

8. Bisher: MILESS Datenmodell • Dokumentenmodell ist Umsetzung des Dublin Core Element Set: • Creator, Publisher, Contributor, Title, Subject, Description, Source, Coverage, Rights, Type, Format, Date, Language, ... • Ergänzt um Modell für Personen / Körperschaftsdaten: • Personen, Namensformen, Kontaktinformationen, ... • Ergänzt um Modell für Dokumenten-Derivate und Dateien • Ein Dokument in verschiedenen Formaten (HTML, PS, PDF, ...) • Metadatensatz ist abgestimmt auf / mit Deutsche Bibliothek:Elektronische Dissertationen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

9. Übersicht MILESS Datenmodell Abbildung: Marc Schlüpmann, Universität Essen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

10. Dissertation in verschiedenen Formaten Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

11. Dissertation in LaTeX, Anzeige-Applet Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

12. Essener Lösung „MILESS“ ist spezialisiert auf die Essener Anforderungen (z. B. in Datenmodell, Graphische Oberflächen) „MILESS Community“ der Nachnutzer brachte zusätzliche Anforderungen, Flexibilisierungswünsche, neue Anwendungsgebiete ein Daher, ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns („core“) zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein „Content Repositories“ -> CoRe), für verschiedene Backend-Datenbanken, unter anderem IBM Content Manager Entwicklung als Open Source auf Java-Basis unter GNU GPL Kern, ergänzt um Anpassungen und Erweiterungen, bildet jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, Objektspeicher eines Verteilten Zeitschriftenservers MyCoRe: Entstehung und Ziele Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

13. Universität Essen: Rechenzentrum, Bibliothek, Medienzentrum Universität Jena: Rechenzentrum, Bibliothek Universität Leipzig: Rechenzentrum Universität Münster: Rechenzentrum, Bibliothek Universität Halle: Rechenzentrum, Bibliothek Universität Freiburg: Rechenzentrum Universität Rostock: Rechenzentrum, Bibliothek, Informatik Prof. Heuer Universität Bonn: Rechenzentrum Universität Greifswald: Rechenzentrum Universität Hamburg. Rechenzentrum, Bibliothek Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen Universität Uppsala / Louisiana Tech University: Architectural History IBM Deutschland: Content Manager Gruppe, Forschung & Lehre Weitere potentielle Beteiligte / interessierte zukünftige Nutzer / KontakteDüsseldorf, Bochum, Mainz, BASF Ludwigshafen, Paul Hartmann AG ... MyCoRe: Projektbeteiligte Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

14. Konfiguration statt Programmierung Konfigurierbares Metadatenmodell Konfigurierbares Layout über XSL Stylesheets Flexibles internes logisches Dateisystem Audio-/Video-Unterstützung Unterstützung verschiedener Datenbank-Backends Verteilte Suche über mehrere Systeme XML Import/Export Schnittstellen HTML GUI auch als Metadaten-Editor für Autoren Anbindung Benutzer-/Rechteverwaltung an LDAP, ... Schnittstellen für OAI, Z.39.50, Web Services: SOAP ... MyCoRe: Ziele und Funktionalität Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

15. MyCoRe: Datenmodellierung Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

16. Einordnung von Dokumenten in hierarchische (Fach-)klassifikationen Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

17. MyCoRe Datenmodell für ein Zeitschriften-Repository konfigurierbar • Konfiguration des Metadaten-Satzes für Zeitschrift, Jahrgang, Band, Heft, Artikel usw. • Modellierung der Hierarchie dieser Objekttypen zueinander • Laden der Zeitschriftenartikel über XML Import oder interaktiv • Navigation durch den Bestand: Zeitschrift -> Artikel -> Text • Jedes Objekt (Zeitschrift, Artikel, Abstract, Volltext, ...) ist direktüber eine URL erreichbar • Persistent Identifier:NBN URNs für MyCoRe (Projekt CARMEN AP4) werden derzeit implementiert (Dissertationen) -> hier nicht hinreichend (?)OpenURL: Bisher noch nicht betrachtet, aber leicht realisierbar, denn:Jedes Objekt (Metadaten, Datei) besitzt intern eine eindeutige ID • Suche nach Objekten über XQuery Schnittstellen • Für Remote Query, Browsing etc. verschiedene SchnittstellenOAI, HTTP + XML, Web Services (SOAP/JAX-RPC) Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

18. MyCoRe: Architektur Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

19. Verteilte Suche in MyCoRe:Remote Query Server & Clients Präsentation Suchergebnisse Lokale Suche Client Server Lokale Suche HTTP / XML Lokale Suchez.B. Content Manager Lokale Suche Quelle: M. Zarick, Universität Rostock Lokale Suche Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

20. Client Browser 1 HTML Page 4 XSL Stylesheet MCRLayoutServlet 3 XML Document 2 MyCoRe Servlet Generieren von HTML Seiten durch MyCoRe Servlets: Trennen von Logik & Layout • Unabhängig voneinander • anpassen • pflegen • entwickeln • Layout-Anweisungen • Daten • Verarbeitungslogik Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

21. MyCoRe LayoutServlet:Ein Objekt, verschiedene Stylesheets Client Browser 1 HTML Page A HTML Page B 4a 4b MCRLayoutServlet 3a 3b XSL Style-sheet A XSL Style-sheet B XML Document 2 MyCoRe Servlet Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

22. MyCoRe LayoutServlet:Ein Objekt, verschiedene Stylesheets • XSL Stylesheet kann gewählt werden durch • Servlet Code (Java-Programmierung) • Benutzer über HTTP Request Parameter:http://.../testpage.xml?XSL.Style=dcoutput -> dcoutput.xsl • Automatisch aus XML document type ermittelt:<person>...</person> -> person.xsl • Verwendung verschiedener Stylesheets für • verschiedene Applikationen (-> VZS) • verschiedene Ausgabeformate (Experte, Gastnutzer, ...) • verschiedene Sprachen (Internationalisierte Bezeichner, ...) Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

23. MyCoRe LayoutServlet:Drei Quellen von darzustellendem XML MILESS Derivate Servlet 2a 1a XSL Stylesheet Stored XML Document aspart of a MILESS derivate 1b ClientBrowser 2b 3 Other MyCoRe Servlet Dynamically generated XML Document MyCoRe Layout Servlet 1c Static XML Document from Web Server Filesystem 2c 4 Output HTML Page Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

24. MyCoRe als Objektspeicher? • + Open Source: Zugriff auf den Quellcode ist gegeben • + Über IBM Content Manager: Hochgradige Skalierbarkeit, auch verteilt • + Datenmodell und Schnittstellen XML / XSL basiert • + Datenmodell eines Zeitschriftenservers ist abbildbar • + Schnittstellen: OAI, HTTP & XML, Web Services via SOAP/JAX-RPC • + MyCoRe / IBM CM Know How an 12 Universitäten (UB & RZ) • - Noch in Entwicklung, viele Funktionen aber schon realisiert Ende des Jahres erste vollständige Demo-Applikation • + Gestaltungsspielräume: Welche Funktionen / Schnittstellen sind für einen VZS Objektspeicher noch nötig? Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen

25. Vielen Dank für Ihre Aufmerksamkeit! Haben Sie weitere Fragen? http://miless.uni-essen.de/ http://www.mycore.de/ Frankfurt/Main, 26.09.2002 2. Treffen der AG Verteilter Zeitschriften-Server F. Lützenkirchen