1 / 68

Dr. Ulrich Kampffmeyer Elektronische Archivierung und Continuous Migration

Dr. Ulrich Kampffmeyer Elektronische Archivierung und Continuous Migration. PROJECT CONSULT Unternehmensberatung GmbH. 21.04. Frankfurt / Hanau 23.04. München 05.05. Düsseldorf / Neuss 07.05. Hamburg. Agenda. Datenwachstum: Nicht allein ein Storage-Thema?

damara
Download Presentation

Dr. Ulrich Kampffmeyer Elektronische Archivierung und Continuous Migration

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Dr. Ulrich Kampffmeyer Elektronische Archivierung und Continuous Migration PROJECT CONSULT Unternehmensberatung GmbH 21.04. Frankfurt / Hanau23.04. München05.05. Düsseldorf / Neuss07.05. Hamburg

  2. Agenda • Datenwachstum: Nicht allein ein Storage-Thema? • Revisionssichere Archivierung, Langzeitarchivierung und universelle Archivsysteme • Archivierungs-Standards und internationale Initiativen • Neue Archivspeichertechnologien • Migration und das Konzept der „Continuous Migration“ • Ausblick: Anspruch & Herausforderungen

  3. User Mobile Nutzer Server Server Storage Server Tape Archiv Archiv Storage Storage Datenwachstum: Nicht allein ein Storage-Thema! Datenwachstum: Nicht allein ein Storage-Thema?

  4. 200687 Mrd 200552 Mrd 200436 Mrd 200324 Mrd 200212 Mrd 20016 Mrd 20003 Mrd 40.000 v.C Höhlen- malerei Werkzeuge 3500 Schrift 105 Papier 1450 Druck 1870 Elektrizität,Telefon 1947 Tran- sistor 1950 Computer Späte 1960s Internet 1993 Das Web Der Content „Big Bang“ Elektronische Informationwächst exponentiell. Jedes Jahr werden mehr alsdoppelt so viele Datenwie im Vorjahr generiert. Gigabyte

  5. Archivierung nur einStorage-Thema?! Ist die Bewältigung der Informationsflut nur ein Speicherproblem? Ist der Ansatz ILM Information Lifecycle Management der Speichersystemanbieter ausreichend? Archivierung ist kein HSM; Archivierung ist mehr als nur ein Speicherthema!

  6. User Mobile Nutzer Server Server Storage Server Tape Archiv Archiv Storage Storage Revisionssichere Archivierung, Langzeitarchivierung und universelle Archivsysteme

  7. Archiv Unter einem Archiv (von lat.: archivum, aus griech.: archeion Regierungs-, Amtsgebäude) versteht man üblicherweise eine meist auf Dauer angelegte Sammlung von Unterlagen oder Informationen. Die Archivierung von Informationen zu Geschäftsgängen und Entscheidungen ist seit jeher eine Verpflichtung für alle Unternehmen, Verwaltungen und Organisationen, die rechtlich relevante Handlungen vornehmen, die nachvollziehbar bleiben müssen.

  8. Elektronische Archivierung Elektronische Archive erlauben datenbankgestützt den Zugriff auf langzeitig, unveränderbar archivierte elektronische Informationen. Elektronische Archive sind keine Datensicherungs- oder Backup-Systeme. Grundsätzlich dient die elektronische Archivierung zur langfristigen, sicheren, authentischen und unverfälschbaren elektronischen Speicherung von Daten, Informationen, Records, Dokumenten und Content mit direktem zielgerichtetem Zugriff.

  9. Langzeitarchivierung Langzeitarchivierung Unter „elektronischer Langzeitarchivierung“ versteht man die Bereitstellung von Daten und Dokumenten über einen Zeitraum von mindestens 10 Jahren. Archivare in historischen Archiven verstehen unter Langzeitarchivierung die ewige, dauerhafte Archivierung.

  10. Revisionssichere Archivierung Revisionssichere Archivierung Unter „revisionssicherer Archivierung“ versteht man Archivsysteme, die nach den Vorgaben der Abgabenordnung (HGB AO) und der GoBS Daten und Dokumente sicher, unverändert, vollständig, ordnungsgemäß, verlustfrei reproduzierbar und datenbankgestützt recherchierbar verwalten. In 2009 kommen kommt der Nachfolger der GoBS: die GoBIT!

  11. Aufbewahrungspflicht Die revisionssichere Archivierung bezieht sich auf Handelsbriefe, Geschäftsbriefe und sonstige wichtige Dokumente. Auch E-Mails, Webseiten, SMS und andere Formen von Dokumenten können für das Geschäft wichtig sein – auch wenn sie explizit kein Handelsbrief sind! Die ordnungsgemäße Dokumentation der Geschäfts- tätigkeit ist eine Kardinalspflicht des Kaufmanns.

  12. Revisionssicherheit: Kriterien Folgende grundsätzlichen Kriterien gelten für die Revisionssicherheit von Archivsystemen: • Ordnungsmäßigkeit • Vollständigkeit • Sicherheit des Gesamtverfahrens • Schutz vor Veränderung und Verfälschung • Sicherung vor Verlust • Nutzung nur durch Berechtigte • Einhaltung der Aufbewahrungsfristen • Dokumentation des Verfahrens • Nachvollziehbarkeit • Prüfbarkeit

  13. Revisionssicherheit: Kriterien Revisionssicherheit ist kein technisches Merkmal. Es gibt daher auch keine revisionssicheren Speichermedien! WORM – d.h. nur einmal beschreibbare und dann nur noch lesbare Speicher – unterstützt die Revisionssicherheit, ist aber selbst und für sich allein genommen nicht revisionssicher! Man kann bei Einsatz geeigneter Verfahren auch auf wiederbeschreibbaren Speichern revisionssicher archivieren!

  14. Revisionssicherheit: Kriterien Die Revisionssicherheit wird in einer Verfahrensdokumentation nachgewiesen (siehe GoBS und GoBIT). Prozesse, Organisation und Betrieb sind auf die Erfüllung der Revisionssicherheit auszulegen und die Einhaltung der Vorgaben und beschriebenen Verfahren ist regelmäßig zu prüfen. Die „Abnahme“ der Revisionssicherheit hat durch einen unabhängigen Dritten bzw. durch die entsprechende Aufsicht zu erfolgen.

  15. 10 Grundsätze der elektronischen Archivierung 1. Jedes Dokument muss unveränderbar archiviert werden. 2. Es darf kein Dokument auf dem Weg ins Archiv oder im Archiv selbst verloren gehen. 3. Jedes Dokument muss mit geeigneten Retrievaltechniken wiederauffindbar sein. 4. Es muss genau das Dokument wiedergefunden werden, das gesucht worden ist 5. Kein Dokument darf während seiner vorgesehenen Lebenszeit zerstört werden können. 6. Jedes Dokument muss in genau der gleichen Form, wie es erfasst wurde, wieder angezeigt und gedruckt werden können.

  16. 10 Grundsätze der elektronischen Archivierung 7. Jedes Dokument muss zeitnah wiedergefunden werden können. 8. Alle Aktionen im Archiv, die Veränderungen in der Organisation und Struktur bewirken, sind derart zu protokollieren, dass die Wiederherstellung des ursprünglichen Zustandes möglich ist. 9. Elektronische Archive sind so auszulegen, dass eine Migration auf neue Plattformen, Medien, Softwareversionen und Komponenten ohne Informationsverlust möglich ist. 10. Das System muss dem Anwender die Möglichkeit bieten, die gesetzlichen Bestimmungen (BDSG, HGB/AO, etc.) sowie die betrieblichen Bestimmungen des Anwenders hinsichtlich Datensicherheit und Datenschutz über die Lebensdauer des Archivs sicherzustellen. Anm.: Im Mai 2009 wurde eine Neufassung als „Grundsätze der elektronischen Archivierung vom VOI e.V. veröffentlicht. Diese Version basiert auf der Veröffentlichung Ulrich Kampffmeyer, Jörg Rogalla: Grundsätze der elektronischen Archivierung. Verband Organisations- und Informationssysteme e. V., Darmstadt 1997, ISBN 3-932898-03-6

  17. Architektur von elektronischen Archivsystemen IndexDatenbank ArchivsystemManagement ArchivsystemSpeicher

  18. Grundsatz „Nur ein dummes Archiv hat lange Bestand!“ Logik, Verwaltung und Speicher sind von einander zu trennen, damit sie auch getrennt gepflegt und weiterentwickelt werden können.

  19. Vergangenheit Architektur Monolith Fach-Client Archiv-Client Fachanwendung Archivanwendung ArchivverwaltungDatenbank Speicher Archivspeicher

  20. Heute Architektur Recherche Anzeige Nachindizierung Indizierung QS Scan-Client Fach-Client Administration Scan-anwendung Fachanwendung Archivlogik& Dienste Cache Temporärer Speicher ArchivverwaltungDatenbank Archivspeicher

  21. Heute Architektur Dienstkonzept einer IT-Infrastruktur Scan-Client Workflow-Client Fach-Client Administration Scan-anwendung Workflow Fachanwendung Archivlogik& Dienste Cache Speicher Temporärer Speicher ArchivverwaltungDatenbank Archivspeicher

  22. Heute Architektur Dienstkonzept einer IT-Infrastruktur E-Mail Office andereFach-verfahren Administration Portal Archivlogik& Dienste Enabling Enabling Enabling Enabling ArchivverwaltungDatenbank Universal-Archivfür alle Formen von Informationsobjekten Archivspeicher

  23. Architektur Was bleibt an eigenständigen ECM-Anwendungen? RecordsManager Recherche- Client VirtuelleAkte Administration Postkorb-Anwendung Archivlogik& Dienste ArchivverwaltungDatenbank Universal-Archivfür alle Formen von Informationsobjekten Archivspeicher

  24. „Ein Archiv(medium) allein ist nie genug!“ Speichermedien müssen redundant und sicher ausgelegt sein.Die Lesbarkeit und Verfügbarkeit mussregelmäßig überprüft werden. Grundsatz

  25. Architektur und Sicherheit Inhouse Outhouse Archivoperativ ArchivSicherung Eigen-Anwender Eigen-Anwendermit outge-sourctemSicherheits-archiv Archivoperativ ArchivSicherung Archivoperativ ArchivSicherung SaaS & Outsourcing

  26. User Mobile Nutzer Server Server Storage Server Tape Archiv Archiv Storage Storage Standards in der Archivierung

  27. Elektronische Archivierung ist vielfach standardisiert: Architektur Metadaten Schnittstellen Verfahren Formate Einige Beispiele: Standards

  28. Archivierung Archivierung ist normiert: • ISO 17799: Information Security • ISO 14721: OAIS Open Archive Information System • ISO/TR 18492: Long-term preservation of electronic document-based information • ISO/CD TR 26102: Information and documentation Requirements for long-term preservation of electronic records • „Vertrauenswürdige Archive“

  29. OAIS-Referenzmodell

  30. OAIS-Referenzmodell EingangIndizierung

  31. OAIS-Referenzmodell LogikVerwaltungDatenbank

  32. OAIS-Referenzmodell Archiv-Speicher

  33. OAIS-Referenzmodell ZugriffBereitstellung

  34. Vertrauenswürdige Archivierung Definition: • Vertrauenswürdigkeit (engl. trustworthiness) wird als Eigenschaft eines Systems angesehen, gemäß seinen Zielen und Spezifikationen zu operieren. • Aus Sicht der IT-Sicherheit stellen Integrität, Authentizität, Vertraulichkeit und Verfügbarkeit Grundwerte dar. IT-Sicherheit ist somit ein wichtiger Baustein für vertrauenswürdige digitale Langzeitarchive. Die Kriterien für vertrauenswürdige Archivsysteme wurden vom nestor-Projekt in die ISO-Normung eingebracht. (http://www.univie.ac.at/lehrentwicklung/fileadmin/le/files/Phaidra/Kolar.vnd.ppt#260,3,Definition)

  35. International: ISO 23081 Metadata-Standard LMER Langzeitarchivierungsmetadaten METS, MARC, Dublin Core … Europa: MoReq2 Records Management(einschließlich ISO 23081) Deutschland (öffentliche Verwaltung): XDOMEA mit XArchiv Standards Metadaten

  36. Speichersystemanbieter (technisch für Archivspeicher) SNIA XAM Öffentliche Verwaltung Deutschland XDOMEA XArchivBundesarchiv SAM Zugriffsschicht (technisch für Clienten) CMISWebDAVJSR 170/283 Standards Schnittstellen

  37. XAM „eXtensible Access Method“ Entwickelt ursprünglich von IBM und EMC sowie HP, Hitachi Data Systems (HDS) und SunMicrosystems (Oracle). Übernommen von der SNIA im Rahmen der „Fixed Content Aware Storage Technical Work Group“ (FCAS TWG): XAM als Grundlage für die Entwicklung eines Fixed-Content-API zur langfristigen Datenarchivierung. Ziel des SNIA-Data-Management-Forums ist, Standards für das Speichern unveränderlicher Inhalte zu entwickeln. XAM soll das Datenspeichern und die Automatisierung von Storage-Migrationen vereinfachen. Zur Zeit existieren 3 verschiedene Ausprägungen von XAM. XAM

  38. LTACSI-long-term Archive and Compliance Storage Initiative Konsortium zur Lösung von Langzeitarchivierungsproblemen Zielsetzung: weltweite Vorgaben für Best Practices und für Standards für die Langzeitarchivierung, die elektronische Archivierung generell und Compliance-relevante Systeme schaffen konkrete Anforderungen an XAM und andere ILM Aktivitäten der SNIA definieren. SNIA LTACSI

  39. Die „100-Jahre“-Initiative ist eine Untergruppe von LTACSI Zielsetzung: mit Hilfe von Archiv-Anwendungen Daten-Objekte für die nächsten 100 Jahre logisch lesbar und migrierbar machen. Die XAM-Spezifikationen wurden Mitte 2008 durch das Archivierungsformat SD-SCDF (Self-Describing Self Contained Data Format) aufgewertet. Dies ermöglicht die Langzeitaufbewahrung digitaler Daten auch beim Wechsel von Hardware und Anwendungen. Die Initiative fordert einen multidisziplinären Ansatz, der auch Architektur- und funktionale Themen wie die ISO 17421 OAIS Open Archival Information Systems adressiert. Der digitale 100-Jahre-Archiv-Standard

  40. TIFF Tagged Image File Formatverschiedene Spezifikationen (einschließlich Farbe) PDF Portable Document FormatPDF/A als Norm ISO 19005PDF/A-2 ist in EntwicklungPDF selbst wird ebenfalls durch die ISO normiert Standards Formate

  41. Dies heißt aber nicht, dass jeder Standard auch für die jeweiligen individuellen Archivierungsanforderungen geeignet ist! Aber: man kann gut abkupfern … Und: Standards ändern sich über die Zeit. DEN universellen Standard für Schnittstellen oder Formate gibt es nicht! Viele Standards …

  42. Archivierung bedeutet immer auch zugleich Migration! z.B. Technologiewechsel bei langzeitiger Aufbewahrung, neue Nutzungsmodelle etc. Die Einhaltung von Standards macht das Leben bei Migrationen einfacher! Standards

  43. User Mobile Nutzer Server Server Storage Server Tape Archiv Archiv Storage Storage Neue Archivspeichertechnologien

  44. Sehr geringe Anschaffungskosten für Magnetbänder; weniger als 10 Cent pro GB WORM Medien erfüllen die Forderung nach Revisionssicherheit Energieverbrauch ist gering und macht Bandsysteme auch für die Langzeitarchivierung interessant Datentransferrate wird von heute 120 MB/s auf 270 MB/s zunehmen, dagegen liegen die Zugriffszeiten im mehrstelligen Sekundenbereich Lagerbedingungen: niedrige Temperatur und niedriger Luftfeuchtigkeit Archivdauer von 30 Jahren möglich ArchivierungBandspeichertechnologien

  45. Erste Wahl, wenn Daten ständig verfügbar sein sollen Es gibt bereits erste Festplatten mit bis zu 2TB Kapazität und Zugriffszeiten im einstelligen Millisekundenbereich Transferraten von über 100 MB/s garantieren eine sehr gute Performance Anschaffungspreis ca. 20 Cent/GB TCO jedoch hoch: hoher Energieverbrauch für Geräte und Kühlung, hoher Platzbedarf, Kurzlebigkeit (im Durchschnitt 6 Jahre) Revisionssichere Archivierung auf Festplatten erfordert einen zusätzlichen administrativen Aufwand (-> weitere Zusatzkosten, daher weniger für die Langzeitarchivierung geeignet) ArchivierungFestplatten

  46. Noch schneller als Festplatten: Zugriffszeiten liegen hier im Mikrosekundenbereich (ca. 200 μs), die Übertragungsraten (80 MB/s (schreiben) – 250 MB/s (lesen)) erreichen speziell beim Lesezugriff bisher von keinem anderen externem Speichermedium erreichte Werte Sehr robust, geringer Energiebedarf, geringe Wärmeentwicklung und extrem leise Aber: sehr teuer > 3 Euro/GB Lebensdauer liegt bei ca. 5 Jahren, die maximale Kapazität einer Solid State Disk beträgt heute 128 GB Für die Langzeitarchivierung daher weniger geeignet ArchivierungSolid State Disks

  47. Optimal für die Langzeitarchivierung, wenn man auf die richtigen Produkte setzt Werden bereits seit den 80er Jahren des letzten Jahrhunderts für die Archivierung digitaler Daten eingesetzt Heutige optische Platten bieten im 5 ¼“ Format 50 GB (Blue-Ray-Disc) bzw. 60 GB (UDO-2) an Kapazität Robust gegen äußere Einflüsse, bieten eine Transferrate von 5 -10 MB/s, Zugriff erfolgt als „Random Access“ und liegt bei 25 – 150 ms Datenlebensdauer liegt bei über 30 Jahren Nachteil optischer WORM Platten: Notwendigkeit spezieller Software erhöht administrativen Aufwand und Kosten Optische Platten werden in erster Linie als WORM Datenträger zur Langzeitarchivierung eingesetzt ArchivierungDigital-Optische Speicher

  48. Der „natürliche“ Nachfolger der optischen Speicher Zwei Verfahren zur Speicherung von Hologrammen als Repräsentanten von ganzen Bitströmen werden zur Zeit entwickelt : Firma InPhase und eine HVD-Alliance Holographische Speicher erreichen relativ hohe Transferraten (160 MBit / s (=20MB/s)); künftige Generationen sehen Transferraten von 80MB/s bzw. 120 MB/s vor Lebensdauer holographischer Speicher wird mit mehr als 50 Jahren angegeben Vielleicht DAS Archivspeichermedium der Zukunft? ArchivierungHolographische Speicher

  49. HVD-Alliance InPhase ArchivierungHolographische Speicher Struktur der Holographic Versatile Disc1. grüner Schreib-/Lese-Laser (532 nm) 2. roter Positionierungs-/Adressierungs-Laser (650 nm)3. Hologramm (Daten) 4. Polycarbon-Schicht 5. Photopolymerische Schicht (Datenträgerschicht) 6. Distanz-Schichten 7. dichroitische Schicht (reflektiert grünes Licht) 8. Aluminium reflektive Schicht (reflektiert rotes Licht)9. Transparente BasisP. PIT

  50. IBM arbeitet seit Jahren an der Entwicklung der Millepede (Tausendfüßler) Nanospeicher Grundprinzip ist vergleichbar mit der früheren Lochkarte, jedoch mit Größenordnungen, die im Nanobereich liegen Speicherung von bis zu 125 GB auf einem Quadratzoll möglich; aktuell werden Schreib-/Leseköpfe mit 64 * 64 (4096) Nadelspitzen eingesetzt Obwohl es sich um ein teilweise mechanisches Verfahren handelt, werden Übertragungsraten von 3 – 4 MB/s erreicht Prototyp noch 2009; langfristig sollen die heutigen Festplatten ersetzt werden ArchivierungMillipede Nanospeicher

More Related