Digitaalisten aineistojen pitkäaikaissäilytys KDK-hankkeessa

1. Digitaalisten aineistojen pitkäaikaissäilytys KDK-hankkeessa Luonnontieteiden digitointiseminaari 17.11.2011 Kuisma Lehtonen www.kdk2011.fi

2. TieteentietotekniikankeskusCSC • Valtion omistama ja opetus- ja kulttuuriministeriön hallinnoima, voittoa tavoittelematon osakeyhtiö • Liitti Suomen internetiin 1988 • Työntekijöitä noin 220 (henkilöstömäärä tasaisessa kasvussa) • Toimitilat Espoon Keilaniemessä, lähellä Otaniemen kampusta • Toiminnan päämääriä: • Tutkimuksen ja tuotekehityksen toimintaedellytysten parantaminen • Kansallisten keskitettyjen palvelujen tarjoaminen, joita ei ole tarkoituksenmukaista toteuttaa hajautetusti • Kansainvälisesti kilpailukykyisten tieteen tietotekniikan palvelujen tuottaminen www.kdk.fi

3. TieteentietotekniikankeskusCSC http://www.ode-project.eu http://www.aparsen.eu http://www.eudat.eu www.kdk.fi

4. Pitkäaikaissäilytys (PAS) • Mikä? • Miksi? • Miten? www.kdk.fi

5. Mikä PAS? www.kdk.fi

6. KDK-organisaatio www.kdk.fi

7. KDK PAS suunnittelu- jatoteuttamishanke • Tilaaja: opetus- ja kulttuuriministeriö • Toteuttaja: CSC – Tieteen tietotekniikan keskus Oy • Kesto: 1.6.2010 – 31.12.2013 • Tavoite: Edistää KDK:n pitkäaikaissäilytyksen suunnittelua ja tuottaa pitkäaikaissäilytyksen yksityiskohtainen toteuttamissuunnitelma marraskuuhun 2011 mennessä sekä edistää yhteistoimintaa KDK:n pitkäaikaissäilytyksen tavoitteiden ja painopisteiden toteutumiseksi www.kdk.fi

8. KDK PAS Tukiryhmä Jäsenet: • Tuomas Alaterä, Yhteiskuntatieteellinen tietoarkisto • Juha Hakala, Kansalliskirjasto • Vesa Hongisto, Museovirasto • Minna Karvonen, opetus- ja kulttuuriministeriö • Istvan Kecskeméti, Kansallisarkisto • Esa-Pekka Keskitalo, Kansalliskirjasto • Johan Kylander, Svenska Litteratursällskapet I Finland SLS • Markus Merenmies, Kansallisarkisto • Kari Peiponen, Valtion taidemuseo • Pekka Tähtinen, Kansallinen audiovisuaalinen arkisto CSC toimii tukiryhmän puheenjohtajana (Kimmo Koivunen) ja sihteerinä (Kuisma Lehtonen) www.kdk2011.fi

9. KDK PAS suunnittelu- jatoteuttamishanke Pitkäaikaissäilytysjärjestelmä on palvelujärjestelmä, johon opetus- ja kulttuuriministeriön hallinnonalalla toimivat, kulttuuriperintöä säilyttävät organisaatiot siirtävät pitkäaikaisesti tai pysyvästi säilytettäviä aineistoja. Aineistot säilyvät myös pitkäaikaissäilytysjärjestelmässä tallentavien organisaatioiden aineistoina. Tavoitteena on, että pitkäaikaissäilytysratkaisu otettaisiin käyttöön vuonna 2016. www.kdk.fi

10. KDK PAS suunnittelu- jatoteuttamishanke PAS-järjestelmä rakennetaan skaalautumaan aineisto- ja organisaatiomäärien kasvuun ja monimuotoistumiseen sekä mahdolliseen kehittymiseen tutkimuksen tietoaineistojen säilytysjärjestelmäksi. Tutkimuksen tietoinfrastruktuurin kehitystyötä edistetään keskitetyllä tallennuspalveluratkaisulla ja tukemalla metatiedon tuottamista sekä yhdenmukaistamalla tietoaineistojen tuottamiseen ja ylläpitämiseen liittyviä prosesseja. www.kdk.fi

11. Miksi PAS? www.kdk.fi

12. Miksi PAS? Lainsäädännön eri sektoreilla on määritelty kulttuuriaineistoja ja asiakirjallisia aineistoja sekä museokokoelmien muodostamista, hallintaa, saatavilla pitoa ja säilyttämistä koskevat velvoitteet. Velvoitteet koskevat myös alkujaan digitaalista sekä digitoitua aineistoa. www.kdk.fi

13. Miksi PAS? Pitkäaikaissäilytys tarkoittaa digitaalisen informaation luotettavaa säilyttämistä useiden kymmenien tai jopa satojen vuosien ajan. Laitteet, ohjelmistot ja tiedostomuodot vanhenevat, mutta informaation täytyy säilyä esityskelpoisena ja ymmärrettävänä. www.kdk.fi

14. Miksi PAS? Tarvitaan teknisiä, toiminnallisia, tiedollisia, taidollisia, taloudellisia ja juridisia valmiuksia. Näiden valmiuksien hankkimiseen, ylläpitämiseen ja kehittämiseen ei suurimmalla osalla arkistoista, kirjastoista ja museoista ole itsenäisesti mahdollisuutta. • Tarvitaan suunnitelmia siitä, mitä ylläpitotoimia aineistolle on tehtävä, jotta aineisto säilyy ehyenä ja alkuperäisenä ja jotta tietojen käytettävyys sekä luotettavuus voidaan varmistaa myös tuleville sukupolville. www.kdk.fi

15. KDK:ndigitaalisetaineistotDigitaalistenaineistojenlaajuusjasäilytysmenetelmätKDK:ndigitaalisetaineistotDigitaalistenaineistojenlaajuusjasäilytysmenetelmät www.kdk.fi

16. Miten PAS? www.kdk.fi

17. Säilytysmedian viat • Datasta useampikopioerilaisillamedioilla • Toimittajakohtaiset systemaattiset viat • Datasta kopioteritoimittajienratkaisussa • Toiminnallinen tai hallinnollinenvirhe • Data hallinnoidaanvähintäänkahdessajärjestelmässä • Luonnonkatastrofit • Säilytys toteutetaanmaantieteellisestihajautettuna • Pahantahtoinen käyttäjä • Säilytystä varmennetaan ns. pimeällä arkistolla • Osaamisen jahenkilöstönriittämättömyys • Toimintaa keskittämällä ja suunnitelmallisuudella varmistetaan osaamisen kehittyminen ja riittävä henkilöstö Uhatjaniihinvarautuminen www.kdk.fi

18. Järjestelmässä ei saa olla yksittäistä kohtaa, jonka pettäessä koko järjestelmä pettää (single point of failure) • Koskeeerityisestielintärkeitäosioita • Järjestelmäntäytyytoimia, vaikkamediat, ohjelmistotjalaitteistotvaihtuvattasaisenavirtana • Järjestelmäntäytyytukeaerilaisuuttajavälttäälukkiutumistatiettyjenlaite- tai ohjelmistotoimittajienratkaisuihin • Järjestelmäntäytyyjatkuvastiseuratatietopakettieneheyttä • Järjestelmässä on aineistoa, jota käytetään harvoin, mikä aiheuttaa suuren riskin piilevien virheiden kerääntymiseen • Järjestelmänylläpitotoimet on oltavamahdollisiailmankäyttökatkoja Yleisetvaatimuksetpitkäaikaissäilytyksentekniikalle www.kdk.fi

19. Säilyttämisenvaatimuksia www.kdk.fi

20. Säilyttämisenmenetelmiä www.kdk.fi

21. KDK:n PAS-tavoitteet • Varmistaa digitaalisten kulttuuriaineistojen säilyvyys • Hyödyntävät organisaatiot voivat suoriutua lain velvoitteista • Varmistaa aineistojen hyödynnettävyys ja yhteiskäyttö • Aineistot varustetaan olennaisilla metatiedoilla • Aineistojen kuvailut yhtenäistetään • Laatia kokonaisuus kustannustehokkaasti • Yhteisen ratkaisun tuomat kustannussäästöt • Aineistojen säilytyksen hallinnan kustannussäästöt • Digitoitujen aineistojen säilyvyyden tuomat kustannussäästöt • Edistää organisaatioiden yhteistyötä • Kehitetään yhteisiä toimintatapoja ja parhaita käytäntöjä • Rakentaa avoimella yhteistyöllä parempia palveluita • PAS-ratkaisua rakennetaan yhdessä mukana olevien organisaatioiden kanssa, josta siirrytään vähitellen vakiintuneeseen ja avoimeen yhteistyöhön • Laajentua erilaisille aineistoille • Tutkimuksen tietoaineistot www.kdk.fi

22. OpenArchivalInformation System (OAIS) -viitemalli www.kdk.fi

23. Säilyttämisen vaatimusten määritteleminen Säilytyksen suunnittelu • Menetelmä (tai prosessi) säilytyksen tavoitteiden ja reunaehtojen määrittelemiseksi ennen säilyttämisen aloittamista • Tuottaa jokaiselle objektille säilytyssuunnitelman, joka mahdollistaa operatiivisen säilytystoiminnan pitkällä aikavälillä • Toimintaympäristön muutoksien seurannan avulla havaitaan tarpeet, esim.: • Säilytystoimenpiteidenkäynnistämiseen • Säilytyssuunnitelmanuuteenarviointiin Vaihtoehtojen määritteleminen Tulosten arvioiminen Suoritettavan säilytyssuunnitelman määritteleminen www.kdk.fi

24. Aineistonvalmistelu • KDK:ssa käytettävät standardit, tiedostomuodot sekä pakolliset ja suositeltavat metadatat määritellään standardisalkussa • Standardisalkun mukaisesti aineisto siirretään taustajärjestelmästä PAS-järjestelmään käyttäen metatiedonkoodaus- jasiirtostandardia (METS) www.kdk.fi

25. KDK METS-profiili www.kdk.fi

26. METS-dokumentti www.kdk.fi

27. KDK:nsäilytys- jasiirtokelpoisettiedostomuodot Säilytyskelpoiset tiedostomuodot • Tietosisällön säilyminen ja ymmärrettävyys voidaan taata pidemmällä aikavälillä Siirtokelpoiset tiedostomuodot • Käytetään useassa KDK:nPAS-järjestelmää hyödyntävässä organisaatiossa ja joissa pitkäaikaissäilytettävää aineistoa on runsaasti tallennettu • PAS-järjestelmä muuntaa säilytyskelpoiseen tiedostomuotoon Esimerkki säilytyskelpoisesta tiedostomuodosta: Extensible Markup Language (XML) XML on alustariippumaton SGML:stä johdettu merkintäkieli. W3C:n suosittelema XML kuvaa dokumentin loogisen rakenteen, mutta ei sen ulkoasua. Hyväksyttävät versiot: XML versio 1.0; [XML_1.0]; PRONOM: fmt/101 (Lähdeluettelo) [XML_1.0] Extensible Markup Language (XML) 1.0 (Fifth Edition. W3C Recommendation 26 November 2008. http://www.w3.org/TR/xml/ www.kdk.fi

28. KDK:nsäilytys- jasiirtokelpoisettiedostomuodot Arviointikriteerit ja arviointiasteikko www.kdk.fi

29. KDK:nsäilytys- jasiirtokelpoisettiedostomuodot

30. KDK PAS Toteutuksenvaiheistaminen VAIHE 1: PAS-ratkaisun valmistelu 2011-2013 VAIHE 2: PAS-ratkaisun toteuttaminen 2014-2016 www.kdk.fi

31. KDK PAS lisätietoa http://www.kdk.fi/fi/pitkaaikaissailytys • KDK:n hallinnolliset ja rakenteelliset metatiedot ja aineistojen paketointi • Säilytys- ja siirtokelpoiset tiedostomuodot • Digitaalisten aineistojen laajuus ja säilytysmenetelmät • Hyöty- ja kustannusanalyysi • Toteuttamissuunnitelma (tulossa 2011) www.kdk.fi

32. Kiitos! www.kdk.fi