IKT og informasjonssøking (DRI 1002)

1. IKT og informasjonssøking (DRI 1002) • Lars Nygaard, Riksarkivet: • Arkivet, forvaltningen og WWW • Universitetet i Oslo, • 9. februar 2004

2. ”Arkiv-Norge” (1) • Riksarkivaren er den statlige myndigheten som har ansvaret for danning (tilsynsansvar), bevaring og tilgjengeliggjøring av arkivmateriale fra den statlige forvaltningen i Norge. • Riksarkivarens ansvarsområder og oppgaver er fastsatt med hjemmel i ”Lov av 4. desember 1992 nr. 126 om arkiv”, til daglig kalt Arkivloven. • Arkivverket er Riksarkivarens etat, og består av Riksarkivet i Oslo og statsarkivene i Oslo, Hamar, Kongsberg, Kristiansand, Stavanger, Bergen, Trondheim og Tromsø. • Nåværende riksarkivar John Herstad har sittet i stillingen siden 1982.

3. ”Arkiv-Norge” (2) • Det tilsvarende ansvaret for arkivmaterialet fra den kommunale og fylkeskommunale forvaltningen ligger hos kommunene selv, men mange av dem har gått sammen om å bygge opp interkommunale arkivdepoter (IKAer) for å ta seg av arkivoppgavene på vegne av medlemskommunene. Det er også etablert seks rene fylkesarkiver. • Arkivmateriale fra ikke-offentlige organisasjoner, institusjoner, firmaer og personer kalles privatarkiver. Ansvaret for bevaring av privatarkiver ligger hos disse ”arkivskaperne” selv og er frivillig, men mange ”verdifulle” privatarkiver oppbevares og forvaltes allikevel av offentlige arkivinstitusjoner, biblioteker og museer. • Betydningsfulle er også de faglige interesseorganisasjonene Landslaget for lokal- og privatarkiv (LLP), Norsk Arkivråd og Kommunalt Arkivfaglig Forum (KAF). Sammen med Riksarkivaren arrangerer de annethvert år Norsk arkivmøte.

4. Noen arkivbegreper (jf. Arkivhåndboken s.307-324) • Dokument: Logisk avgrenset informasjonsmengde som er lagret på et (hvilket som helst) medium for senere lesing, lytting, framvisning eller overføring. • Arkivdokument: Dokument som mottas eller produseres som ledd i den virksomhet et organ utøver, og som er gjenstand for saksbehandling eller har verdi som dokumentasjon. • ”Record”: Arkivdokument som dokumenterer enkelt-handlinger (”transactions”) i organets virksomhet. • Arkiv: En avgrenset mengde arkivdokumenter samlet som resultat av et organs (arkivskapers) virksomhet. • Også tre andre betydninger . . . . . • Dokumentasjonsverdi er verdi som dokumentasjon av handlinger eller virksomhet (for administrativ eller juridisk bruk) • Informasjonsverdi er verdi som historisk kildemateriale (for senere forsknings- eller kulturell bruk)

5. Elektroniske arkiver • Fram til 1960 ble det aller meste arkivmateriale skapt og lagret på papir, og papir er fortsatt et viktig medium. • Fra 1960-tallet og fremover er stadig mer arkivmateriale blitt skapt og lagret digitalt, såkalte elektroniske arkiver. • Elektroniske arkiver for langtidslagring fremstår teknologisk sett i to former: • Databaseform: Strukturert tekstinformasjon fra databaser og registre lagres som en eller flere ”flate” tekstfiler i ett av tre godkjente underformater (txt/csv/xml), fastsatt tegnsett osv. • Dokumentform: Formatert tekst, fotografier, tegninger, lyd- og videoklipp, eller kombinasjoner av disse, lagres som enkeltfiler i ett av flere godkjente dokumentformater, f.eks. PDF, TIFF, PNG, XML/XSL, MP3 og MPEG2. • NB: De IT-systemene som er blitt brukt i forvaltningen til å skape og vedlikeholde ”arkivmaterialet” (dvs. dataene), bevares ikke, men kun dokumentasjon om dem!

6. Journalføring (jf. Arkivhåndboken kap. 6.4) • Journaler var tradisjonelt en kronologisk liste over inn- og utgående dokumenter (brev) ført i en protokoll, eller noen ganger saksinndelt på kartotekkort, skjemaer e.l. • Arkivforskriften inneholder detaljerte regler om hva slags dokumenter som skal, kan og ikke skal journalføres. • Elektronisk journalføring startet rundt 1980 basert på gamle prinsipper og funksjoner, men informasjonsmengden i journalen er etter hvert blitt utvidet med betydelig flere metadata, f.eks. saksbehandler, behandlingsstatus, frister, plasseringsinformasjon for dokumentene, søkbare tittel- og emnefelt og kontekstinformasjon. • I et helelektronisk journalsystem må alle dokumenter i det minste registreres for å kunne gjenfinnes. • Noark har siden 1984 vært (de facto) standard for elektronisk journalføring i Norge, og fra 1999 (Noark-4) obligatorisk i hele den offentlige forvaltning.

7. Utvidede journalsystemer • Noark står for Norsk Arkivsystem. • Noark-4 inneholder en kravspesifikasjon til de enkelte Noark-systemene som går betydelig lenger enn å dekke grunnleggende journalføring. Bl.a. inkluderes funksjoner for behandling av elektroniske dokumenter, integrering av e-post, adgangsstyring, eksport/import av databasen, periodisering av journalen og produksjon av arkivversjon og –rapporter. Journalsystemene er blitt utvidet til arkivsystemer. • Noen av utviklerne av Noark-systemer (i dag er seks systemer på markedet) har gått enda lenger enn standarden og utvidet systemene til spesialiserte saksbehandlingssystemer med funksjoner for avansert søking og fremhenting av dokumenter, styring av saks-behandlingen (inkl. dokumentflyt og oppfølging) m.m.

8. Andre IT-systemer i forvaltningen • Fagsystemer er systemer som er spesialutviklet for den aktuelle etatens eller organets arbeidsoppgaver. • Fagsystemene kan være med eller uten journalfunksjoner (som i så fall må følge Noark). • Nesten alle fagsystemer har underliggende databaser. Mange av dem er informasjonsregistre som danner grunnlag for organets saksbehandling. • Innholdet i fagsystemenes databaser har ofte dokumentasjonsverdi og enda oftere informasjonsverdi. Dataene er da ofte bevaringsverdige. • Eksempler: Det sentrale folkeregisteret, ”Brønnøysundsregistrene”, GAB, Autosys, skatte- og ligningsregistre, politiets straffesaksregister • Økonomisk-administrative systemer • Eksempler: Regnskapssystemer, økonomistyringssystemer, lønnssystemer, personalsystemer, prosjektstyringssystemer, lagerstyringssystemer, utstyrsdatabaser, kontorstøttesystemer m.m.m. • Innholdet i disse systemene har ofte verken dokumentasjonsverdi eller informasjonsverdi på lang sikt, og vurderes derfor sjelden som bevaringsverdige.

9. Arkivdanning (1) - dokumenter • Internasjonalt er det fokus på begrepene ”record capture”og ”record management systems”. Målet er at systemene mest mulig automatisk skal ”fange inn” og lagre organets inngående, utgående og interne arkivdokumenter (”records”) og utstyre dem med nødvendige metadata, både om innhold, kontekst og struktur/format. • Utvidede journalsystemer etter Noark-4 har noen av de nødvendige funksjonene. Selve journaldatabasen inneholder metadata om dokumentene. Men mange av metadataene må legges inn interaktivt i journalsystemet. • Den planlagte Noark-5 (2005-06) vil inkludere EU-standarden Moreq, og Noark5-systemer forventes å bli fullverdige ”record management”-systemer.

10. The archivistfacing the modern record

11. Arkivdanning (2) - databaser • Når det gjelder databasene i fagsystemene, er arkiveringsmulighetene avhengige av oppdateringsmåten: • Mange databaser eller databasetabeller i forvaltningen i dag mangler en ”historisk dimensjon” i og med at nye data skrives over gamle data uten at de gamle tas vare på. • I bedre systemer lagres utgåtte data i historikktabeller i databasen, mens enda bedre systemer lagrer alle endringer i databasen i egne, kronologiske loggtabeller eller –filer. • Mange databasetabeller er også akkumulerende, dvs. at eksisterende data ikke endres, men at tabellene stadig tilføyes nye rader med informasjon. Slike tabeller er kurante arkivmessig, men kan gjerne periodiseres, dvs. at eldre årganger av data tas ut av tabellene med jevne mellomrom og lagres separat.

12. Arkiveringsprosessen for elektroniske arkiver (1) • (Den følgende fremstillingen gjelder for Arkivverkets arbeid med elektroniske arkiver fra statsforvaltningen i regi av Avdeling for elektronisk arkiv i Riksarkivet:)================================================= • Riksarkivet har helt siden 1993 drevet med kartlegging av IT-systemer og dataregistre både i den sentrale og den lokale statsforvaltningen. (database: Arkivente) • Siden 2001 har forvaltningsorganene selv også vært pålagt å melde inn nye systemer de tar i bruk. (Noark4-systemer må på forhånd være godkjent av Riksarkivet.) • Både Datatilsynet, Brønnøysundsregistrene og altså Riksarkivet holder hver sine oversikter over forvalt-ningens IT-systemer. Dette burde ha vært samordnet!

13. Arkiveringsprosessen for elektroniske arkiver (2) • Etatsvise ”bevaringsprosjekter” med deltakere fra etatene/organene selv (arkivskaperen), Riksarkivets avdeling for elektronisk arkiv (El-ark) og enten Riksarkivets ”Yngre avdeling” eller et statsarkiv viderefører kartleggingen i nærmere detalj ved å utøve tilsyn med (inspeksjon av) aktuelle IT-systemer og rutinene rundt bruken og vedlikeholdet av disse. • På grunnlag av rapporten fra det detaljerte kartleggingsarbeidet foretar prosjektet også en bevarings- og kassasjonsvurdering av de ulike IT-systemene/databasene med fokus på informasjons-innholdet og dettes fremtidige dokumentasjons- eller informasjonsverdi. Bevarings- eller kassasjonsvedtak fattes formelt av Riksarkivaren.

14. Arkiveringsprosessen for elektroniske arkiver (3) • Etter at bevaringsvedtak for (deler av) informasjonen i et IT-system er fattet, utfører databasekyndige fra El-ark og arkivskaperen i samarbeid en nærmere analyse av systemet og dets database, som regel basert på systemdokumentasjon og datamodell. Resultatet er en konkret uttrekks- og avleveringsplan for systemet. Her inngår blant annet: • Hvilke tabeller i databasen som skal ”trekkes ut” (eksporteres),enten det er alle, noen få separate eller en sammenslåing (join) av noen utvalgte • Hvilke elektroniske dokumenter som skal følge med • Når og hvor ofte uttrekkene skal produseres og avleveres

15. Arkiveringsprosessen for elektroniske arkiver (4) • Arkivskaperens IT-personale produserer de avtalte datauttrekkene i tråd med uttrekksplanen, og tilfører disse den nødvendige dokumentasjon/metadata i samarbeid med de arkivansvarlige. • Spesielt viktig for uttrekk fra databaser er en detaljert strukturbeskrivelse (strukturelle metadata) av disse utformet i tråd med Riksarkivarens standard ADDMML, fortrinnsvis ved hjelp av verktøyet Arkadukt. • De avtalte datauttrekk og metadata (begge i form av filer i godkjente formater) deponeres eller avleveres til Riksarkivet (eller evt. et statsarkiv) i tråd med avleveringsplanen. • CD-R er i dag det mest brukte mediet for slik dataoverføring.

16. Arkiveringsprosessen for elektroniske arkiver (5) • Ved mottak i Riksarkivet blir deponeringen eller avleveringen registrert, og mottakskvittering sendt tilbake til arkivskaperen. • Så raskt som mulig blir uttrekket testet av El-ark ved hjelp av verktøyene Arkade (for databaseuttrekk fra fagsystemer), ArkN3/Proteus (for Noark3-uttrekk) eller Noark4U (for Noark4-uttrekk). Arkade kan også omformatere uttrekk om nødvendig. • Dersom uttrekkene består testen, blir de godkjent (meddeles arkivskaperen). I motsatt fall blir arkiv-skaperen bedt om å produsere nye, korrigerte uttrekk. • Det er sjelden aktuelt å korrigere mottatte uttrekk i Riksarkivet, både av prinsipielle og kapasitetsmessige grunner.

17. Arkiveringsprosessen for elektroniske arkiver (6) • Godkjente uttrekk (deponeringer/avleveringer) blir nå katalogisert i El-arks foreløpige system Arkimedes. Katalogdataene skal siden overføres til ny versjon av Arkivverkets felles katalogsystem Asta. • Elektroniske arkiver blir pr. i dag langtidslagret som tekstfiler (for databaseuttrekk) og dokumentfiler i godkjente formater (for dokumenter). • De lagringsmediene som benyttes nå er CD-R (2 kopier) og DLT-bånd (1 kopi). Men utviklingen går mer og mer i retning av harddisker, både av kapasitetsmessige, prismessige og ikke minst praktiske grunner. • Dataene kan da være ”alltid tilgjengelige” over et datanettverk.

18. Hvorfor arkiv?(jf. Arkivhåndboken s.20) • Fordi arkivene skal: • sikre at organet (arkivskaperen) for all ettertid kan dokumentere sine handlinger, tiltak og vedtak. • sikre innbyggerne adgang til viktig informasjon om den offentlige forvaltningens planer og virksomhet • sikre at innbyggerne kan dokumentere egne rettigheter og eiendom og trygge personlig rettssikkerhet • sikre innbyggerne informasjon som kan brukes i kulturelle aktiviteter • sikre at ulike deler av samfunnets historie kan skrives i fremtiden • For å oppnå disse godene må lagret arkivmateriale gjøres best mulig tilgjengelig for brukerne!

19. Tilgjengeliggjøring av arkiv (1): Papirbasert materiale • Tradisjonelt er (papirbasert) arkivmateriale kun tilgjengelig på lesesalen til det arkivdepotet som oppbevarer materialet. • Hovedårsaken er at materialet finnes kun i ett eksemplar, og kan bli ødelagt eller komme bort ved forsendelse, utlån osv. • Men ”innlån” mellom Riksarkivet og statsarkivene innenfor Arkivverket praktiseres. • Også mangfoldiggjøring ved fotokopiering har vært praktisert for en del mye brukt materiale. • Noe arkivmateriale er klausulert (f.eks. p.g.a. personvern eller rikets sikkerhet) og er kun tilgjengelig for arkivpersonale (med taushetsplikt) for saksbehandling, eller for forskere etter søknad.

20. Tilgjengeliggjøring av arkiv (2): Mikrofilmet materiale • Mikrofilming har vært praktisert i Arkivverket helt siden slutten av 1940-tallet for å mangfoldiggjøre og dermed øke tilgjengeligheten til hyppig etterspurt og mye brukt arkivmateriale. • Mikrofilmet materiale kan reproduseres både på mikrofilm (35 eller 16 mm) og mikrokort (fiche), både for distribusjon til andre arkivdepoter, biblioteker eller museer, og for salg direkte til brukerne. • Ulempen med disse mikromediene er at de krever uhåndterlig og dyrt leseutstyr.

21. Tilgjengeliggjøring av arkiv (3): Digitalisert materiale • Digitalisering av opprinnelig papirbasert arkivmateriale gir sterkt utvidede muligheter for tilgjengeliggjøring, helt inn i brukernes kontor eller stue via CD-R eller Internett. • Digitalisering ved transkribering har vært praktisert innenfor Arkivverket helt siden 1970-tallet, men enda mer i forsknings- og hobbymiljøer utenfor Arkivverket. • Digitalt transkribert materiale lagres i form av strukturerte tekstfiler som kan legges inn i databaser for bruk. • Mesteparten av det digitalt transkriberte arkivmaterialet er personhistorisk materiale fra folketellinger, kirkebøker, skifte- og emigrantprotokoller. • Digitalisering ved skanning fra papir har vært praktisert i beskjeden målestokk i Arkivverket siden ca. 2000. Et stor-prosjekt for skanning fra mikrofilm er nå i oppstartfasen. • Skannet materiale lagres som bildefiler (”lossless” komprimert). • Hittil skannet arkivmateriale har vært mest klenodier og visuelle praktstykker

22. Tilgjengeliggjøring av arkiv (4): Digitalt skapt materiale (fra Noark) • Mange journaler fra offentlig forvaltning er i tråd med offentlighetsloven §2 åpne for allmennheten (unntatt visse dokumenter eller opplysninger), og vil i stadig sterkere grad bli krevd tilgjengeliggjort. • Siden komplette uttrekk fra Noark-systemer skal kunne gjenimporteres i et hvilket som helst annet Noark-system, er en mulighet at arkivdepoter har publikums-PCer med et Noark-system på sine lesesaler. • Viktigere er det at Riksarkivet nå utvikler en web-basert ”viewer” for Noark4-uttrekk (Noark4U), som skal brukes til å gjøre ”offentlige journaler” tilgjengelige for alle. • Etter søk i journaldatabasen vil det i trefflisten her være hyperlenker til tilhørende dokumenter, som deretter kan fremvises/lyttes til ved hjelp av web-leserens tilleggsprogrammer.

23. Tilgjengeliggjøring av arkiv (5):Digitalt skapt materiale (fra fagsystemer) • Mesteparten av det digitalt skapte arkivmaterialet (fra 1960-årene eller nyere) vil i lang tid være utilgjengelig (klausulert) av personvern- eller andre grunner, men noe vil kunne gjøres allment tilgjengelig allerede nå. • Arkivuttrekk fra fagsystemers databaser langtidslagres som sett av tekstfiler (fra Arkade) med tilhørende struktur-beskrivelse utarbeidet etter ADDMML-standarden. • Riksarkivet utvikler nå en generell, web-basert bruker-tjeneste (Arkibruk?) for elektroniske arkiver, som skal gi både interne og eksterne brukere med tildelte rettigheter søke- eller nedlastingsadgang til slikt materiale. • For søking via web må datasettet først importeres i en relasjonsdatabase (MySQL) på en web-server.

24. Aktuelle web-adresser for arkiv • Arkivnett Norge (sektornett under Kulturnett Norge):www.arkivnett.no • Arkivverket (Riksarkivaren) - startside:www.arkivverket.no • Arkivverket – fagstoff om arkiv:www.arkivverket.no/arkivverket/lover.html • Arkivverket – hovedkatalogen over arkivmateriale:www.arkivverket.no/arkivsok/hovedkat/sokeside.asp • Samkatalogen for norske privatarkiver:www.arkivverket.no/samkat/searchPage.php • Digitalarkivet – for søking i digitalisert arkivmateriale:www.digitalarkivet.no • ABM-utvikling: www.abm-utvikling.no • Nasjonalarkivet i England: www.pro.gov.uk