160 likes | 331 Views
RAKETTI-VIRTA-projekti Tietojen tarkastaminen. 6.2.2013, Lauri Jokipii www.csc.fi/virta. Tarkastuksia monessa vaiheessa. XML-validointi korkeakoulujen puolella XML-validointi tietovarannon puolella Tietojen sisäänluku Tietojen tarkastukset tietovarannossa
E N D
RAKETTI-VIRTA-projekti Tietojen tarkastaminen 6.2.2013, Lauri Jokipii www.csc.fi/virta
Tarkastuksia monessa vaiheessa • XML-validointi korkeakoulujen puolella • XML-validointi tietovarannon puolella • Tietojen sisäänluku • Tietojen tarkastukset tietovarannossa • Tietovarannon tiedot tarkastettavaksi korkeakouluille
välikysymys • Kuinka moni on saanut Tilastokeskuksen tiedonsiirtojen myötä korjattavaa?
XML-validointi • Tähän mennessä käytettyjä työkaluja • Xmllint (Linux, Windows) • Xmlstarlet (Windows) • Microsoft SQL Server –ohjelmiston komponentit • Validointi varmistaa mm. käytetyt koodistoarvot • Koodistot sisältävät ”kaikki” arvot. Myös vanhentuneet
Tietojen sisäänluku • Relaatiotietokannassa viite-eheydet(korkeakoulujen tietomalli) Henkilö/Opiskelija Lukukausi-ilmoittautuminen Opintosuoritus Opiskeluoikeus
Tietojen tarkastukset tietovarannossa • Tutkinnonsuorituksella viittaus koulutusluokitukseen, eli tieto Koulutuskoodista (Tutkintonimike) • Opiskeluoikeuden tila –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä • …
Tietojen tarkastukset tietovarannossa • Opiskeluoikeusjakso –tiedot kattavat opiskeluoikeuden voimassaoloajan katkeamattomana ja yksiselitteisenä • …
Tietojen tarkastukset tietovarannossa • ”Edellisen elämän” esimerkkejä: • hlo_tupla, hlo_tyyppi, hlo_tuplakayttaja, hlo_aidinkieli, opinoik_ei_asemaa, opinoik_asema_ei_kaytossa, opinoik_ei_kohteita, opinoik_kat_vs_tutk, opinoik_kohde_monta_voimassa, opinoik_kohde_ei_voimassa, opinoik_kohde_laji_ja_tyyppi, opinoik_kohde_tasnro_kohtlaj, opinoik_kohde_opinkohd_ei_voim, opinoik_tdk_ei_kohdevastuu, opinoik_opintark_ei_tilkood, opinoik_vaaria_kohteita, opinoik_kohde_ylimaaraisia, opinoik_tuplia, opinoik_enssij_paattynyt, opinoik_enssij_ei_tutk, opinoik_vaara_asema_voimassa, opinoik_peruutettu_voimassa, opinoik_rajlak_ei_paiv, opinoik_sivu_voimassa, opinoik_optio_ei_paria, opinoik_A2004_aikainen, opinoik_pvm_paat, opinoik_pvm_aloi_ei_alkpaat, opinoik_pvm_opinaloi_tyhja, opinoik_pvm_pari_eq_myon_aloi, opinoik_pvm_enssij_paat, opinoik_pvm_enssij_paallekkain, opinoik_pvm_enssij_aukot, opinoik_pvm_optio, opisk_ei_opinoik, opisk_opisluetpvm_erisuuri, opinkohd_vastuuorg_ei_kata, opinkohd_vastuu_ei_kata, opinkohd_puuttuu_luokittelu, tappvm, tulevaisuuden_suoritus, orgosuu_vanha, tutk_status, tutk_ei_opinoik, tutk_vaara_opinoik, tutk_opinoik_voimassa, tutk_opinoik_paattyy, tutk_suorpvm_ei_oik, tutk_kohteet, tutk_laajuus, tutk_vastuu_puuttuu, tutk_vastuu_eri_paaaine, tutk_tutksuor_ei_opinto, kevatmaksukombinaatio, maksu_perus, osakunta_puuttuu, yksi_lk, ei_oikeutta, kesk_paallekkain, etappi, …
Tietojen tarkastukset tietovarannossa • Loputon lista, kehitetään jatkuvasti lisää • Mahdollisia esimerkiksi: • Opintosuorituksilla koulutusala? (ainakin uusimmilla tulisi olla) • Tutkinnonsuoritus viittaa opiskeluoikeuteen? • Opiskeluoikeus, johon viittaa suoritettu tutkinto, on asetettu päättyneeksi • Ideoita otetaan vastaan
Tarkastukset tietovarannossa • Tietovarantoon saatetusta tiedosta muodostetaan yksinkertaisia lukumäärätietoja • Mallia otettaneen mm. TK:n tarkastusraporteista, kuten tutkintojen/opiskelijoitten määrät vuosittain ja koulutusasteittain/-aloittain • Ideoita otetaan vastaan • Tietovarannon tiedot saatetaan tietokantadumppina korkeakouluille
Tarkastusten tulokset • Tarkastusten tulokset kootaan raportiksi tai raporteiksi, joka raportti saatetaan tiedoksi VirtaSFTP-palvelimelle • Erityisesti virhetilanteiden sattuessa lähetetään sähköposti-ilmoitus ”tekniseen” osoitteeseen
Korkeakoulujen valtakunnallinen tietovaranto: Keskitetty tietovarantopalvelu (CSC) Koodistopalvelu CSC: poiminta esim. Tilastokeskukselle tai Vipuseen Kokonaisuus toimii automaattisesti ja reagoi korkeakoulusta tulevaan uuteen tietoon ja lukurajapintojen kutsuihin: testi- ja tuotantoympäristöt Ohjaus, lähde, muunnos, tarkistus, siirto Opetushallituk-sen palvelut Eri instansseina 41-44 korkeakoulua + noin 3 toimittajaa ”korkeakouluina” Yksi valtakunnallinnen instanssi (toimintavarmuus, kahdennus, kuorman jakaminen…) Ohjaus, lähde, muunnos, tarkistus, siirto SFTP SA Tallennus Yhdistetty tallennus Luku-rajapinta-sovellus WS-liikenne ulos Tarkistus-sovellus Ohjaus, lähde, muunnos, tarkistus, siirto Korkeakoulujen omat palvelut • Palvelu A: siirtää tiedot SFTP => Staging Area => Tallennus • Palvelu B: (Staging Area) tarkistaa uudelleen tietoa ennen tallennusta • Korkeakoulukohtaisen (vihreän) osan suorituskykyvaatimukset ovat matalat, kaikki instanssit samoilla palvelimilla: • 2 x Active Directory • SFTP, Events ja Auditor (Tectia) jaSQL • SQL Server 2008 R2 Palvelu C: muodostaa korkeakoulukohtaisista tallennuksista (Tallennus) yhdistetyn lukurajapintoja vastaavan tiedon ja tallentaa sen (Yhdistetty tallennus) • Tietojen lukeminen: • Järjestelmäkohtainen valtuutus lukurajapintojen käyttöön. • Valtuutustyyppejä kaksi: valtakunnallinen tai korkeakoulukohtainen. • Käyttövaltuuksien valvonta etäjärjestelmissä. • Lukemisen lokitus.
Koodistopalvelu käyttöön Korkeakoulukohtaisen tietointegraation toteuttaminen: Hahmotelmia korkeakoulun toimenpiteistä ? Tiedostojen siirtäminen tietovaranto-palveluun (SFTP) Lähdejärjes-telmä Yhteismital-listen XML-siirtotiedosto-jen muodos-taminen Siirtotiedos-tojen tarkastaminen Lähteet: Tietojen kokoaminen eri lähteistä? Siirto: lähdejärjestelmän tuotantoympäristöstä suojatulla yhteydellä CSC:n palvelimelle korkeakoulun omaan hakemistoon Muodostus: lähdetiedoista poimimalla ja päätelemällä. Tarkastus: yhteisen tietoarkkitehtuurin tarkastuksien tekeminen muodostetuille tiedostoille (luodaan ja ylläpidetään yhteisesti). Muodostuksen ja tarkastuksen automatisointi, jotta lähteen tietoja voidaan korjata mahdollisimman pian? Tietojen siirron automatisointi?
Keskitetty tietovarantopalvelu SFTP Tietojen tarkistus Tallennus • Korkeakoulukohtainen vastaanottoalue: SFTP • Tietojen automaattinen tarkistus ja raportointi korkeakoululle • Korkeakoulukohtainen tietokanta tiedon tallentamiselle SA SA SA SA SA SA
Tietojen tarkistuspalvelu • Korkeakoulujen käyttöön • Toiminto, joka käyttää viranomaistietovirtoja varten toteutettuja rajapintoja • Tuottaa ”tarkistusraportin” eli näkymän tietosisältöön kattavasti, as is dumppi, esitys web-sovelluksella • Bonarina tarkistussummia ja per henkilö -haku sovellettuna korkeakoulurajauksen sisällä