Kansalliset ja kansainväliset auditoinnit ja akkreditoinnit

1. Kansalliset ja kansainväliset auditoinnit ja akkreditoinnit Riitta Pyykkö Tampere 3.12.2008 Suomen yliopistokirjastojen laatuseminaari

2. Kansallisen arviointipolitiikan taustat • Korkeakouluneuvosto 1966-1995 • Tutkimuksen arviointi Suomen Akatemia 1983 • VNp 1986 • Tulosohjaus/sopimusohjaus/markkinaohjautuvuus: jatkuva arviointi itseohjautuvuuden edellytyksenä • Eräissä Euroopan maissa valtiolliset arviointi-instituutiot • Ammattikorkeakoulujen perustaminen • Riippumattoman arviointielimen tarve • KKA 1996-

3. Kansallisesta kansainväliseen • Kansallisten arviointielimien perustaminen 1990-luvulla > kansainvälisten quality assurance -verkostojen synty • Paineita ylhäältä (Lissabonin strategia, Bolognan prosessi) ja alhaalta (kansalaisilta ja elinkeinoelämästä) • Euroopan komission aktiivisuus (pilottiprojekti 1995) • Tavaroiden, pääomien, työvoiman, opiskelijoiden, palveluiden liikkuvuus > edellyttää luottamusta laatuun • OECD:n raportit • Kansainväliset rankingit • 2000-luvulla Bolognan prosessi ja eurooppalaisen korkeakoulutusalueen rakentaminen keskeiseksi laadunvarmistustyön suuntaamisessa • European Quality Assurance Forums 2006-

4. Bolognan prosessi ja laadunvarmistus 1(2) • prosessi rytmittyy kahden vuoden välein järjestettävin ministerien seurantakokouksin • Bolognan julistus 1999: Euroopan tasoisen yhteistyön vahvistaminen laadunvarmistuksessa; vertailukelpoisten kriteerien ja menetelmien kehittäminen • Praha 2001: korkeakoulujen, arviointiorganisaatioiden ja ENQA:n sekä muiden vastaavien organisaatioiden kehitettävä yhteinen viitekehys ja levitettävä hyviä käytänteitä • Berliini 2003: Quality… has proven to be at the heart of the EHEA; kansallisten järjestelmien sisällettävä 2005 mennessä: * eri elinten ja laitosten vastuunjako * koulutusohjelmien tai korkeakoulujen arviointi (ml. sisäinen arviointi, ulkoinen arviointi, opiskelijoiden osallistuminen arviointiin sekä tulosten julkistaminen) * akkreditaatio-, sertifiointi- tai muu vastaava järjestelmä * osallistuminen kansainväliseen toimintaan, yhteistyöhön ja verkostoihin • E4:n (ENQA, EUA, EURASHE, ESIB/ESU) kehitettävä yhteiset suositukset vertaisarvioinnille

5. Bolognan prosessi ja laadunvarmistus 2(2) • Bergen 2005: hyväksyttiin European Standars and Guidelines for Quality Assurance in the EHEA (ESG): yhteinen viitekehys ja periaatteet; määrittää sen, mitä tulisi tehdä, ei sitä, miten; noudattaminen edellytys eurooppalaiseen rekisteriin pääsemiselle • seuraavaksi tehtäväksi eurooppalaisen laadunvarmistusorganisaatioiden rekisterin luominen • Lontoo 2007: E4:n esitys rekisterin (European Quality Assurance Register for Higher Education, EQAR) rakenteeksi • rekisteri perustettiin Brysseliin maaliskuussa 2008 • ENQA:n täysjäsenyys normaalisti osoittaa myös rekisterikelpoisuuden • mielipide kansallisten laadunvarmistusorganisaatioiden keskuudessa positiivisen odottava (4/5 aikeissa hakeutua rekisteriin)

6. Suomen valinta: auditointi • kehittävän arvioinnin periaate • kolmijako: korkeakouluilla vastuu toimintojensa laadusta, OPM:llä ohjaus ja päätöksenteko, KKA:lla kansallinen vastuu laadunvarmistuksesta • Berliinin kokouksen jälkeen kansallinen työryhmä esitti auditointimallia • tavoitteena malli, joka 1) sopii kansalliseen korkeakoulu- ja arviointiperinteeseen ja 2) on kansainvälisesti pätevä ja uskottava sekä täyttää eurooppalaisen kehityksen vaatimukset • ottaa huomioon korkeakoulujen erot; perustuu luottamukseen korkeakoulujen autonomiaan ja omaan vastuuseen • fittness for purpose -ajattelu: korkeakoulu itse päättää laadunvarmistusjärjestelmästään, auditoinnissa arvioidaan, onko se tarkoituksenmukainen: kattava, toimiva ja vaikuttava; auttaako se korkeakoulua saavuttamaan ne tavoitteet jotka se on itselleen asettanut • tukee kehittämistyötä • I Auditointikäsikirja 2005-2007; II 2008-2011 • kaikkien korkeakoulujen laadunvarmistusjärjestelmät auditoidaan 2011 mennessä

7. tarpeen korkeakoulujärjestelmän voimakkaasti kehittyessä tai muuttuessa ”kyllä”/”ei” -tulos korostaa tilivelvollisuutta perustuu luvattuihin tuloksiin standardit tulevat korkeakoulujen ulkopuolelta käytössä esimerkiksi Itävallassa, Saksassa, Ranskassa, Italiassa, Alankomaissa, Espanjassa sopii ”kypsälle” korkeakoulujärjestelmälle antaa kehittämissuosituksia korostaa kehittämistä ja kriittistä itsearviointia arvioi aiempia ja nykyisiä tuloksia korkeakoulut itse määrittelevät standardit vakiintunut Suomessa, Tanskassa (nyt muutoksessa), Norjassa, Skotlannissa, Englannissa, Pohjois-Irlannissa, Walesissa (osassa maita samalla käytössä ohjelma-akkreditointi); tulossa käyttöön Itävallassa, Saksassa, Espanjassa; Alankomaissa myös kiinnostusta Akkreditointi vs. auditointi

8. Euroopan maiden erilaiset ratkaisut(ENQA Survey 2008) • arvioinnit (evaluations): oppiainetaso (5/33), koulutusohjelmat (23/35), kokonaiset korkeakoulut (14/35), teemat (2/31) • auditoinnit: korkeakoulutasolla 13/32, hyvin harvoin ohjelmatasolla • akkreditoinnit: koulutusohjelmat (25/38), korkeakoulut (13/34) • benchmarking: useimmissa maissa korkeakoulujen kesken; voi koskea oppiaineita, koulutusohjelmia, kokonaisten korkeakoulujen toimintaa tai teemoja; hyvien käytänteiden levittämistä • ulkoinen arviointi tapahtuu useimmiten säännöllisin välein (tavallista 5-6 vuotta), paitsi teema-arvioinnit • lähes 2/3 arvioi (eri tavoin) ohjelmia, vain 40% kokonaisia korkeakouluja • 90% organisaatioita käytössä useampi arviointityyppi, kolme neljästä muuttanut äskettäin tai muuttamassa repertuaariaan • eroja myös: Kuka tilaa arvioinnit? Kuka maksaa? Kuka organisoi? Mikä on eri tahojen, erityisesti opiskelijoiden rooli? Mitä seurauksia arvioinneista on? • ratkaisut nähtävä kansallisessa kontekstissa (contextualisation of QA), mutta päästävä kuitenkin vertailukelpoisiin malleihin (standardisation of QA) • laatu on aina suhteellinen käsite

9. Kokemuksia auditoinneista 1(2) • auditoijien valintaan kiinnitettävä erityistä huomiota: oltava kk-kentän ja laatujärjestelmien hyvä tuntemus sekä arviointikokemusta; ryhmiin kokeneita ja uusia • oltava kunnolla aikaa perehdytykseen sekä auditointiaineistoon tutustumiseen • puheenjohtajan rooli keskeinen (ml. ilmapiirin ylläpitäminen!) • opiskelijoiden osallistuminen tärkeä: varmistavat arviointiprosessin monipuolisuuden ja kattavuuden ja ovat tärkeitä tulosten saattamisessa käytäntöön yo/opiskelijakunnissa ja korkeakoulujen hallinnossa • ryhmien oltava tarkkana, että eivät ala arvioida tulosten laatua (tässä sihteerien rooli tärkeä) • arvioivan tekstin kirjoittaminen vaativaa (evidenssivelvoite) • raporttien vertailtavuus noussut yhä tärkeämmäksi auditointien edetessä, erityisesti uusintaan päätyvien kohdalla • kuinka paljon ja miten raportteja hyödynnetään korkeakouluissa? tästä kerätään palautetta, mutta lisääkin tietoa olisi hyvä saada

10. Kokemuksia auditoinneista 2(2) • kaikkien KKA:n arviointien tulokset julkisia: raportit julkaistaan KKA:n julkaisusarjassa ja julkistetaan seminaarissa > mahdollisuus avoimeen keskusteluun vastaa kehittävän arvioinnin periaatetta • seminaarit voivat lisätä arvioinnin julkisuutta ja sitä kautta myös vaikuttavuutta (entä kielteinen julkisuus uusinnan kohdalla?) • seminaarien keskusteluissa korostuu itse prosessin, itsearvioinnin ja arviointivierailun merkitys • seminaareilla pyritään ehkäisemään mahdollisia pelkän kirjoitetun raportin pohjalta syntyviä väärinkäsityksiä tai kärjistyksiä • seminaareissa(kin) saadaan myös palautetta itse mallista • valmisteluvaiheessa 2003-2004 korkeakoulut itse toivoivat, että menetelmällä olisi seuraamuksia • 5/19 johtanut uusinta-auditointipäätökseen (marraskuu 2008); 1/5 läpäissyt jo uusinnan • ”alkujärkytyksen” jälkeen koettu hyödyllisenä: antaa suunnatun kehittämisimpulssin, aikatauluttaa ja jäntevöittää kehittämistyötä, on hyvä väline korkeakoulun johdolle • voidaan nähdä myös mahdollisuutena saavuttaa keskinkertaisen asemesta erityisen hyvä taso • neuvottelumahdollisuus kehittämissuunnitelmasta koettu hyvänä

11. Entä seuraava kierros? 1. = KKA:n tekemä toisen kierroksen auditointi • KKA aloittaa vuonna 2009 mallin kehittämisen • kuten 1. kierroksella, voidaan organisoida kansallisena tai kansainvälisenä (lisääntyykö kansainvälisten valinta?) • todennäköisesti kevyempi: kohdistuu 1. kierroksen suositusten täytäntöönpanoon ja mahdollisesti joihinkin ajankohtaisiin teemoihin 2. = koko korkeakoulun kattava, jonkun muun tekemä • eurooppalainen rekisteri mahdollistaa arvioinnin tilaamisen myös muualta (ja KKA:n tekemät muiden maiden arvioinnit) • OPM asettanee kuitenkin joitakin edellytyksiä malleille, jotta voi varmistaa vertailukelpoisen tiedon saamisen 3. = kansainvälinen alakohtainen arviointi • kansainväliset alakohtaiset akkreditoinnit/arvioinnit (esimerkiksi EQIS, CEMS) • kirjastoalalla olemassa ainakin Helicon library accreditation framework (lääketieteellisille kirjasoille, UK), myös Yhdysvalloissa on tehty yliopistokirjastojen akkreditointia • eivät luultavasti korvaa jatkossakaan kokonaisarviointia (vrt. 1. kierros esimerkiksi HSE) Kaikki vaihtoehdot maksullisia korkeakouluille

12. Kansainvälisen arvioinnin pohdiskelua • antaa mahdollisuuden laadun kansainväliseen vertailuun • ”leimalla” voi olla merkitystä kansainvälisessä markkinoinnissa • opiskelijoiden ja työvoiman liikkuvuus edellyttää luottamusta toisten korkeakoulujen laatuun niin kansallisesti kuin kansainvälisesti > kansainväliset arvioinnit luottamusta rakentamassa • kansallinen vertailtavuus ehkä heikompi • istuuko kansalliseen (ja korkeakoulutasoiseen) kontekstiin? (esimerkiksi vastuunjakoon korkeakoulujen, ministeriöiden ja laadunvarmistusorganisaatioiden kesken tai kansalliseen kk-traditioon ja -kulttuuriin) • rankingit ja laatuleimat: ”kukaan niistä ei pidä, mutta kaikki niitä lukevat” • kaikki mallit edellyttävät jatkossakin henkilöstön ja opiskelijoiden koulutusta, jotta päästäisiin todelliseen laatukulttuuriin • laadun arviointien tulee olla kirjoitettuja niin että myös suuri yleisö ymmärtää niitä • oltava varuillaan, ettei menetetä perinteisiä akateemisia arvoja: akateemista vapautta, autonomiaa, opetuksen ja koulutuksen korkean laadun tavoittelemista, kriittistä ajattelua • Miten säilyttää tasapaino yhteistyön ja kilpailun kesken (kun resurssit ovat yhä tiukemmassa)?