Mitä auditoinnista voi oppia?

1. Mitä auditoinnista voi oppia? Peda-forum -päivät 2006 25.8.2006 Sari Tervonen ja Lauri Stigell

2. Sisältö • Mitä auditointi on? • Auditoinnin hyödyt ja opit • Auditointiin liittyvät odotukset, toiveet ja pelot • Ulkoisten auditointien hyödyt (vai haitat?) Kuopion yliopistossa • Auditointikokemuksia Kuopion yliopistossa

3. Ryhmäkeskustelu • Esittele itsesi lyhyesti • Mitä ymmärrät auditoinnilla?

4. Mitä auditointi on? • Auditointi on riippumatonta ulkopuolista arviointia, jossa selvitetään, onko laadunvarmistusjärjestelmä tavoitteiden mukainen, tehokas ja tarkoitukseen sopiva. Auditoinnissa arvioidaan niitä prosesseja, joilla korkeakoulu hallitsee ja kehittää koulutuksen ja toiminnan laatua. KKA, Auditointikäsikirja vuosille 2005-2007 • Auditointi on järjestelmällinen, riippumaton ja dokumentoitu prosessi, jossa hankitaan objektiivisesti arvioitavaa todistusaineistoa sen määrittelemiseksi, missä määrin auditointikriteerit on täytetty. Kvalimenta laatupalvelut, Jorma Kärppä

5. Auditoinnin tavoitteena on • selvittää onko toiminnalle asetettu tavoitteet ja määritelty miten niihin pyritään (prosessit) • selvittää onko ohjeistusta sopivasti • arvioida onko toiminta tavoitteiden mukaista tekeekö organisaatio sitä mitä sen pitäisi • selvittää tuottaako järjestelmä toiminnan kehittämisen kannalta tarkoituksenmukaista tietoa ja johtaako tämä laatua parantaviin kehittämistoimenpiteisiin

6. Auditoinnissa edellytetään • dokumentaatiota • näyttöjä

7. Mitä auditoinnissa kysytään? • Missä ja mitä? • Koska ja kuinka? • Miksi ja kuka? • Näytä minulle.

8. Ryhmäkeskustelu • Mitä hyötyä odotat auditoinnista olevan? • Mitä toivot oppivasi? • Onko sinulla auditointiin liittyviä pelkoja? • Kirjatkaa väh. 3 tärkeintä odotusta ja toivetta sekä pahinta pelkoa.

9. PF-Ryhmäkeskustelu:Mitä hyötyä auditoinneista? • Oikeat vastaukset: • Sisäisen kehittämisen apuväline (auditointiprosessti pakottaa keskusteluun) • Ulkopuolinen palaute organisaatiolle sen toiminnasta • Näkee itsensä ulkopuolisin silmin • Hahmottaa itsensä osana kokonaisuutta

10. PF-Ryhmäkeskustelu:Mitä toivot oppivasi auditoinneista? • Oikeat vastaukset: • Laadunvarmistusjärjestelmän integroiminen omiin töihin • Auditoinnit paljastavat laadun puutteen strategioissa ja niiden toteuttamisessa  saadaan toimijat havaitsemaan onttoudet  toiminnan kehittyminen • Prosessien kuvaus helpottaa esim. uusien työntekijöiden perehdyttämistä

11. PF-Ryhmäkeskustelu:Auditointiin liittyviä pelkoja? • Oikeat vastaukset: • Suuri uudistus on työläs (vrt. tutkinnonuudistus) • ”Ei tartte mulle kertoa miten pitää toimia” • Turhaa, tarkkaan aikataulutettua, kuormittavaa lisätyötä, jossa lisädokumenttien tuottaminen itsetarkoituksena? • Entä jos se ei hyödytäkään? – jos menee ihan vikaan

12. Auditoinnit Kuopion yliopistossa • Sisäisiä auditointeja tehty vuodesta 2003 • Ulkoisia auditointeja tehty/tekeillä kaksi • Inspecta 2005 - 2006: tavoitteena opetuksen laadunhallintajärjestelmän kansainvälinen sertifiointi • Korkeakoulujen arviointineuvosto 2005 (2006): laadunvarmistusjärjestelmän hyväksytty auditointi ensimmäisenä suomalaisena yliopistona

13. Mitä hyötyä auditoinnista on auditoitavalle? • vahvistusta oman työn suunnalle • kehittämisajatuksia • kytkee oman työn laitoksen ja yliopiston kokonaisuuteen • rajapintojen kirkastuminen

14. Mitä hyötyä auditoijalle (sisäiset)? • oppii paljon toisten laitosten ja tiedekuntien toiminnasta sekä yliopistosta kokonaisuutena • kehittämisajatuksia omaan työhön/omaan organisaatioon • mahdollisuus monipuolistaa omaa työtä

15. Mitä hyötyä auditoinnista on organisaatiolle?- auditoinneista yleensä • ylläpitää jatkuvan kehittämisen periaatetta ja käytäntöjä - jämäköittää laatujärjestelmän käyttöönottoa ja hyödyntämistä, jämäköittää strategista johtamista • ulkoinen vaade (aikaraja/suunniteltu auditointi/ulkopuolinen tarkastus) jouduttaa asioiden valmistumista • pitkä ja kokonaisvaltainen projekti edellyttää välitavoitteita ja välipalautetta • ulkopuolinen huomaa niitä asioita, joille itse on jo tullut sokeaksi • auditoinneilla ja niiden palautteella on nähtävissä motivoiva vaikutus, auditointi luo uskon vahvistusta omaan työhön

16. Mitä hyötyä auditoinnista on organisaatiolle?- sisäiset auditoinnit • sopivaa harjoittelua isompia koitoksia (ulkoisia auditointeja) varten - tietää mitä auditointi on, eikä tarvitse osoittaa kaikkia virheitään ulkopuolisille, kun ehtii niitä jo sisäisten jälkeen korjailla • hyvä benchmarkaustilanne - auditoijat vievät/levittävät havaitsemiaan hyviä käytäntöjä omalle laitokselleen ja toisiin auditointikohteisiin • laatupäällikkö levittää hyviä käytäntöjä edelleen ja huomaa raporteista myös asioita, joista pitää päättää/tiedottaa/ohjeistaa lisää/tarkemmin eli saa palautetta tavallaan omasta työstään ja onnistumisestaan • saadaan tietoa johdon katselmuksiin - koko yliopistoa koskevista linjaratkaisuista jne.

17. Mitä hyötyä auditoinnista on organisaatiolle?- ulkoiset auditoinnit Aiemmin mainittujen hyötyjen lisäksi: • yliopistotason kehittämisvinkkejä ja -apuja • positiivista julkisuutta ja OPM-palautetta - näkyy rahanjaossa/hankerahoituksessa, ilmapiirissä • sertifiointi ja KKA:n auditointitodistus (engl.) antavat kansainvälistä uskottavuutta, jota voidaan käyttää mm. markkinoinnissa • ennemmin tai myöhemmin edellytys esim. kv partnereiden saamiselle, että organisaatiolla toimiva laadunvarmistusjärjestelmä

18. Ulkoisten auditointien konkreettisia hyötyjä Kuopion yliopistossa • raportit vahvistivat käsitystähyvistä käytänteistä • kehittämisehdotukset vahvistivat monin paikoin yliopiston käsitystä kehittämisen suuntaviivoista • hopsin kehittäminen (rajattu vs. avoin  akateeminen asiantuntijuus) • opiskelijapalautejärjestelmän kehittämistarpeet (opintojaksopalautteen systematisoiminen ja hyödyntäminen+ opintopolkupalautteiden kehittäminen osittain myönteistä palautetta saaneiden valmistuneille tehtävien kyselyiden perusteella)

19. Ulkoisten auditointien konkreettisia hyötyjä Kuopion yliopistossa • kehittämisehdotukset auttoivat paikantamaan ongelmakohtia, joihin ei kiinnitetty riittävästi huomiota • poikkeama-/reklamaatiokäytäntö (Inspecta) • dokumenttien hallinta (Inspecta) • miten syvällinen oppiminen mitataan? (ylipäänsä tavoitteiden ja mittareiden välinen suhde) • opiskelijan opintopolun katkeaminen yksiköiden laadunvarmistusjärjestelmien rajapinnoilla  opintopolun havainnollistaminen uudella tavalla

20. Auditointiin liittyviä odotuksia ja toiveita • Sähköpostikysely Kuopion yliopiston opettajille • Kyselyn toteuttaja tutkija/assistentti Tero Karjalainen • Fysiikan laitoksen laatuasioiden varavastuuhenkilö ja koordinaattori, KuTTEn pj. • "Varsinaisen laatutyön ulkopuolella oleva, joka tuntee opetushenkilökunnan ajatuksia”

21. Opettajien kysymyksiä • Miksi ”auditointi”, miksi ei puhuta "tarkastuksesta/arvioinnista”? • Mitä laatua auditointi mittaa? • Miten auditointiin tulee valmistautua, entä jos vastaan väärin tai en osaa vastata? • Mitä auditointi (laatutyö) antaa siihen osallistuvalle opettajalle (jotain muutakin kuin vähemmän aikaa muille tehtäville)? Tero Karjalainen

22. Toiveita • ”Riviopettajan” motivointi ja sitouttaminen • Laatutyö ja auditoinnit johtavat todellisiin parannuksiin eikä vain turhaa työtä ja tilastoja Tero Karjalainen

23. Pelkoja • Jääkö opettajan näkökulmasta keskeinen opetuksen laatuun vaikuttava tekijä, opettajaresurssit, vaille ansaitsemaansa huomiota? Tero Karjalainen

24. Opiskelijoiden kokemuksia auditointitilaisuuksista ja auditointien hyödyistä • sähköpostikysely auditointeihin osallistuneille Kuopion yliopiston opiskelijoille • KY:ssa opiskelijat mukana sekä sisäisissä että ulkoisissa auditoinneissa • Auditointiperehdytyksen käynyt läpi noin 30 opiskelijaa --> kelpoisuus toimia sisäisissä auditoinneissa auditoijana

25. Opiskelijoiden kokemuksia auditointitilaisuuksista ja auditointien hyödyistä (auditoijina toimineet) • Hyötyjä: • nähdään, toimitaanko yliopistossa kuten pitäisi --> laitoksen/yliopiston/laatujärjestelmän kehittyminen • auditoitavat saavat auditoijilta kehittämisehdotuksia esim. Muiden yksiköiden auditointien perusteella (tavoitteet – indikaattorit) • kokemusta itselle (tulevat auditoinnit, työelämä) • Vaikeinta: • oikeiden kysymysten tekeminen/olennaisten löytäminen (valmistautuminen) • vaiheessa olevien auditointi

26. Opiskelijoiden kokemuksia auditointitilaisuuksista ja auditointien hyödyistä (auditoitavina olleet) • Hyötyä? • Auttaa huomaamaan epäkohtia --> jatkuva kehittäminen • “(...) vertaispalautetta opetustyöstä hyvinkin tutkimusorientoituneessa yksikössä.” • Mitä se mittaa? • Järjestelmän vai toiminnan laatua? • ”(...) haluttiin tietää, kuinka laatutyö näkyy kursseilla ja opiskelijan arjessa (...)” --> käytännön hyöty • Ei siihen kuole: • ”(...) pelkäsin ristikuulustelua, mutta se auditointihäiskä kyselilkin aika perussettiä ja omia kokemuksia.” • tuntevatko riviopiskelijat laatutyötä?

27. Ryhmäkeskustelu • Miten auditointiin liittyviä pelkoja voitaisiin ehkäistä tai lieventää? • Kootkaa kolme parasta ideaa.

28. PF-Ryhmäkeskustelu:Pelkojen ehkäisyyn • Tieto ei aina lisää tuskaa – kerrotaan mitä se on! = rehellinen tiedottaminen kaikesta, erityisesti työmäärästä • Ei erillinen, väliaikainen, turha työ vaan kiinteä osa perustyötä: jatkuvan kehittämisen periaate • Konkretisoimalla ja selventämällä käsitteitä – tiedetään mistä puhutaan • Kerrotaan selkeästi, mitä tarkoittaa yksittäisen ihmisen työn kannalta • Hyvä valmistautuminen ehkäisee pelkoja • Ajoitetaan siten, ettei miljoonaa asiaa päällekkäin • Sitoutetaan kaikki osallistumaan

29. Miten auditointiin liittyviä pelkoja voitaisiin lieventää? • avoimuus • tiedottaminen • koko henkilökunta mukaan • auditoinnissa käytettävä kohteen terminologiaa

30. Auditoitujen kokemuksia • Palautekysely KY:n sisäiseen auditointiin osallistuneille yksiköille • Toteuttaja vararehtori, laatupäällikkö Sirpa Suntioinen • 12 auditoitua yksikköä vastasi

31. Yleiset arviot sisäisestä auditoinnista-positiivista: Useita samansisältöisiä mainintoja: • saatu hyviä kehittämisehdotuksia/vahvisti omia ajatuksia • aikataulu sovittiin yhteisesti • avoin, miellyttävä, positiivinen, ystävällinen • auditoijat valmistautuneet hyvin • saimme itse vaikuttaa käsiteltävien asioiden valintaan • saimme harjoitella ulkoista auditointia varten • erittäin hyödyllinen Sirpa Suntioinen

32. Yleiset arviot sisäisestä auditoinnista-positiivista: Yksittäisiä mainintoja: • auditoijilla laaja kokemuspohja • edellisen auditoinnin jälkeisen seuranta hyvä • koettiin hyödyllisinä • palautetilaisuudet olivat antoisia • opiskelijaedustus hyvä • auditoijat tunsivat hyvin laatusanaston ja laadunhallinnan perusteet • asioita tarkastettiin konkreettisesti • raportti oli hyvä Sirpa Suntioinen

33. Yleiset arviot sisäisestä auditoinnista-negatiivista: • hyöty jäi vähäiseksi - ei tullut paljoa kehittämisvinkkejä • turhauttava - väärä ajankohta, auditoijat eivät ammattilaisia, väärä tausta • ei opettajaa mukana, vaikka opetustoimintoa auditoidaan • standardin terminologia ei ole tuttua auditoitaville • opiskelijoilta saatu palaute jäi vähäiseksi - sitä ei purettu kaikille • osa auditoijista keskittyi epäoleellisiin asioihin Sirpa Suntioinen

34. Kuinka sisäisiä auditointeja tulisi kehittää? Useita samansisältöisiä mainintoja: • auditoijilla tulisi olla kohteen/substanssin tuntemusta • auditoijien tulisi edustaa eri henkilöstöryhmiä • auditointeja/raportteja yhtenäistettävä - selkeät ohjeet • raportin palautustilaisuus olisi sisällytettävä mukaan, mahdollisuus kommentoida raporttia ennen julkistamista • auditointitehtävät kirjattava toimenkuviin - resursointi • riittävästi aikaa auditoinnille • auditoijille riittävästi koulutusta • yksi henkilö vastaamaan pääauditoijana koko yliopistolle • max 1 pääauditointi tai max 2 auditointia/vuosi Sirpa Suntioinen

35. Kuinka sisäisiä auditointeja tulisi kehittää? Yksittäisiä mainintoja: • mukana pitäisi olla aina joku auditointiin ja laatutyöhön perehtynyt henkilö ja muut täydentäisivät • ennakkoon toimitettava auditointisuunnitelma olisi hyvä • auditoijat voisivat vierailla kohteessa etukäteen • ei saa käyttää liikaa aikaa auditointiin • jatkossa vuositeemat • poikkeamakäsitteen selventäminen lievä/vakava poikkeama • esille tulleiden asioiden luottamuksellisuus selvennettävä • tasavertaiset laadukkaat auditoinnit kaikille • auditointien tavoitteet selkeämmiksi • auditoinneista jatkuvan kehittämisen työkalu koko yliopistolle Sirpa Suntioinen

36. Sisäisen auditoinnin kehittämistoimet Kuopion yliopistossa Auditointikäsikirja • auditointisuunnitelma • auditointiraportti • pääauditoijan muistilista • auditointitilaisuuden kulku • auditoinnissa selvitettäviä asioita

37. KIITOS!