OULU 15.4.2014

1. Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien kehittäminenTYÖELÄMÄYHTEYTTÄ KUVAAVA INDIKAATTORIOpetusneuvos, FT, VTM Mari Räkköläinen OULU 15.4.2014

2. Mari Räkköläinen TAUSTAA • Liittyy laajemmin kansallista oppimistulosten arviointia täydentävien menetelmien kehittämistyöhön • Indikaattorit: • Opiskelijan osaamisen itsearviointi (testataan osana pintakäsittely- ja elintarvikealan oppimistulosten arviointeja keväällä 2014) • Työelämäyhteistyön /työelämälähtöisyyden/ työelämäläheisyyden tason/ tilan mittaristo (suunnittelu käynnistyy keväällä 2014, testaus syksyllä 2014/2015 ?)

3. Mari Räkköläinen TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA • Nykytilanteen kartoitus (kansalliset ja koulutuksen järjestäjillä käytössä olevat mittarit/järjestelmät) sekä käyttäjien kokemukset ja kehittämistarpeet (esim. OPIX, AIPAL, OPAL) • Perehdytään erilaisissa (merkittävissä) ammatillisen koulutuksen / opetustoimen henkilöstön kehittämishankkeissa laadittuihin/ sovellettuihin työelämäyhteistyöhön liittyviin kriteeristöihin ja työkaluihin (arvioinnin kohteiden kartoittaminen) • Analysoidaan aikaisempien kansallisten oppimistulosten arviointien tulokset ja tutkintorakenteen kehittämistyön kokemukset ja järjestelmän kehittämistarpeet • Tarkennetaan tiedontarpeet ja indikaattorien laatimisen tavoitteet

4. Aiempien hankkeiden tuotoksia • Työpaikkaohjaajien koulutuksen kriteerit (Yhdessä tekemällä -hanke, OSAO) • Työssäoppimisen laatukriteerit työpaikalle (Yhdessä tekemällä -hanke, OSAO) • Työelämäyhteistyön laadunhallinta, asiakkuuksien johtaminen (Q-master -koulutus, Tuula Sillanpää, Lamppu2015 -hanke, KY LAPPIA) • Työelämäpedagoginen osaamiskartta (Osaava työelämäpedagogi ammatillisessa koulutuksessa -hanke, OAMK/AMOK)

5. Mari Räkköläinen TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA • Kehittämisverkoston luominen • Asiantuntijaryhmät ja tapaamiset • Alueelliset työpajat • Indikaattorin/ mittariston viitekehys (huom! käsitteistö) - laadinnan näkökulmat ja sisällölliset painotukset • Indikaattorin käyttö / hyöty (lisäarvo) - kenelle, mihin tarkoitukseen ja miten toteutetaan • Mittarien laatiminen/ kokoamisen periaatteet - määrälliset/ laadulliset indikaattorit • Pilotointi osana kansallista oppimistulosten arviointia

6. TUOTOKSET JA KÄYTTÖ • Tavoitteena on luoda mittarit, jotka ovat - käyttäjäystävällisiä - helposti saatavissa olevia - ydinasioihin keskittyviä, luotettavaa tietoa antavia - lisäarvoa antavia - muita tavoitteita? • Käytetään kansallisten oppimistulosten arviointien yhteydessä - täydentää oppimistulosten arviointiaineistoa ja tulosten tulkintaa - hyödynnetään toiminnan kehittämisessä ja koulutuksen laadun parantamisessa • Myös koulutuksen järjestäjät voivat käyttää - itsearviointi, vertaisarviointi, laadunhallintajärjestelmät - täydentää olemassa olevia mittareita/ järjestelmiä

7. Mari Räkköläinen TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA • TARVE saada kansallisesti vertailukelpoista ja luotettavaa tietoa täydentämään oppimistuloksia • TARVE tuottaa hyödyllistä ja käyttökelpoista tietoa valtakunnallisesti ja koulutuksen järjestäjille • Tuo tietoa myös sidosryhmille ja työelämän yhteistyötahoille, opetushenkilöstölle, opiskelijoille, opettajien kouluttajille • Vahvistaa tietoperustaisuutta ja selkiyttää tavoitteiden asettamista, tukee päätöksentekoa ja työelämäyhteyden laadun arviointia valtakunnallisesti ja paikallisesti

8. TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA • Näytöt kehitettiin koulutuksen laadun, ennen kaikkea työelämälähtöisyyden ja -läheisyyden varmistamiseksi • Työelämälähtöisyyttä on kehitetty myös lisäämällä työssäoppimista, työpaikkaohjaajakoulutuksella ja opettajien työelämäjaksoilla • Miten eri koulutuspoliittiset toimenpiteet työelämälähtöisyyden kehittämiseksi ovat vaikuttaneet? • Onko työelämälähtöinen pedagogiikka kehittynyt? • Työelämälähtöisyyden kehittymisen arvioimiseksi tarvitaan oppimistulosten arvioinnin rinnalle indikaattoreita, jotka osittavat työelämälähtöisyyden tasoa

9. KÄSITTEESTÄ (huom! alustavaa pohdintaa) • TYÖELÄMÄLÄHTÖISYYS • esim. näytön/ oppimistehtävien sisällöt, työssäoppimisjaksot, pedagogiikka • TYÖELÄMÄLÄHEISYYS - esim. koulutuksen järjestäjän/ opettajan toimintatavat, näyttöympäristön valinta, arvioijien valinta ja kouluttajien käyttö • Työelämäyhteistyö • Työelämäyhteys • Työelämäsuhteet

10. INDIKAATTORIN MÄÄRITELMÄSTÄ • Osoitin • Ilmaisin • (Tiivistetty) tilastollinen luku • Laadullinen mittari (laajojen ja monimutkaisten tietojen yksinkertaistaminen), laatua kuvaava • Kriteeri • Absoluuttinen/ suhteellinen Apuväline • Tavoitteiden asettamisessa ja seurannassa • Vertailussa • Suunnittelussa • Päätöksenteossa

11. INDIKAATTORIT ”ovat määrällisiä esityksiä, joiden voidaan järkeenkäyvästi ajatella tarjoavan kokoavaa tietoa kohdetoiminnan laajuudesta, laadusta ja elinvoimaisuudesta.”” tilastollinen tunnusluku, joka kuvaa ilmiön tilaa ja muutoksia tiivistetysti´, yleensä yhdellä luvulla”” tunnusluvut voivat olla keskiarvoja, osuuksia, määriä suhteessa ko. ”ryhmään” tai esimerkiksi palveluiden käyttö henkeä kohden”Anu Räisänen 2013,

12. Määrällisiä indikaattoriesimerkkejä HR • Henkilöstön mitoitus/opiskelija • Koulutettu/epäpätevä henkilöstö Taloudelliset voimavarat • Käytettävissä olevat määrärahat/opiskelija • Täydennyskoulutukseen suunnatut varat / osallistumisaste Palveluiden saatavuus • Odotusaika • Kansainvälinen liikkuvuus • Opiskelijavirta • Hakijat, valitut, keskeyttäneet, tutkinnon suorittaneet, • työhön/jatko- opintoihin sijoittuneet, rekrytoitumisaste Alan työvoimatiedot • Työvoiman määrä, palkkataso, työllisyysaste Anu Räisänen 2013

13. Laadullisia indikaattoriesimerkkejä Arvojen toteutuminen • opiskelijalähtöisyys Osallisuus • osallistumisaste, vaikuttamismahdollisuudet, • kuulluksi tulemisen aste Opiskelijoiden, henkilöstön ja kumppanien tyytyväisyys • tyytyväisyyden aste ja muutos vuodesta toiseen Ammattikuntakohtaisen toiminnan laatu • prosessi-indikaattorit (itsearvioinnin ja vertaisarvioinnin pohjaksi)

14. ESIM. (alustavaa) Työelämälähtöisyys • Opetussuunnitelmien sisällön laatu, näyttöjen arviointikriteerien osuvuus, pedagogiikan laatu Työelämäläheisyys • työpaikoilla toteutetun työssäoppimisen ja ammattiosaamisen näyttöjen toteutumisaste

15. Indikaattoreiden laadinnassa tulee tietää: Mikä on ilmiö, jota indikaattori kuvaa? Miten indikaattoritieto on kerätty? Millaisia tulkintoja ilmiöstä voidaan indikaattorin avulla tehdä? Miten vastata kysymykseen, onko indikaattorin kuvaama tilanne hyvä vai huono? Millä tavalla voidaan vaikuttaa ilmiöön, jota indikaattori kuvaa? Kanerva-Kaste hanke / Anu Räisänen 2013

16. TYÖELÄMÄINDIKAATTORIN LAATIMINEN / Mari Räkköläinen 2014 Työelämäyhteistyö/ työelämäyhteys / työelämälähtöisyys/ työelämäläheisyys Arvot Tavoitteet Säädökset Laatuvaatimukset “Kriittiset kohdat” Laadun arvioinnin kohteet Kriteerit Arviointityövälineet (lomakkeisto, kriteeristö) Indikaattorit/tunnusluvut (määrälliset, laadulliset) Tulos (toteutumisaste, laajuus, elinvoimaisuus, laatu) Palaute Kehittäminen, seuranta

17. TOIMINNAN TULOKSELLISUUDEN ARVIOINTIMALLI PANOKSET (toiminta-edellytykset) PROSESSI (tekeminen) TULOKSET (aikaansaannokset, tuotokset) VAIKUTTAVUUS (miten muutos näkyy kohderyhmässä/ toiminta-kulttuurissa?) VÄLITTÖMÄT VAIKUTUKSET (toimintatapojen muutos) MR 8.10.12 mukaellen ”Theory of Change” –viitekehystä (ks. esim. Pawson & Tilley 1997; Weiss 1995, 1997) MARI RÄKKÖLÄINEN

18. Indikaattorin laadinnan näkökulmia • Päämäärä • Mitä (merkittävää) koulutuspoliittista tavoitetta (työelämäyhteistyöllä) edistetään? Pitkän tähtäimen hyödyt. • Mikä on se muutos, jota (työelämäyhteistyöllä) tavoitellaan? • Miksi kehittämistyö/ toimintamalli on tärkeä? • Toimintaedellytykset • Millaisin panoksin (laadukas, tavoitteet saavuttava) toiminta (työelämäyhteistyö) on mahdollista? • Prosessi • Millaisen toiminnan avulla tavoitteet saavutetaan? • Mikä on rakenne (mitä) ja prosessi (miten)? • Laadukkaan palvelun osatekijät • Vaikutukset • Mitä toiminta (työelämäyhteistyö) tuottaa (aikaansaannokset, oppimistulokset)? Mikä on sen hyöty ja mitä toiminnan tuloksena syntyy?

19. Indikaattorin laadinnan näkökulmia • VAIKUTTAVUUS (Impact, long term goal) • Tavoitteena on muutos • Mitkä ovat pitkän tähtäimen hyödyt lopulliselle kohderyhmälle? • Miten muutos näkyy kohderyhmässä? • Miten muutos näkyy toimintaympäristössä? • Miten toimintakulttuuri muuttuu?

20. TYÖELÄMÄYHTEISTYÖTÄ KUVAAVAN INDIKAATTORIN LAATIMINEN TOIMINTAEDELLYTYKSET MATERIAALISET, TALOUDELLISET JA INHIMILLISET VOIMAVARAT AMMATILLISEN KOULUTUKSEN TYÖELÄMÄLÄHTÖISYYS Päämäärä - Tavoitteet TYÖELÄMÄINDIAATTORIN LAADINNAN NÄKÖKOHTIA • TOIMINTA • Suunnittelu – toteutus – arviointi -kehittäminen • VAIKUTUKSET TUOTOKSET

21. Pohdittavaa • Mikä on arviointitiedon tarve? • Miten tyeöelämäindikaattorilla saatava tieto täydentää oppimistulosten arviointeja ja jo käytössä olevia järjestelmiä (kansallisesti/ paikallisesti)? • Mitä lisäarvoa indikaattorin tuottama tieto antaa koulutuksen järjestäjille ja työelämälle ja opettajille/ opetustoimen henkilöstölle? • Miten arviointitieto kootaan koulutuksen järjestäjiltä kansallista indikaattoria varten? • Ja muita….

22. Aurinkoisia kevätpäiviä! Hyvää pääsiäistä myös!