APE-opinnot Osaamisen arviointi

1. APE-opinnotOsaamisen arviointi Juhani Kettunen OAMK/AMOK

2. Eräs arvioinnin määritelmä:”Arvioinnin tehtävänä on ohjata toimintaa tavoitteen kannalta tarkoituksenmukaiseen suuntaan!” Juhani Kettunen OAMK/AMOK

3. Mitä arviointi on? • asioiden toiminnallisen tai tulkinnallisen arvon määrittämistä • perustuu kriteereihin ja sisältää kohteet • koulutuksessa pyrkimys systemaattisuuteen • arviointi on inhimillistä ja tulkinnallista toimintaa • arviointi on vastuullista vallankäyttöä • arvioinnin taustalla ovat arvot, arvostukset, normit, sopimukset jne. • arvioinnilla saadaan tietoa asioiden tilasta, suunnasta tms. • arviointi on johtamisen väline (asiat, ihmiset) Juhani Kettunen OAMK/AMOK

4. Arvioinnin keskeiset tehtävät- toteaminen- ohjaus- valikointi- motivointi- kontrollointi- kehitys Juhani Kettunen OAMK/AMOK

5. Arvioinnin pedagogiset tehtävät • toteava tehtävä: taso, edellytykset, valmiudet • osallistuva tehtävä: vaikuttamismahdollisuudet • ohjaava ja valikoiva tehtävä: valikoituminen • motivoiva tehtävä: kannustaminen, innostaminen, kiinnostus • tarvitseva tehtävä: mielekkyys, tarpeellisuus, tarkoituksenmukaisuus • kontrolloiva tehtävä • palautetehtävä, kehittävä tehtävä Juhani Kettunen OAMK/AMOK

6. Arvioinnin ammatilliset tehtävät • edistää tiedostavaa, esteettistä ja eettistä oppimista (ammatilliset kehitysprosessit) • edistää ammatillisten tietojen laaja-alaisuutta ja kehittävää orientaatiota tekemiseen (kehitystasot) • edistää intentionalisuutta ja mahdollisuuksien havaitsemista (ammatillinen perspektiivi) • edistää työn merkityksellisyyttä ja persoonallista eheyttä (sosiaalinen tehtävä) • edistää toiminnan tuloksellisuutta (muutos) • edistää ihmisen kommunikaatio- ja toimintakykyisyyttä Juhani Kettunen OAMK/AMOK

7. Arvioinnin yhteiskunnalliset tehtävät • oppilaiden arvioinnilla on monitahoisia yhteiskunnallisia vaikutuksia • arviointi on eräänlainen portti yhteiskunnan eri tehtäviin  yksilön ja hänen elämäänsä liittyvien valintojen säätelyä • arviointi liittyy keskeisesti sosialisaatioon, se on keino varmistaa, että uusi sukupolvi omaksuu sitä kulttuuriperintöä, jota edellytetään yhteiskunnan jäseniltä eri tehtävissä (Virta 1999) Arvioinnin pysyvät tarkoitukset yhteiskunnassa (Broadfoot 1996) ovat seuraavat:: • arviointi on keino edistää ja kontrolloida yksilön pätevyyttä (osaamista, tietoja, taitoja,) ja antaa niistä todistuksia • arviointi sisältää välttämättä kilpailua, sillä palkkiot ovat rajalliset • arviointi kontrolloi yksilön valintoja • samalla se antaa mahdollisuuden kontrolloida järjestelmän toimintaa ja tuloksellisuutta Kompetenssin tuottaminen ja arviointi on koulutuksen perustehtävä! Juhani Kettunen OAMK/AMOK

8. Arvioinnin tietoa tuottava tehtävä Opintojen aikana tapahtuva arviointi tuottaa tietoa opiskelijan oppimisprosessista ja auttaa opiskelijaa tiedostamaan omaa oppimistaan. Opiskelijan arviointi antaa tietoa myös häntä ohjaaville henkilöille, opiskelijalle itselleen ja hänen vanhemmilleen mm: • mitä opiskelija osaa • mitä hänen vielä pitää oppia saavuttaakseen asetetut tavoitteet • missä opinnoissa opiskelija menestyy • mikä hänelle tuottaa vaikeuksia • missä hänen lahjakkuutensa tulee esille • miten hän pystyy suunnittelemaan oppimispolkunsa hyödyntäen omia vahvuuksiaan Tuottaa tietoa myös opetuksen kehittämiseen! Juhani Kettunen OAMK/AMOK

9. Arvioinnin kehitys Perinne Kehityssuunta vahvuudet mahdollisuudet kehitystarpeet rohkaiseminen virheet epäileminen syyttäminen itseensä luottava, kehittävä tuomitseva Arto Willman Juhani Kettunen OAMK/AMOK

10. Arviointi prosessina • lähtökohdat, tavoitteet, OPS, yhteisö • arvioitavien kohteiden määrittäminen: mitä? • arviointikriteerien asettaminen: perusteet • menetelmien valinta: miten? • prosessin ja tulosten arviointi: arvioiminen • johtopäätökset ja palautteet: päätökset • arvioinnin arviointi, arvioijan itsearviointi: pätevyyden arviointi, kehittäminen/kehittyminen Juhani Kettunen OAMK/AMOK

11. Arvioinnin käsitteitä • arvostelu, arviointi, evaluointi • kriteerit, indikaattorit • ulkoinen arviointi, auditointi, bench marking • sisäinen arviointi, itsearviointi, vertaisarviointi • diagnostinen arviointi: tehdään usein koulutuksen alussa esim. saavutustason analysoimiseksi • formatiivinen arviointi: tehdään usein koulutuksen aikana, hankitaan esim. palautetta siitä kuinka kuinka tavoitteet on saavutettu • summatiivinen arviointi: usein koulutuksen jälkeen tapahtuva kokoava arviointi, hyödynnetään mm. oppilasarvioinnissa • meta-arviointi: usein arviointijärjestelmään kohdistuva arviointi Juhani Kettunen OAMK/AMOK

12. Arvioinnin kohteet Yksilön tasolla • taidot, osaaminen, oppimisprosessi, oppimisen laatu, • tiedot, käsitteet, soveltaminen, ymmärtäminen, luovuus • asenne, asennoituminen, arvostukset, vastuullisuus, joustavuus, itsenäisyys, sitoutuneisuus, aloitekyky jne • kasvaminen, kehittyminen ja oppiminen, edistyminen • sosiaalinen vuorovaikutus, yhteistyö • arviointikyky, itsearviointitaidot • arvostukset, ympäristötietoisuus, eettisyys Juhani Kettunen OAMK/AMOK

13. Arvioinnin kohteet Organisaation tasolla • tavoitteet, kulttuuri, ilmapiiri • työtyytyväisyys, johtaminen, yhteistyö/-henki Yhteiskunnantasolla • tuloksellisuus: taloudellisuus, tehokkuus ja vaikuttavuus • koulutuspoliittiset tavoitteet: lait ja asetukset • koulutuksellinen tasa-arvo • kansallisen osaamisen ja kilpailukyvyn turvaaminen Juhani Kettunen OAMK/AMOK

14. Arviointimenetelmiä • määrälliset: suhteelliset • laadulliset: kuvailevat • haastattelut/havainnointi: avoin-suljettu • kyselyt, kartoitukset, selvitykset • videointi, äänitykset, dokumentointi • erilaiset kokeet, tehtävät ja testit • itsearviointi, raportit, päiväkirjat: oppimispäiväkirja • vertaisarviointi, kehityskeskustelut Juhani Kettunen OAMK/AMOK

15. Arviointitapoja 1 • perinteinen tentti/koe • aineisto mukana • ryhmässä • ennakkoon sovitut kysymykset • itse tehdyt kysymykset • monivalintatehtävät • kotitentti • valmisteltu tentti • käsitekartta • avoin tai strukturoitu Juhani Kettunen OAMK/AMOK

16. Arviointitapoja 2 • luonnolliset arviointitilanteet • opitun soveltaminen • aidot ongelmat • mallintava arviointi • tavoitteeseen tai ratkaisuun keskittyvä • prosessiin keskittyvä: ratkaisujen perustelut, työskentelytaidot ja vuorovaikutus • ongelmakeskeinen: prosessin lopputulos • posteri- ja portfoliotentti • havainnointilomakkeet • asian tai ilmiön seuraaminen Juhani Kettunen OAMK/AMOK

17. Arviointitapoja 3 • projekti • valmistelu • toteutus • raportointi • palaute • päiväkirja • prosessi • dialogi • kuva- ja äänitallenteet • draama • haastattelu • muut? Juhani Kettunen OAMK/AMOK

18. Erilaisia tehtävätyyppejä • erilaiset esseetehtävät • kokonaiskäsitys opittavasta asiasta • lyhyen vastauksen tehtävät • keskeiset yksityiskohdat ja oleelliset asiat • täydennys- ja aukkotehtävät: totuusarvo • monivalintatehtävät • yhdistelytehtävät Juhani Kettunen OAMK/AMOK

19. Tentti/koe • pyrkimys ulkoa lukemisen sijasta arvioida monipuolista osaamista, asioiden syvällistä hallintaa ja ymmärtämistä • laadi monipuolisia kysymyksiä ja tehtäviä • laadi opettavaisia kysymyksiä: • vastausvaihtoehtoja on useita • opiskelija joutuu tekemään valintoja ja myös perustelemaan niitä • anna ohjeita tenttiin valmistautumiseen: millaisia kysymyksiä, miten kannattaa lukea, millä tekniikalla, mitä asioita painotetaan jne. • anna palautetta: mikä meni hyvin, mitä voi parantaa, miten kannattaa tehdä seuraavalla kerralla jne. Juhani Kettunen OAMK/AMOK

20. Opettajan laatima hyvä koe • perustana kokeen aihealueen tavoitteiden ja sisällön tuntemus • tehtävien tulee olla monipuolisia • arvioidaan eri tavoitteita ja eri tavoitelajeja: tiedolliset, asenteelliset ja toiminnalliset • tiedollinen alue voi jakautua esim. muistamiseen, ymmärtämiseen, soveltamiseen ja arviointia edellyttäviin tehtäviin • koetehtävät otetaan tavoiteluettelon mukaisesta oppiaineksesta • osion tyyppi valitaan arviointitehtävän mukaan: • essee, monivalintatehtävä, vaihtoehtotehtävä, täydennystehtävä • osioiden laadinnan jälkeen kirjoitetaan vastaus- ja pisteytysohjeet Juhani Kettunen OAMK/AMOK

21. Opiskelijoiden osallistuminen arviointiin • Opintojakson alkaessa ja tarvittaessa jakson kuluessa opettaja arvioi opiskelijan kanssa jakson arviointiin vaikuttavia tekijöitä • Tiedollisen ja taidollisen osaamisen lisäksi painotetaan myös asenteiden, opiskelijan oman kiinnostuksen, aktiivisuuden ja pitkäjänteisyyden merkitystä. • Jakson alkaessa opettaja selvittää jakson tavoitteet, sisällöt ja arviointikriteerit • Opiskelija arvioi itseään oppijana suhteessa asettamiinsa tavoitteisiin • Tavoitteena on, että opiskelija oppii tuntemaan vahvuutensa ja kehittämis-kohteensa ja arvioimaan omaa suoritustaan ja oppimistuloksiaan • Opiskelijasta kehittyy itseohjautuva ja aktiivinen työntekijä Juhani Kettunen OAMK/AMOK

22. Hyvän arvioinnin piirteitä 1 • selkeät kriteerit ja arviointisuunnitelma • pyrkimys objektiivisuuteen ja johdonmukaisuuteen • avoimuus, rehellisyys ja uskottavuus • monipuolisuus, laaja-alaisuus, tavoitteellisuus, kehittävyys, informatiivisuus, laillisuus • kasvatuksellisuus, yhteisöllisyys • arvioi olennaista: relevanssi • tiedot ja taidot • kehitys ja kasvu • arvioin sitä mitä opetan, opetan sitä mitä arvioin! Juhani Kettunen OAMK/AMOK

23. Hyvän arvioinnin piirteitä 2 • arviointivälineiden ja menetelmien soveltuvuus kohteeseen: reliabiliteeti (arvioidaan oikein!) • arvioin sitä mitä aioin: validiteetti (arvioidaan oikeita asioita!) • tarkoitukselliset ja tahattomat seuraukset kaikkia oppilaita kohtaan • oikeudenmukaisuus kaikkia opiskelijoita kohtaan • siirrettävyys, yleistettävyys: samat tiedot ja taidot muuallakin • kompleksisuus: arvioidaan myös vaativia taitoja • arvioitavien tehtävien sisällöllinen laatu hyvä • sisällöllinen kattavuus: koko arvioitava alue • mielekkyys: merkitys oppimiskokemuksena • kustannukset, tehokkuus: arviointi on voitava järjestää kohtuullisin kustannuksin (Linn ym. 1991) Juhani Kettunen OAMK/AMOK

24. Palautteen antaminen 1 • palautteen saajan halukkuus, arvostus ja aktiivinen kuuntelu: ilmapiirin tulee olla sopiva • palautteen tulee olla kuvailevaa, ei tuomitsevaa ja havaintoihin perustuvaa: kohdistuu asiaan, ei henkilöön • palaute tulee ajoittaa lähelle tapahtumahetkeä • palautteen tulee kohdistua asiaan, joka on muutettavissa: muutos- ja kehittämismotivaatio • palautteen ei tule kohdistua liian moneen asiaan samalla kertaa • palautteen olennaisuus, rehellisyys, avoimuus, eettisyys ja rakentavuus • palautteen tulee kohdistua mieluummin yksittäiseen asiaan kuin kovin yleiseen luonnehdintaan asiasta Juhani Kettunen OAMK/AMOK

25. Palautteen antaminen 2 • palautteen tulee keskittyä prosessiin että tuloksiin • palaute tulee suhteuttaa oppijan lähtötasoon ja tavoitteisiin • palautteen tulee aktivoida oppimista tukevaan dialogiin ja vuorovaikutusprosessiin • palautteen tulee johtaa vahvuuksien ja kehittämistarpeiden tiedostamiseen, oppimisprosessin tukemiseen sekä odotusten ja tavoitteiden selkiytymiseen • palautteen tulee lisätä oppijan itsetuntemusta ja itsetuntoa sekä tukea hänen henkistä kasvuaan Juhani Kettunen OAMK/AMOK

26. Palautteen antamisen ongelmat • ristiriitaiset tai epäselvät odotukset • epäselvät tai tiedostamattomat tavoitteet • subjektiivisuus, miellyttämisen halu • inhimilliset vääristymät • heikko itsetunto, henkilökohtaiset ongelmat • aikaisemmat kokemukset • avoimuuden puute Juhani Kettunen OAMK/AMOK

27. Arvioinnin ongelmia • subjektiivisuus vs. objektiivisuus • valikoiva tarkkaavaisuus • inhimilliset tekijät • avoimuuden puute • yhteistyön puute • kriteereiden ja perusteiden epämääräisyys • kiire • meta-arvioinnin puuttuminen • ongelmien ja kehittämis/kehittymistarpeiden puute Juhani Kettunen OAMK/AMOK

28. Opettajan arviointiosaaminen • valita tarkoitukseen sopiva arviointimenetelmä • laatia menetelmää vastaavat arviointitehtävät • tulkita ja pisteyttää tehtävät • hyödyntää arvioinnin tulokset: oppilas, opetus • viestiä arvioinnin tulokset • tiedostaa arvioinnin ongelmat ja eettinen vastuu. (Phye 1997) Juhani Kettunen OAMK/AMOK

29. Arvioinnin etiikka • rehellisyys ja avoimuus • johdonmukaisuus ja perusteltavuus • pyrkimys hyvyyteen ja oikeudenmukaisuuteen • luotettavuus ja totuudellisuus • vinoutumien välttäminen: ei yli- eikä aliarviointia • arvioinnin objektiivisuus ja arvioijan pätevyys • noudattaa lakeja, asetuksia, normeja, OPS:ia jne. Juhani Kettunen OAMK/AMOK

30. Lähteitä: Hongisto, Annika. 2000. Arvioinnin ja oppimisen dialogi. Teoksessa J. Vuorinen (toim.) Arviointi ja kehityskeskustelu. Jyväskylä: Gummerus. Kauppi, A, Hanski, K, Nousiainen, R ja Lahtiranta, K. 2003. Arviointi. Teoksessa H. Kotila (toim.) Ammattikorkeakoulupedagogiikka. Helsinki: Edita. Koppinen, M-L., Korpinen, E. & Pollari, J. 1999. Arviointi oppimisen tukena. Helsinki: WSOY. Kinnunen, E. & Halmevuo, T. (toim.). 2003. Opiskelijan arvioinnin opas ammatilliseen koulutukseen. Opetushallitus. Linn, R. L., Baker, E. L., & Dunbar, S. B. 1991. Complex, performance-based assessment: Expectations and validation criteria. (SCE Report 331). Los Angeles, CA: National Center for Research on Evaluation, Standards, and Student Testing (CRESST). Phye, G. D. (Ed.). 1997. Handbook of classroom assessment: Learning, achievement, and motivation. San Diego: Academic Press. Räisänen, A. (toim.). 1998. Hallitaanko ammatti? Pätevyyden määrittelyä arvioinnin perustaksi. Opetushallitus. Virta,A. 1999. uudistuva oppimisen arviointi. Mahdollisuuksia ja ja varauksia. Turun yliopiston kasvatustieteiden tiedekunta. Julkaisusarja B:65. Verkko-tutor: http://www.uta.fi/tyt/verkkotutor/ Juhani Kettunen OAMK/AMOK