1 / 26

Arviointitutkimus ja paikallinen kehitys

Arviointitutkimus ja paikallinen kehitys. Maantieteen suuntaukset -kurssi 4. & 10.10.2007. Jukka Oksa Joensuun yliopisto, Karjalan tutkimuslaitos jukka.oksa@joensuu.fi http://cc.joensuu.fi/~alma/lue. Osa 1 Johdatus arviointiin. 4.10.2007. Omia arviointikokemuksia.

gamada
Download Presentation

Arviointitutkimus ja paikallinen kehitys

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Arviointitutkimus ja paikallinen kehitys Maantieteen suuntaukset -kurssi 4. & 10.10.2007 Jukka Oksa Joensuun yliopisto, Karjalan tutkimuslaitos jukka.oksa@joensuu.fi http://cc.joensuu.fi/~alma/lue

  2. Osa 1Johdatus arviointiin 4.10.2007

  3. Omia arviointikokemuksia 1) Liikenneministeriö: Maaseudun tiedonvälityksen kehittämisprojekti. Kontiolahti. Sisäinen arviointi. 1992-93. 2) EU, Opportunities for Rural Areas –ohjelma, ANAGO-projekti maaseudun tietotekniikkakokeilut. Suomen maaselvitys 1993, kaksi tapausarviointia Suomesta 1994. 3) Maailmanpankki, Valkovenäjän maaseudun köyhyystutkimus, 1995. 4) Aasian kehityspankki / Roughton International & Finnroad. Sosiaalisten vaikutusten arviointi. The Second Bishkek-Osh Road Rehabilitation Project. Kirgiisia 1997. 5) EU/ ECOTEC. Väliarviointi hankkeesta North EU Regional Innovation Strategy (Finland and Sweden). Arviointiryhmän suomalainen asiantuntijajäsen. 1998. 6) Suomen ulkoministeriö / Terra Consulting. Ohjelma-arviointi Suomen maaseutu- ja maatalousalan lähialueyhteistyöstä 1991-98. Arviointiryhmän jäsen, vastuulla Venäjän alueiden taustatiedot ja tapaustutkimukset. 1998-99.

  4. Arviointikokemuksia 7) Terveyden edistämisen keskus, Sosiaaliturvan keskusliitto. Projektiarviointi Sosiaali- ja terveysjärjestöjen yhteistyöprojektista järjestötoiminnan kehittämiseksi Pietarissa. Ryhmän jäsen. Huhti-kesäkuu 1999 8) SITRA. - Oppiva Ylä-Karjalan projektin arviointitutkimus. 1999 - 2000 - Paikallinen tietoverkko Vaara-Karjalassa. Oppiva Vaara-Karjala hankkeen arviointitutkimus. 2000 - 2001 - Oskujen synty Itä-Suomessa. 2002 – 2003 9) Alue- ja kuntatutkimuskeskus SPATIA, 2004-2007 Asiantuntijaryhmien tekemiä maakunnallisten ohjelmien arviointeja, maaseutuun liittyviä hankearvioita (esim. Harava). 10) DESERVE (EU/Interreg/ NPP) 2004 – 07 Palvelujen saatavuus syrjäisellä maaseudulla - mallien ja kokemusten siirtäminen, 11) Joensuun Seudun Leader (ARVI), Vaara-Karjalan Leader.

  5. Arviointitutkimuksen historiallista taustaa, mm. Politiikan vaikutusten tutkimus (USA, TVA)Tilastoseurannat (talous, sosiaaliset olot)Suunnittelutieteet (yhteiskuntasuunnittelu, social engineering)Tarkastustoiminta (talouden, tilien)Prosessien laadunvalvontaTalouden tehokkuus ja kannattavuuslaskennatKoulujen arvosanat, oppimisen arviointi

  6. Arvioinnin uusia tarpeita (tilausten taustaa) Hallitsemisen monimutkaistuu (tasojen ja sektorien määrän kasvu) ja työnjako syvenee. Päättäjät tilaavat asiantuntijoilta apua: havaintoja, tulkintaa ja ajattelua. Kokonaiskäsitys.Arvojen toteutuminen.Yhteiskunnan syy ja seuraussuhteet sekavia.Tarve ymmärtää tapahtumaketjuja edes jälkikäteen, esim. kontekstin merkitys, tarkoittamattomien vaikutusten ymmärtäminen.Toiminnan verkottuminen.Tarve ymmärtää löyhästi toisiinsa liittyneiden toimijoiden tarkoituksia ja luotettavuutta.

  7. Arviointitoiminnan lupaukset ja odotukset Pystytään hahmottamaan mitä merkitystä jollakin toimenpiteellä, ohjelmalla tai resurssien siirrolla on. Saadaan tietoa siitä onko resurssit käytetty tehokkaasti ja päättäjien tarkoitusta palvelemaan. Saadaan tietoa siitä mitkä ovat tietyn toimenpiteen tarkoitetut vaikutukset, ovatko ne oikeansuuntaisia ja riittäviä. Saadaan tietoa myös sivuvaikutuksista.Saadaan suosituksia siitä miten asiat olisi pitänyt tehdä ja mitä pitäisi tehdä tulevaisuudessa.

  8. Arviointi ja tutkimus: yhtäläisyyksiä Suoritetaan systemaattisia havaintoja. Tehdään analyyttisiä jäsennyksiä ja erotteluja.Tehdään loogisia päätelmiä ja yleistyksiä.Käytetään käsitteitä havaintojen tulkitsemiseen.Käytetään käsitteitä normatiiviseen vertailuun, mittaamiseen ja suositusten tekemiseen.

  9. Arviointi ja tutkimus: eroja ja erityispiirteitä Tutkimuskysymysten sijasta arviointikysymyksiä. Arvottavat tulkinnat painottuvat.Arvioijan odotetaan ottavan tulkintariskejä, tekevän päätelmiä epävarman aineiston perusteella.Arvioijan odotetaan sisäistäneen arvioitavan käytännön ulkoiset ehdot ja käsitteet (rajoitteet ja tavoitteet). Arviointi on ammattitaitoa, monien työkalujen taitavaa käyttöä ja sosiaalista vuorovaikutusta.

  10. Arviointi ja tutkimus: eroja ja erityispiirteitä Rahoitus: yleensä kyseessä on tilaustyö Aikataulu: sidoksissa arvion tilaajan prosesseihin, ei työn etenemisen sisäiseen logiikkaan.Osallisuus: arvioitsijan oletetaan olevan vuorovaikutuksessa arvion tilaajan tai arvioitavan toimijaryhmän kanssa – ei tutkijayhteisön.Jatkuvuus: arviointi on määräaikainen tehtävä, jonka oletetaan valmistuvan (loppuvan) määräaikaan mennessä. Kuitenkin suositusten oletetaan vaikuttavan arvioinnin jälkeenkin.

  11. Looginen viitekehys, peruskäsitteitä (Logical Framework, LogFrame) YLEISET TAVOITTEET (objectives) Vaikutukset (impacts) ERITYISTAVOITTEET (goals) Tulokset (results, specific impacts) TUOTOKSET (outputs) TOIMENPITEET (inputs, contributions) Panokset: vaaditut inhimilliset ja fyysiset voimavarat Kustannukset toimenpiteistä, jotka johtavat tuotoksiin

  12. Looginen viitekehys, arviointikysymykset ja projektin aikajana Projekti TAVOITTEET (objectives) TOIMENPITEET (inputs, contributions) TUOTOKSET (outputs) JATKUVUUS (sustainability) VAIKUTUKSET (impacts) TULOKSET (results) Arviointi Tavoitearviointi Prosessin arviointi Vaikutusten arviointi Kestävyys Taloudelliset vaikutukset Sosiaaliset vaikutukset Kulttuuriset vaikutukset Tehokkuus, tuloksellisuus Yhtenäisyys, osallisuus Joustavuus, luovuus Oppiminen Loogisuus Relevanttius Toteutettavuus

  13. Osa 2Keskusteluja arvioinnin suuntauksista 10.10.2007

  14. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KVASIKOKEELLINEN KONSTRUKTIVISTINEN Ohjelmat ovat ajatuksellisia konstruktioita, joista toimijat jatkuvasti neuvottelevat. Tulokset ovat konstruktioita jotka ovat toimijoiden jatkoneuvottelujen kohteena. Arviointi auttaa selventämään mistä oikein on kysymys. Arviointi luo täten laajempia yhteistyöpiirejä ja valtaistaa kohderyhmiä. Tutkitaan kausaalisuhteita Ennen ja jälkeen mittauksilla kovaa dataa Koe- ja kontrolliryhmät Löytää ne toimenpiteet jotka tuottavat tavoiteltuja tuloksia. Sopii ohjelmiin jotka pyrkivät vaikuttamaan kohteisiin mitattavalla tavalla. REALISTINEN PRAGMATISTINEN Huomio kohdentuu hankkeiden toteutettavuuteen. Miten ratkaisevat päätöksentekijät käsittävät hankkeen. Arviointi valistaa ja auttaa päätöksentekoa ja tunkeutuu mukaan vaikutusvallan ketjuihin. Arvioinnin ja vaikuttamisen raja häviää. Riippuvuus vallan resursseista vie konservatiivisuuteen. Lähtökohtana tarkastelu minkä kausaalisten mekanismien kautta ohjelmat ja hankkeet vaikuttavat. Kausaalisuhteet ovat kuitenkin monitasoisia ja systeemiluonteisia. Arviointi tuottaa tietoa siitä mikä toimii kenenkin kannalta ja missä olosuhteissa. "Realistinen evaluaatio on profiililtaan jäsentymätön synteesi kolmesta muusta lähestysmistavasta." (Ahonen)

  15. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KVASIKOKEELLINEN Tutkitaan kausaalisuhteita Ennen ja jälkeen mittauksilla kovaa dataa Koe- ja kontrolliryhmät Löytää ne toimenpiteet jotka tuottavat tavoiteltuja tuloksia. Sopii ohjelmiin jotka pyrkivät vaikuttamaan kohteisiin mitattavalla tavalla.

  16. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi.

  17. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 PRAGMATISTINEN Huomio kohdentuu hankkeiden toteutettavuuteen. Miten ratkaisevat päätöksentekijät käsittävät hankkeen. Arviointi valistaa ja auttaa päätöksentekoa ja tunkeutuu mukaan vaikutusvallan ketjuihin. Arvioinnin ja vaikuttamisen raja häviää. Riippuvuus vallan resursseista vie konservatiivisuuteen.

  18. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA

  19. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA

  20. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KONSTRUKTIVISTINEN Ohjelmat ovat ajatuksellisia konstruktioita, joista toimijat jatkuvasti neuvottelevat. Tulokset ovat konstruktioita jotka ovat toimijoiden jatkoneuvottelujen kohteena. Arviointi auttaa selventämään mistä oikein on kysymys. Arviointi luo täten laajempia yhteistyöpiirejä ja valtaistaa kohderyhmiä.

  21. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. TULKITSIJA JA SOVITTELIJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA

  22. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. TULKITSIJA JA SOVITTELIJA KRITIIKKI Kaikki käy. Relativismin vaara. KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. KRITIIKKI Arviointi kadottaa kriittisyyden. VALLANPITÄJIEN NEUVONANTAJA

  23. Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 REALISTINEN Lähtökohtana tarkastelu minkä kausaalisten mekanismien kautta ohjelmat ja hankkeet vaikuttavat. Kausaalisuhteet ovat kuitenkin monitasoisia ja systeemiluonteisia. Arviointi tuottaa tietoa siitä mikä toimii kenenkin kannalta ja missä olosuhteissa. "Realistinen evaluaatio on profiililtaan jäsentymätön synteesi kolmesta muusta lähestysmistavasta." (Ahonen)

  24. Arviointitutkijan roolit, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. TULKITSIJA JA SOVITTELIJA KRITIIKKI Kaikki käy. Relativismin vaara. KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. KRIITTINEN EKSPERTTI KRITIIKKI Arviointi kadottaa kriittisyyden. VALLANPITÄJIEN NEUVONANTAJA

  25. Politiikka, Hallinnointi, kehittäminen, ohjelmat Instituutiot, kehittäjäverkostot, kehittäjäyhteisöt Arviointi? Arki, kulutus, asiakkuus, kansalaisuus

  26. YhteystiedotJukka OksaJoensuun yliopistoKarjalan tutkimuslaitosPL 111, 80101 Joensuujukka.oksa@joensuu.fi http://cc.joensuu.fi/~alma/lue

More Related