Hankearviointi ja arvioinnin työkalut

1. Hankearviointi ja arvioinnin työkalut Projektiklinikka 3-4.3.2008 Nina K. Hyttinen

2. Arviointi on suunniteltava hankkeen koon mukaan

3. On päätettävä, toteutetaanko arviointi • itsearviointina – projektitiimi itse arvioi työtään • sisäisenä – arvioija samasta organisaatiosta • ulkoisena – arvioija ulkopuolelta

4. 1. Itsearviointi

5. Itsearvioinnin etuja • Voidaan tehdä jatkuvaa arviointia, tulee työprosessin luonnolliseksi osaksi • Parantaa ja korjaa työtapoja • Lisää projektiosaamista • Myös arviointiosaaminen jää projektiin • Hiljainen tieto siirtyy koko työyhteisölle • Ei rasita taloudellisesti

6. Itsearvioinnin haasteita • Riittääkö osaaminen? • Riittääkö aika ja kiinnostus? • Sisältää piilokustannuksia • käytetty aika • muut resurssit • Sininauhaliiton Arviointipalvelut (ARPA) tarjoaa konsultatiivista tukea itsearviointiin

7. Itsearviointi kuuluu projektityöhön • Arvioiva työote kuuluu projektityön perustaitoihin • Tuottaa jatkuvaa tietoa hankeprosessista • Virtaviivaistaa työskentelyä • Täydentää muuta arviointia

8. 2. Sisäinen arviointi

9. Sisäisen arvioinnin etuja • Arviointi voi olla jatkuvaa • ohjaa ja tukee hankeprosessia • Projektityöstä kertynyt tieto ja kokemus hyödyttävät tuleviakin hankkeita • Kustannukset muuttuvat tuotoiksi ja resursseiksi • Arviointiosaaminen jää organisaatioon

10. Sisäisen arvioinnin haasteita • Onko organisaatiossa osaavaa tekijää? • Onko arviointi uskottavaa sidosryhmien mielestä? • Näkeekö arvioija hankkeen riittävän etäältä ja objektiivisesti? • Onko raportointi puolueetonta?

11. Sisäinen arviointi on hyvä vaihtoehto • Pienissä ja keskisuurissa hankkeissa sisäinen tai itsearviointi usein riittää • RAY ei edellytä ulkoista arviointia alle 0,5 Me:n hankkeissa • Kaikissa projekteissa kuitenkin täytyy olla arviointi • ARPA toimii Sininauhaliitossa sisäisenä arvioijana

12. 3. Ulkoinen arviointi

13. Ulkoisen arvioinnin etuja • Arviointi ei vie kovin paljon aikaa projektityöltä • Hyödyllistä silloin, kun omaa arviointiosaamista ei ole • Sidosryhmistä ulkoinen arviointi näyttää uskottavammalta • Usein laajemmat arviointiresurssit

14. Ulkoisen arvioinnin haasteita • Usein kallista, ei voida toteuttaa jatkuvaa arviointia • Ei aina hyödytä hankeprosessia • Arviointi jää usein pinnalliseksi • Halu miellyttää tilaajaa joskus vaarana • Tarjouspyynnön tekeminen ja kilpailuttaminen vaatii aikaa ja osaamista

15. Ulkoisen arvioinnin mitoitus • Isoissakaan hankkeissa ulkoisen arvioinnin ei tarvitse tehdä kaikkea • voi tehdä jonkun selkeän kokonaisuuden • muu evaluaatio sisäisenä tai itsearviointina Arviointia voi tehdä eri tapojen yhdistelmänä

16. Arviointi Sininauhaliiton jäsenjärjestöissä RAY näkee Sininauhaliiton ARPA-palvelut pääsääntöisesti ulkoisena arviointina • ARPAA voidaan siis käyttää ulkoisena arvioijana • ARPAA voidaan käyttää myös sisäisenä arvioijana

17. Arviointi Sininauhaliiton jäsenjärjestöissä Parhaassa tapauksessa ARPA yhdistää sekä ulkoisen että sisäisen arvioinnin edut • Puolueettomuus, etäisyys, arviointiosaaminen • Sisäistetty ymmärrys, synergiaedut, yhteisen tiedon kasvu

18. Arvioinnin työkalut

19. Työkalut ja niiden käyttö • Arvioinnin työkalujen on tarkoitus nostaa esiin haluttu tieto projektista. • Vain sellaisia työkaluja kannattaa käyttää, joiden tuottamaa tietoa hyödynnetään arvioinnissa • Työkaluja voi rakentaa itse • Esim. asiakastyöhön kasvupolun, joka kuvaa asiakkaan etenemistä • Haastattelu- ja lomakekysymykset on mietittävä tarkkaan, ei pidä pyytää tietoja varmuuden vuoksi

20. Päiväkirja Päiväkirja dokumentoi työprosessin: • keskeiset asiat • onnistumiset ja kompastuskivet • yhteistyön toimivuuden • ideat, oivallukset Tiedon määrä on rajattu avainasioihin • syntyy hallittava kokonaisuus

21. Päiväkirjatyöskentelyn edut • Dokumentoi hiljaista tietoa ja jäsentää työtä • Kerryttää projektiosaamista • Työskentelystä tulee tietoisempaa • Auttaa välttämään kompastuskiviä • Opettaa hyviä käytäntöjä • Antaa projektipäällikölle tiivistettyä tietoa hankkeen tilasta • Hyvä vertaisarvioinnin ja työyhteisökeskustelun materiaali

22. Päiväkirjan avainkysymykset • Projektin keskeiset asiat tällä jaksolla • Mitkä asiat hankkeessa toimivat hyvin ja ovat onnistuneet? • Onko projektityössä ollut esteitä tai kompastuskiviä? Millaisia? • Miten yhteistyö hankkeessa toimii? • Työyhteisö • Yhteistyökumppanit ja muut sidosryhmät • Olisiko sinulla ideoita, oivalluksia tai kehittämisehdotuksia?

24. Arvioinnin kompastuskiviä

25. 1. Arviointioptimismi • ”ongelmat ratkeavat arvioinnin kautta” Mutta: • arviointi voi tehdä ongelmat näkyviksi, mutta ei ratkaise niitä

26. 2. Arvioinnista tulee pääasia • arviointi alkaa syödä liikaa työaikaa • käytetään kaavamaisia työkaluja, jotka eivät sovi hankkeeseen • käytetään liian monimutkaisia tai suuritöisiä arviointivälineitä • projekti mukautuu arviointiin eikä arviointi projektiin • hankkeen varsinaisia tehtäviä jää tekemättä, kun rahat ja muut resurssit menevät arviointiin

27. 3. Ylimitoitetaan arviointi • Yritetään arvioida kaikkea mitä voidaan • Otetaan liian laajoja arviointitehtäviä • Kerätään massiivisia aineistoja, joita ei kyetä käsittelemään

28. Arvioinnin kysymys ei saa olla: Mitä voidaan arvioida? vaan Minkä arvioiminen vie projektia eteenpäin?

29. On mietittävä, • mikä tieto on saatavissa kohtuullisella panoksella • mihin arviointi kohdennetaan • voiko vaikuttavuutta arvioida

30. 5. Arvioinnin ja tutkimuksen sekoittaminen • kaiken arvioinnin ei tarvitse olla tutkimusta • arvioinnin on kuitenkin oltava aina laadukasta ja totuudenmukaista • kehittämisarviointi sopii hankkeisiin • arviointitutkimus on joskus paikallaan, mutta ei aina

31. Arviointitutkimus • tieteellisin menetelmin tuotettua systemaattista arviointia • oltava laajat resurssit ja koulutetut ihmiset tekemässä • tehdään usein jälkikäteen • ei voi käyttää ohjausvälineenä • ei aina tavoita projektin ”sisintä” • yleensä numeerisia menetelmiä • palvelee ensi sijassa ulkopuolisia tahoja

32. Arviointitutkimus On kysyttävä, • onko tieteelliselle työotteelle selvä tarve? • onko projektilla riittävät resurssit? Pahinta on nähdä ”tutkimuksia”, jotka jäljittelevät tiedettä, mutta eivät ole sitä