Arviointi palvelun ja tekniikan yhteiskehittämisen tukena 17.1.2007

1. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Arviointi palvelun ja tekniikan yhteiskehittämisen tukena 17.1.2007 Hannele Hyppönen Sosiaali- ja terveysalan tietoyhteiskuntayksikkö hannele.hypponen@stakes.fi

2. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Sisältö • Käsitteistä • Yhteiskehittäminen (yhteiskehittely) • Arviointi • Innovaatio • Arvioinnin käytöstä kehittämisen tukena: Case Oulun Omahoitohankkeen tukihanke • Oulun omahoitohanke • Tukihankkeen tavoitteet • Tukihankkeen toteuttaminen • Mitä tukihankkeesta voidaan oppia arvioinnin käytöstä kehittämisen tukena?

3. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Käsitteistä1) Yhteiskehittäminen, yhteiskehittely (co-construction) In linguistics, a co-construction is a grammatical or semantic entity which has been uttered by more than one speaker. (Wikipedia) Uusien organisaatiomuotojen mukainen toimintatapa, jossa organisaatio rakentaa jatkuvat suhteet asiakkaisiin. Tuotetta ei nähdä koskaan valmiina, vaan jatkuvassa yhteistyössä toimivien tahojen muovaamana. Teknologiakehityksessä tekniikan käyttö tuottaa jatkuvaa palautetta sen parantamiselle ja parantunut tekniikka jatkuvia kehitysmahdollisuuksia käyttötoiminnalle. (Victor & Boynton 998) Yhteiskehittely kotihoidossa: asiakas on itse mukana aktiivisesti yhdessä palvelun tuottajan kanssa kehittämässä tuotetta. Palvelu muuntuu ja kehittyy jatkuvasti asiakkaan muuntuvien tarpeiden, tuottajan osaamisen ja asiakkailta saatujen kokemusten ja palautteen mukaan. (Niemelä 2006) = kehitetään rinnan toimintaa ja sitä tukevia työkaluja

4. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Miksi yhteiskehittämistä tarvitaan? • Uusien tietojärjestelmien käyttöönotto muuttaa aina työntekijöiden tapaa toimia =>palvelujen laatua ja toiminnan tuottavuutta • Uudet työkalut voivat parantaa vanhaa tapaa toimia, luoda mahdollisuuksia kokonaan uudenlaiseen toimintaan, vaikeuttaa työtä, aiheuttaa tuottavuuden laskua ja kustannuksia. Onnistuneen käyttöönoton ehtoina on, että eri tahot kokevat työkalusta selkeää hyötyä, että se vastaa käyttäjiensä tarpeisiin ja sitä on helppo käyttää (Greenhalgh ym 2004). • Teknologioiden kehittäminen on pitkään perustunut pääosin teknologian kehittäjien visioihin käytöstä. Teknologiatutkimus osoittaa, että tuotekehittäjät tuntevat huonosti menetelmiä käyttäjien tarpeiden huomioimiseksi suunnittelussa (Hyysalo 2006), teknologian kehitys tapahtuu irrallaan työstä ja sen kehittämisestä ja työvälineet jäävät käyttämättä tai käyttö vaikuttaa toisin kuin odotettiin (Hyppönen 2004). • 70% Ison-Britannian ja USA:n laajoista tietojärjestelmistä on todettu toiminnallisiksi epäonnistumisiksi, ts. ne ovat tuottaneet käyttäjilleen vain harmia tai erittäin vähäistä hyötyä (Gibbs 1994). Tuotekehittäjät arvioivat 84% järjestelmistä epäonnistuneiksi, ja yritykset käyttävät lähes 50% kehitykseen tarkoitetuista määrärahoista peruttuihin tai tuottamattomiin hankkeisiin (mm. Leonard 1995). • =>teknologiayritykset eivät tunne palvelutoimintaa ja sen kehittämistarpeita, palveluntuottajat eivät tunne tekniikan mahdollisuuksia tukea uusia palvelun toimintatapoja • =>tarve tiiviiseen yhteistyöhön ja yhteiskehittämiseen

5. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Mutta… • Yhteiskehittely on vaativa haaste niin työntekijöille kuin organisaatioiden johtamiselle. • Yhteiskehittelyssä tapahtuu kahdenlaista oppimista: • Organisaation sisällä opitaan yhteiskehittelyyn (edellyttää vanhojen kehittämis- ja suunnittelukäytäntöjen uudistamista) ja toisaalta • yhteiskehittelyssä opitaan jatkuvasti käyttäjiltä, tuotteen tai palvelun ostajilta, tuotannosta jne. • Kyseessä on haastava ja jatkuva oppimisprosessi, joka asettaa uudenlaisia vaatimuksia yhteistyöorganisaatioiden toiminnalle kaikilla tasoilla • =>organisaatiot tarvitsevat tukea yhteiskehittämisen toteuttamiseen

6. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen 2. Arviointi • Arvioinnilla tai evaluaatiolla ymmärretään kirjaimellisesti arvottamista eli arviointi pitää sisällään arvon määrittämisen (Mäntysaari 1999, 54; Dale 1998, 11; Robson 2001, 25). • "the act of measuring or exploring properties of a health information system (in planning, development, implementation or operation), the result of which informs a decision to be made concerning that system in a specific context." Ammenwerth ym 2004) • "Not an application of set of tools and techniques, but a process (with its functions, nature and limitations) to be understood" (Brender 2006) • Summatiivinen arviointi: Päättöarviointi, kokoava arviointi. Arviointia, jossa kiteytetään arvioitavan asian lopullinen arvo. (Koli & Silander 2002.) Esim • Tavoitteiden saavuttamisen, sopimuksen tai normien täyttymisen, vaikuttavuuden arviointi • Arvioidaan järjestelmän ominaisuuksia tavoitteista, normeista yms. tuotettujen kriteerien valossa • Formatiivinen (prosessi-) tai konstruktiivinen arviointi: kehitykselle suuntaa antava arviointi. Kohdistuu kehittämisen toteuttamiseen - siihen miten hanketta on toteutettu ja kuinka sen toimintaa voitaisiin parantaa. (Robson 2001)

7. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen • Arviointitutkimuksissa on sovellettu erilaisia metodologisia lähestymistapoja, paradigmoja: • positivistinen, jälkipositivistinen, kriittinen, konstruktivistinen lähestymistapa • Itsearviointi on • järjestelmällistä oman toiminnan seurantaa ja sen arvioimista, saavutetaanko asetetut tavoitteet ja tapahtuuko se mahdollisimman järkevästi. • auttaa organisaatiota tunnistamaan nykytilanteen, asettamaan tavoitteita ja käynnistämään kehittämistoimintaa näiden tavoitteiden saavuttamiseksi. • Yhteiskehittämistä tukeva arviointi omaa piirteitä Konstruktivistisesta arviointiparadigmasta, joka tukee itsearviointia. • Konstruktivistinen paradigma perustuu ajatukseen, että todellisuus on sosiaalisesti konstruoitu eli toisin sanoen ei ole olemassa yhtä objektiivista todellisuutta, jonka tutkija voisi löytää (vrt. positivismi). • Konstruktivismin eri suuntauksia yhdistää ajatus siitä, että tieto on aina yksilön tai yhteisön itsensä rakentamaa ja että tiedon muodostaja, oppija, on prosessissa aktiivisena toimijana havaintojen ja uuden tiedon tulkitsijana mm. aikaisemman tietämyksensä ja kokemustensa pohjalta. (Tynjälä 2000.)

8. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen 3) Innovaatio • Taloustieteessä ja insinööritieteissä: • keksintö – joko tuote tai prosessi –, joka on otettu kaupalliseen käyttöön (Rogers 1995, 11–12; ks. myös mm. Komissio 1995, 1; Miettinen ym. 1999, 1–2). • Teknologia- ja innovaatiotermejä käytetään usein synonyymeinä, ja innovaatiotutkimusta on tehty pääosin uusien tuotteiden tai kaupallisten palvelujen näkökulmasta. (Komissio 1995; Rogers 1995; Saari 1998.) • Organisaatiotutkimuksessa • Organisaatioiden toimintatapa, uudistumiskyky, osaamisen kehittäminen (Komissio 1995; Miettinen ym. 1999). • Lähellä kuntasektorilla käytettyä kehittämistyön määritelmää: uusien tuotteiden, tuotantoprosessien, toimintatapojen menetelmien tai järjestelmien aikaansaamista tai olemassa olevien parantamista (Hartikainen 1995, 12). • Stephen Osbornen (1998) mukaan • kehittämistyö on jatkuvaa, olemassa olevien palvelujen parantamista olemassa oleville asiakkaille. • (Palvelu)innovaatiossa muutos on epäjatkuva. • Uudenlaiset palvelut uusille asiakasryhmille ovat radikaaleja innovaatioita. • Uudet palvelut olemassa oleville asiakkaille ovat kehityksellisiä innovaatioita. • Olemassa olevat palvelut uusille asiakkaille ovat laajentamisinnovaatioita.

9. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Systeeminen innovaatio • Uuden toimintatavan, palvelun ja tekniikan on osoitettu muodostavan sellaisen kokonaisjärjestelmän, jonka kehittämiseen eivät riitä vain tekniset tai sosiaaliset innovaatiot, vaan kehitystyö edellyttää systeemisiä innovaatioita, jossa kehitetään rinnan (liike)toimintamalleja, toimintaprosesseja, toiminnan organisointia ja niitä tukevaa teknologiaa (mm. Holbrook 2005; Saranummi ym. 2005; Nummi 2005; OECD 2006). • (http://www.1000ventures.com/business_guide/innovation_systemic.html)

10. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Teknisen ja sosiaalisen innovaation yhtaikainen kehittyminen hankkeen suunnittelu- rakentamis- ja implementointivaiheessa

11. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Innovaation leviämisen ja vakiintumisen s-käyrä ja arviointi sen eri vaiheissa

12. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Arviointi yhteiskehittämisen tukena innovaation kehittämisen ja levittämisen eri vaiheissa

13. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Arvioinnin käytöstä kehittämisen tukena: Case Oulun Omahoitohankkeen tukihanke • Oulun kaupungin sosiaali- ja terveystoimen Omahoitohanke 1.12.05 – 31.12.08 • prosessien ja teknologian kehittämis- ja testaushanke • tarkoituksena kehittää omahoitopalvelu, joka kautta terveyteen liittyvä informaatio, neuvonta ja ohjaus ovat mahdollisimman helposti saatavissa ja hallittavissa. Palvelu mahdollistaa sairauksien omahoidon ja seurannan toteutumisen sekä hallitun terveydenedistämisen asiakkaan lähtökohdista, joustavasti ja luotettavasti sekä välittää tietoa eri palvelutuottajien ja asiakkaan käyttöön. Asiakkaan terveystietoa voidaan tallentaa palveluun ajasta ja paikasta riippumattoman neuvonnan ja hoidon toteuttamiseksi. Hankkeen tarkoituksena on myös suunnitella teknologiaterveyskeskuksen toimintamalli. • toimijoina 3 teknologiayritystä, Oulun kaupungin sosiaali- ja terveystoimi, Oulun yliopisto ja AMK • Tukihanke on Oulun kaupungin ja Stakesin välinen yhteistyöhanke • käynnistyi syksyllä 2006 Oulun kaupungin toivomuksesta, jatkuu huhtikuuhun 2007 • perustuu malliin systeemisen innovaation kehittymisestä (kalvo 12), jonka avulla strukturoitiin hankkeen etenemisen, yhteiskehittämisen ja arvioinnin menetelmien kartoitus (peili 1) sekä tutkimuksen tuottama näyttö yhteiskehittämisen ja arvioinnin menetelmistä innovaation vaikuttavuuden rakentamiseksi hankkeen aikana (peili 2)

14. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen • 1. Tukihankkeen tavoitteet • tuoda välineitä hankkeen toimijoille kehitystyön kokonaisuuden hahmottamiseen ja erittelyyn ja kehitystyöstä oppimiseen • tukea hankkeen etenemistä konkreettisesti kohti tavoitteita ja haluttuja vaikutuksia • auttaa tukimallin kehittäjiä mallin erittelyssä ja sen edelleen kehittämisessä

15. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Tukihankkeen toteutus • Peili I Jäsennettiin mallin (kalvo 12) avulla Omahoitohankkeen eteneminen, siinä käytetyt yhteiskehittämisen ja arvioinnin menetelmät ja toimijoiden käsitykset kehitystyöstä • => apu hankkeen toimijoille kehitystyön kokonaisuuden hahmottamiseen ja erittelyyn • Peili II Jäsennettiin mallin (kalvo 12) avulla kirjallisuudesta näyttö toimivista yhteiskehittämisen ja arvioinnin menetelmistä innovaation kehityksen eri vaiheissa • => ideoiden tuominen hankkeen tukemiseksi kohti tavoitteita ja haluttuja vaikutuksia • =>apu mallin kehittäjille mallin erittelyssä ja sen edelleen kehittämisessä

16. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen • 2PEILI I HANKKEEN ETENEMINEN JA TOIMIJOIDEN KÄSITYKSET SIITÄ • 2.1Hankkeen suunnittelu ja vaikutusten ennakointi • 2.1.1 Yleiskuva tarvetilasta • 2.1.2Ideoiden valikointi - Suunnittelutehtävän täsmennys, hankesuunnittelu • 2.1.3Projektin ankkuroinnin käynnistys • 2.1.4Käsitykset suunnitteluhankkeesta SWOT • 2.2Konseptisuunnittelu - Innovaation rakentaminen • 2.2.1Tavoiteasettelun täsmentäminen ja kytkeminen strategioihin/ eri osapuolten tavoitteisiin • 2.2.2Nykytilan, sen kehityshaasteiden, ratkaisuehdotuksen yksityiskohtainen analyysi • 2.2.3Ratkaisumallin suunnittelu • 2.2.4Käsitykset konseptinsuunnitteluvaiheesta (SWOT) • 2.3Ratkaisumallin implementointi (koekäyttö) ja päivitykset • 2.3.1Implementoinnin toteutuminen • 2.3.1.1Implementointistrategian ja suunnitelman luominen • 2.3.1.2Koulutus • 2.3.1.3Pilottijärjestelmän testaus • 2.3.2Käsitykset pilotointisuunnitelmista ja niiden toteutumisesta (SWOT) • 2.4Levittäminen organisaatiossa/ kansallisesti/ kv - tuotteen muokkaus käytössä • 2.4.1Levittämissuunnitelma • 2.4.2Käsitykset levittämissuunnitelmasta SWOT

17. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen • 2 PEILI II KIRJALLISUUDEN NÄYTTÖ HANKKEIDEN ETENEMISESTÄ • 2.1HANKKEEN SUUNNITTELU (IDEAVAIHE) • 2.1.1 Yleiskuva tarvetilasta • 2.1.2Ideoiden valikointi - Suunnittelutehtävän täsmennys, hankesuunnittelu • 2.1.3Projektin ankkuroinnin käynnistys • 2.1.4Ideavaiheen tuotokset • 2.2KONSEPTINSUUNNITTELU JA TOTEUTUS - INNOVAATION RAKENTAMINEN • 2.2.1Tavoiteasettelun täsmentäminen ja kytkeminen strategioihin/ eri osapuolten tavoitteisiin • 2.2.2Nykytilan, sen kehityshaasteiden, ratkaisuehdotuksen yksityiskohtainen analyysi • 2.2.3Ratkaisumallin suunnittelu/ määrittely • 2.2.4 Määrittelyvaiheen tuotos • 2.3RATKAISUMALLIN IMPLEMENTOINTI (KOEKÄYTTÖ) JA PÄIVITYKSET • 2.3.1Implementointistrategian ja suunnitelman luominen • 2.3.2Koulutus • 2.3.3Pilottijärjestelmän suunnitelmallinen käyttöönotto ja päivitykset • 2.3.4 Koekäyttövaiheen tuotos • 2.4LEVITTÄMINEN ORGANISAATIOSSA/ KANSALLISESTI/ KV - TUOTTEEN MUOKKAUS KÄYTÖSSÄ, • 2.5 VAIKUTUSTEN ARVIOINTI

18. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Vaihe 1: Hankesuunnittelu/ ideavaihe: kirjallisuuden esittämiä ja omahoitohankkeessa käytetyt (k) yhteiskehittämisen ja arvioinnin menetelmät Kehittämisstrategioiden ja tavoitteiden analyysi Toiminnan indikaattorien kuvaus/ Kustannus-hyötyanalyysi (ennakointi) Työprosessien (nykyisten) analyysi Policy-ja säädösten arviointi Tarjousten analyysi Balanced scorecard analyysi Bikva-analyysi Delphi-tutkimus Kenttä-/ etnografinen tutkimus Tulevaisuusverstas/ ideariihi (K) KUBI Organisaation valmiusanalyysi Skenaarioiden tuottaminen (K) Kyselyt Vaatimusanalyysi Riskien analyysi Verkostoanalyysi/ Ankkurointi SWOT Fokusryhmähaastattelu Heuristinen evaluaatio Haastattelut Vuorovaikutusanalyysi (videointi) Käyttäjätyytyväisyys (K)

19. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Vaihe 2: Konseptinrakennusvaihe (uudenlaisen palvelun ja työkäytäntöjen + sitä tukevan tekniikan määrittely) • Työprosessin muutosten mallinnus/ tekniikan sovitus tukemaan uusia prosesseja (K) • Koulutus yhteiskehittämisen toimintatapaan (K) • Balanced scorecard • Erilaisten prototyyppien avulla testaus/ Kognitiivinen läpikäynti, Heuristinen arviointi • Riskien arviointi • SWOT (K, tukihanke toteutti) • Tekninen testaus/ verifiointi (K) • Ääneen ajattelu • Käytettävyyden arviointi (K)

20. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Vaihe 3: Käyttöönottovaihe (ei vielä toteutunut) Ennen-jälkeen asetelmalla toteutettu vertailututkimus RCT (satunnaistettu kontrolloitu tutkimus) Riskien arviointi Virheiden analyysi Verkostoanalyysi SWOT Tekninen verifiointi Ääneen ajattelu Käytettävyystutkimus (K) Käyttäjä/ asiakastyytyväisyys Vuorovaikutusanalyysi (videointi) • Työprosessien (uusien) analyysi (K) • Kustannus-hyötyanalyysi (K) • Kenttä-/etnografinen tutkimus • BIKVA-analyysi • Toimivuuden analyysi • Kognitiivinen läpikäynti • Käyttökokemusten analyysi • Fokusryhmähaastattelu • Toiminnallisuuden analyysi • Heuristinen analyysi • Haastattelu

21. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Vaihe 4: Jatkokehitys ja levittäminen. (omahoitohanke ei vielä tässä vaiheessa) • Kirjallisuuden tarjoamat menetelmät: • Kuten ideavaiheessa + käyttöönottovaiheessa • Yhteiskehittelyn jatkosuunnittelu • (Liike)toimintasuunnitelman, levittämisstrategian laatiminen • Käyttöaste, käytön intensiteetti

22. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Tukihankkeen jatko • Luodaan konsensus Peilistä I, Peilin II osoittamien hankkeen etenemisen "aukkojen" relevanssista. • Hanketoimijat järjestävät keskinäisen kehittämispalaverin, jossa täyttävät Peilien avulla tuotetut heikkoudet riskimatriisiin • Toimijat sopivat toimista, jolla todennäköisimmät ja vakavimmat heikkoudet ratkaistaan • Toimijat dokumentoivat palaverissa sovitut toimet, työnjaon ja aikataulun niiden toteuttamiseksi, sekä toivotun tuotoksen, joka toimenpiteestä edellytetään • Tukihanke kokoaa tietoa toimien toteutumisesta ja tukihankkeen tarjoaman tuen merkityksestä omahoitohankkeelle (maaliskuu 2007)

23. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Riskimatriisi

24. Sosiaalialan verkostotapaaminen/ 17.01.07/ Hannele Hyppönen Mitä tukihankkeesta voidaan oppia arvioinnin käytöstä kehittämisen tukena? • Kaikki verkoston toimijat eivät välttämättä yhtä valmiita omien vakiintuneiden suunnittelukäytäntöjensä kriittiseen arviointiin ja kehittämiseen • Yhteiskehityksen ja arvioinnin ja menetelmien osaava käyttö voi olla keskeinen hankkeen onnistumiseen vaikuttava tekijä, mikäli • yhteiskehityksen ja arvioinnin menetelmistä on sovittu hankkeessa yhteisesti • hankkeessa on riittävä osaaminen/ verkosto menetelmien hyödyntämiseen • hanke saa rahoitusta osaamisen ostamiseen tarvittaessa • Tukihankkeen tuotokset (käytetyt menetelmät ja niiden merkitys hankkeelle) julkaistaan keväällä STY:n sivuilla • http://sty.stakes.fi/FI/hankkeet/kotimaiset. Tänne luodaan linkki Omahoito • Olemme myös käynnistämässä kansallista hanketta yhteiskehityksen ja arvioinnin menetelmien käytöstä, merkityksestä hankkeiden onnistumiselle ja edelleen kehittämisestä sosiaali- ja terveydenhuollossa. Toiveena on saada luotua hankkeita tukeva portaali, jossa on näyttöön perustuvaa tietoa toimivista menetelmistä ja niiden käyttäjistä hankehallinnon ja yhteistyön tueksi sosiaali- ja terveydenhuoltoon. Tästä tiedotamme myös kyseisellä sivulla. • Kiitos!