Arvioinnista yleisesti, tarkoitus, perustelu, asetelmat, menetelm t, kohteet, kriteerit, arvioinnin mallit Pirkko Nyk

1.  Arvioinnista yleisesti, tarkoitus, perustelu, asetelmat, menetelm�t, kohteet, kriteerit, arvioinnin mallit Pirkko Nyk�nenvs professori, Tampereen yliopisto 

2. Arviointi Arviointikriteerit suureet, joita mitataan Referenssiarvot, joihin mitattuja suureita verrataan Mittarit eli menetelm�t, joilla mittaus toteutetaan Formatiivinen arviointi: Kehitysty�n aikaista mittaamista Summatiivinen arviointi: Valmis, toimiva j�rjestelm�, yhteenvedonomainen Konstruktiivinen arviointi: Arviointi antaa palautetta kehitysty�lle

3. Arviointiasetelma Kenen n�k�kulmasta arvioitavaa kohdetta tarkastellaan Terveydenhuollon ammattilaisten, k�ytt�jien, kehitt�jien, p��tt�jien, johdon, rahoittajien, organisaation / alueen / valtakunnallisen suunnittelun � Mikro-, meso-, makrotasot Mikro - yksitt�isen toimijan taso / tiimin taso Meso - yksik�n / osaston / organisaation taso Makro - alueen / palveluj�rjestelm�n / valtakunnan taso MENETELM�T: Kuinka tieto ker�t��n arviointia varten ? Haastattelut, kyselyt, ty�nkulkuanalyysi, prosessimallit ja -analyysi, havainnointi, aikamittaukset, ryhm�arviointi, koej�rjestelyt, kirjallisen materiaalin k�ytt�, toimintatutkimus, casetutkimus, log in-tiedonkeruu, testaus / testitapaukset etc

4. Arvioinnin perusta - t�rke�t kysymykset ! Mik� on arvioinnin tarkoitus? Keit� varten arviointi tehd��n? Mitk� on alueet arviointi kattaa ? Miksi juuri n�m� alueet ? Mitk� ovat arvioinnin kohteet ? Ketk� arvioinnin tekev�t ? Miksi juuri n�m� ihmiset, asiantuntemus, suhde arvioinnin kohteeseen ? Kuinka paljon on resursseja, miss� vaiheessa ? Onko olemassa valmis metodologia? Millaista j�rjestelm�� arvioidaan; kliinist�, hallinnollista,.. Miss� kehitysvaiheessa j�rjestelm� on? Esitutkimus- M��rittely - Suunnittelu - Toteutus - K�ytt��notto - K�ytt�? Kuinka suuri on tutkimusmateriaali ? Onko tutkimusasetelmassa mahdollisia v��ristymi�? Mik� on niiden vaikutus lopputulokseen? Onko mitattavan suureen ja arvioinnin menetelm�n v�lill� yhteys? P�tev�tk� arvioinnin tulokset my�s muissa ymp�rist�iss� ja tilanteissa?

5.

6. Terveydenhuollon teknologian arviointi Kohteena: Terveydenhuollon menetelm�t hoitomenetelm�t, l��kkeet, laitteet, laitteistot, tarvikkeet tukij�rjestelm�t, tietoj�rjestelm�t, hallinnolliset j�rjestelm�t L�ht�kohtia Teknologial�ht�inen: Neurokirurgisten ty�asemien vaikutus neurokirurgian tuloksiin ? Ongelmal�ht�inen: Mik� on paras tapa tehd� syd�nkirurgiaa? Ohjelma / projektil�ht�inen: Tulisiko aloittaa kansallinen rintasy�v�n seulontaohjelma ?

7. Terveydenhuollon menetelmien arvioinnin yleinen tavoite on tiedon tuottaminen menetelmien vaikuttavuudesta, tehokkuudesta (kustannus-vaikuttavuudesta), riskeist� sek� niiden k�ytt��n liittyvist� eettisist� ja sosiaalisista n�k�kohdista Arviointi kohdistuu sek� uusiin ett� k�yt�ss� oleviin menetelmiin Arvioinnin avulla selvitet��n menetelmien k�ytt��nottoon ja levi�miseen liittyvi� tekij�it� joko uutta tietoa tuottamalla tai olemassaolevaa tietoa uudelleen organisoimalla ja syntetisoimalla Arvioinnin tuloksena saadaan my�s tietoa teknologioita kehitt�ville ja tuottaville yrityksille liiketaloudellisista kysymyksist� ja markkinarakenteista maailmanlaajuisesti

8. Tietoj�rjestelm�t ja ymp�rist�t

9. Tietoj�rjestelmien kehitt�misprosessi

11. Miksi tietotekniikkaa pit�� arvioida Tietotekniikka kallista, laajavaikutteista, merkitys kasvaa Vaikutuksia toimintarakenteisiin, prosesseihin, hoitoon ja sen tuloksiin, ty�teht�viin, ty�n p�tevyysvaatimuksiin, ty�n organisointiin,... Tarjolla erilaisia vaihtoehtoja Halutaan selvitt�� tietotekniikan hy�tyjen vaihtelua eri paikoissa, tekniikka ei tuo automaattisesti hy�tyj� Siirret��n tietotekniikkaa erilaiseen ymp�rist��n (technology transfer) Kehitet��n toimintaa tietotekniikan avulla halujtaan selvitt�� saavutetut tavoitteet, hy�dyt, vaikutukset - ja minimoida negatiiviset vaikutukset Halutaan selvitt�� k�ytt�notetun tekniikan ominaisuuksia ja hyv�ksytt�vyytt� Ep�onnistunut tietoj�rjestelm� ? Vaikea m��ritell� yksiselitteisesti Yleens� m��ritell��n yksitt�isin� tilanteina toimivaa j�rjestelm�� ei ole saatu aikaan kustannukset suuret tietoj�rjestelm� ei tuota hy�ty� harva k�ytt�� j�rjestelm�� asenteet negatiiviset j�rjestelm�� kohtaan rakennettu v��r� j�rjestelm�, v��r� ongelma ratkaistu, v��r� ratkaisu toteutettu

12. Tietotekniikan arvioinnin kysymyksi� Millainen teknologia olisi parasta, sopivinta ? Tietoj�rjestelm�n k�ytett�vyys ? Tietoj�rjestelm�n tekniset ominaisuudet? Onko j�rjestelm� k�ytt�tarkoitukseen ja k�ytt�jille sopiva? Miten j�rjestelm�n k�ytt��notto vaikuttaa organisaation toimintaan, toiminnan tuloksiin, ty�teht�viin, rakenteisiin, valta- ja vastuusuhteisiin, toiminnan laatuun, kustannuksiin,�?

13. Tietoj�rjestelmien arvioinnin mallit DeLone & McLean viitekehys

14. Laajennettu DeLone & McLean 2003

15. VATAM kehys (EU HC1115)

16. Standardiperustainen malli Arvioinnin perustana lait, normatiiviset ohjeet, standardit ISO9000 TQM, Total quality management - ajattelu Laatupalkintoajattelu Ongelmana: standardien puute, standardien teknisyys, todellisuuden ja standardien erot!

17. Elinkaarimalli Tietoj�rjestelm�n kehitysvaiheisiin sidottu malli 1 J�rjestelm�n alustavat spesifikaatiot 2 J�rjestelm�n validisuus 3 J�rjestelm�n toimivuus ja k�ytett�vyys k�ytt�j�ymp�rist�ss� 4 J�rjestelm�n vaikutukset k�ytt�j��n, organisaatioon, terveydenhuoltopalvelujen jakeluun, tuloksellisuuteen, hoidon laatuun,..

18. Tavoitel�ht�inen malli Operationalisoidaan hankkeelle / j�rjestelm�lle asetetut julkituodut tavoitteet Arvioinnin avulla tuotetaan tietoa miss� m��rin (ja millaisin kustannuksin ja panoksin) asetetut tavoitteet on saavutettu Ongelmana: Tavoitteet joskus yleisi�, virallinen dogmatiikka joskus yksipuolista, ristiriitaista, tavoitteet �v��ri�, olemassa ep�virallisia tavoitteita, painottaa usein johtajien n�k�kulmaa, niit� ei voida aina mitata, projektit muuttavat muotoaan ja tietoj�rjestelmill� odottamattomia vaikutuksia Ovatko organisaatiot ja projektit mekanistisesti toimivia kokonaisuuksia? Suosittu l�hestymistapa, Hyv� l�ht�kohta Kinnunen J & Nyk�nen P, Terveydenhuollon tietotekniikan arviointi, 1999

19. Monitoimijamalli, sidosryhm�ajattelu eri toimijoilla erilaiset odotukset, tavoitteet arvioinnin kohteen suhteen Tietoj�rjestelm�n arvioinnin sidosryhm�t niit�, jotka vaikuttavat arviointiin ja joihin arviointi vaikuttaa Vaikutus suora eli v�lit�n tai ep�suora eli v�lillinen Huomioonotettavaa on suhde j�rjestelm��n Eritt�in yleinen sidosryhm�jaottelu on 1) k�ytt�j�t, 2) p��tt�j�t, 3) kehitt�j�t ja 4) ulkopuoliset johdetaan arvioinnin kriteerit valitusta toimijan�k�kulmasta, tai useammasta auttaa selvitt�m��n teknologian tai j�rjestelm�n vaikutuksia eri toimijoihin Ongelma: ty�l�s, vaikeus yhteensovittaa arvioinnin tuloksia Turunen P, 2001

20. Kehitt�misen ja arvioinnin yhdist�minen Kehitysvaihe Arviointifokus Tarkasteltavat suureet Ongelma ongelman kuvaus, teht�v�n ymp�rist�muuttujat: ulkoinen, organisaatio, ja kohdealueen kuvaus kehitt�mis- ja k�ytt�ymp�rist� Prototyyppi prototyypin kehitt�minen, k�ytt�, prosessi:kehitt�mis- ja k�ytt�prosessit prototyypin ominaisuudet j�rjestelm�: sis�lt�, esitys, skaala, tiet�mys, sovellus J�rjestelm� validisuus, toiminnallisuus, j�rjestelm� - k�ytt�j� k�ytett�vyys -kehitt�j� menetelm�t ja ty�kalut, kehit- prosessi: kehitt�mis- ja k�ytt� t�misprosessi ymp�rist�: ulkoinen, org, kehitt. k�ytt� Kehitt�minen, analyysi, kehitys, implem, ymp�rist� laajennus, arviointi prosessi yll�pito j�rjestelm� Nyk�nen 2000: Decision support systems from a health informatics perspective

21. Tietoj�rjestelmien arvioinnin kohteita Tietoj�rjestelm�n ominaisuudet Toiminnallisuus, soveltuvuus k�ytt�tarkoitukseen, k�ytett�vyys, avoimuus, luotettavuus, skaalattavuus, siirrett�vyys, yll�pidett�vyys, standardien-mukaisuus, arkkitehtuuri, teknologiavalinnat, �.. Tietoj�rjestelm�n suunnitteluprosessi, rakentamisprosessi, k�ytt��nottoprosessi, yll�pitoprosessi Menetelm�t, l�hestymistavat, v�lineet, ty�kalut, dokumentaatio, tiedonhallinta, suunnittelu- ja toteutusratkaisut ja niiden perustelut,�. Tietoturvallisuus, juridiset vaikutukset Toiminnallinen, tekninen, fyysinen tietoturva, potilastietojen k�sittelyn lainmukaisuus, tietosuoja Kustannus-vaikuttavuus, kustannus-tehokkuus, kustannus-hy�tysuhde Teho, tehokkuus Kapasiteetti, nopeus, vasteajat, k�ytt�j�m��r�t, tapahtumam��r�t,�.

22. Eettiset vaikutukset: tasa-arvo, oikeuksien s�ilyminen, syrj�ytymisen est�minen Vaikutukset el�m�nlaatuun, elinvuosiin, toimintakykyyn, itsen�iseen selviytymiseen� Vaikuttavuus organisaation ja/tai toimintayksik�n toimintaan, toiminnan tuloksiin, toimintatapoihin, toimintak�yt�nt�ihin, toiminnan rakenteisiin, p��t�ksentekoon, �. Alueellinen ja/tai valtakunnallinen vaikuttavuus: Vaikutus alueelliseen yhteisty�h�n, verkottumiseen, alueelliseen toimintaan ja p��t�ksentekoon, yhteisty�rakenteisiin, palveluj�rjestelm��n, terveydenhuollon toiminnan organisointiin,... Sosiaaliset vaikutukset: Yksil�lliset vaikutukset, ty�n ja ty�teht�vien muuttuminen, ty�n tekemisen muuttuminen, professiot, ammattik�yt�nn�t, vuorovaikutus, yhteisty�, sosiaaliset kontekstit,�

24. P��t�stukij�rjestelmien arvioinnista P��t�tuskij�rjestelm� Decision Support System, DSS, tietoj�rjestelm�tieteen n�k�kulma Knowledge Based System, KBS, asiantuntijaj�rjestelm�, teko�lyn n�k�kulma P��t�ksenteon tukeminen

25. P��t�ksentekoprosessi

26. P��t�stukij�rjestelm�n arviointi usein ollaan erityisesti kiinnostuneita j�rjestelm�n p��ttelyn oikeellisuudesta tuloksen k�ytett�vyydest� p��ttelyn perustelujen esitt�misest� j�rjestelm�n vaikutuksista p��t�ksenteon nopeutumiseen, tehostumiseen, yksinkertaistumiseen, tuloksellisuuteen p��t�stukij�rjestelm� pit�isi arvioida osana koko p��t�ksentekoprosessia p��t�sprosessin tulokset riippuvat kokonaisuuden validisuudesta

27. Tietoj�rjestelm�n k�ytett�vyys m��rittelee: ratkaiseeko j�rjestelm� k�ytt�j�n n�k�kulmasta oikeat ongelmat (eli j�rjestelm�ss� on k�ytt�j�n tarvitsemat ominaisuudet) ja ratkaiseeko j�rjestelm� ongelmat oikealla tavalla (eli j�rjestelm�� on helppo k�ytt��) Tietoj�rjestelm�n m��rittelyss� ja suunnittelussa opetellaan tuntemaan k�ytt�j�t ja heid�n toiveensa ja tarpeensa, jotta k�ytt�j�n�k�kulma pystyt��n huomioimaan suunniteltavassa j�rjestelm�ss� K�ytett�vyys on j�rjestelm�n laatutekij� k�ytt�j�n n�k�kulmasta k�sin

28. Kustannus-vaikuttavuus, kustannus-tehokkuus, kustannus-hy�tysuhde Kustannus-vaikuttavuus; vaikuttavuuden mittarit kliinisin� yksikk�in� kuten saavutettuina elinvuosina, kuolleisuuden v�henemisen�, sairastavuuden v�henemisen� Kustannus-hy�ty (utiliteetti)analyysi; seurataan terveysvaikutuksia arvotetulla indeksill� pitkitt�istutkimuksessa Health related quality of life, Sintonen: 15D-mittari Ohinmaa 1999, FinOHTA

29. Kustannusvaikutusten arvioinnin yleiset periaatteet tarkat kustannusanalyysit sek� uudelle ett� vanhalle menetelm�lle 1 kaikkien merkitt�vien kustannustekij�iden tunnistaminen 2 kustannustekij�iden mittaaminen luonnollisissa yksik�iss� 3 kustannusten arvottaminen tarkastellaan suoria, ep�suoria, aineettomia kustannuksia pyrit��n selvitt�m��n kaikille osapuolille aiheutuneet kustannukset (terveyspalvelujen tuottaja, potilas, omainen, muiden palvelujen tuottajat)

30. Arvioinnin ongelmat, sudenkuopat Arvioitsijan ulkopuolisuuden, puolueettomuuden s�ilyminen Mitattavien arviointisuureiden valinta - mitataan niit� asioita, jotka kuvaavat tarkasteltavaa ilmi�t� Oikean menetelm�n valinta - pystyt��n mittaamaan valittuja suureita, ominaisuuksia Mittaustilanne, koej�rjestely - v��ristym�t, tulkinnat, h�iri�t Tulosten tulkinta, johtop��t�kset - arviointitilanteen kehyksess�!

32. KIITOS! Pirkko.Nykanen@uta.fi