Päätösmalliavusteinen ennakointi- ja arviointityö

1. Päätösmalliavusteinen ennakointi- ja arviointityö Ahti Salo Systeemianalyysin laboratorio Teknillinen korkeakoulu PL 1100, 02015 TKK

2. Agenda • Päätösmallien rooli • Esimerkkejä • Klusteriohjelman arviointi • Vesistön säännöstelyn suunnittelu • Kriisienhallintapäätöksenteon kehittäminen • Kehitysnäkymiä • Organisatoriset reunaehdot • Teknologiset tekijät

3. Mitä on systeemi- ja operaatiotutkimus? • ”Operational research is the attack of modern science on complex problems arising in the direction and management of large systems of men, machines, materials and money in industry, business, government and defense.” • ”Its distinctive approach is to develop a scientific model of the system, incorporating measurements of factors such as change and risk, with which to predict and compare the outcomes of alternative decisions, strategies or controls. The purpose is to help management determine its policy and actions scientifically.” OR Quarterly 3(3): 282, l962

4. Päätösmalliavusteisen työskentelyn ulottuvuuksia ArvokeskusteluOngelman jäsentäminen Vaihtoehtojen esittäminen Sidosryhmät Päätösmalli Päätösvaihtoehtojen vertailu • Järjestelmäkuvaus • ekosysteemi • energiatuotanto • innovaatioprosessi Mallintaminen ja simulointi Asiantuntija-arviot Ennustemallit

5. Innovaatiopolitiikan päätöstuki (1/2) Markkinat Teknologianarviointi Ennakointi Tuotekehitys Innovaatioprosessi Evaluointi Tutkimus Strateginen Käsitteellinen Operatiivinen T&K-toiminnan johtaminen

6. Innovaatiopolitiikan päätöstuki (2/2) • Technology assessment • “… encompasses activities which analyze and evaluate the anticipated impacts of a given technology, assess areas of potential social conflict caused by its deployment, promote a constructive dialogue between the stakeholders, and produce recommendations for improving the technology and the terms of its application.” (van Eijndhoven, 1997) • Programme evaluation • “… is understood as a systematic process which seeks to determine the relevance, efficiency and effect of the program in terms of its objectives, implementation and administrative management.” (Papaconstantinou and Polt, 1997) • Embedded foresight • “… refers to the individual and collaborative processes through which prospective information about relevant technological, commercial and societal developments is acquired, produced, refined or communicated within RTD programs, in order to generate shared understandings in support of RTD activities.” (Salo and Salmenkaita, 2002).

7. Taustaa hallitus käynnisti tutkimuksen lisärahoitusohjelman vuonna 1996 100 MEUR kohdennettu seitsemään klusteriohjelmaan osin Porterin teollisten klustereiden innoittamia ministeriöiden, rahoittajien, yritysten ja tutkijoiden välisen yhteistyön kehittäminen noin 25% rahoituksesta yksityissektorilta Wood Wisdom suurin klusteriohjelmista, rahoitus EUR 33 million Tekes (44%); yritykset (33%), Suomen Akatemia (15%); maa- ja metsätalousministeriö (7%); kauppa- ja teollisuusministeriö (2%) raaka-aineominaisuuksien hyödyntäminen puunjalostus- ja puutuoteollisuuden kilpailukyvyn parantamiseksi 4 tutkimusaluetta 21 teema-aluetta, 34 tutkimuskonsortiota, 156 projektia yli 50 yritystä, lähes 70 tutkimusyksikköä ja 800 tutkijaa Wood Wisdom 1998-2001

8. Ohjelmatoiminnan arvioinnin haasteita (1) • Lähtökohtien valinta • tavoitteenasetanta tyypillisesti lähtökohtana • etenkin isoissa ohjelmissa saattavat olla yleisluontoisia (‘retorisia’) • käytännössä tavoitteet konkretisoituvat usein vasta ohjelman aikana • yllättävät ja ennakoimattomatkin vaikutukset voivat kiinnostavia • ahdas pitäytyminen tavoitteissa voi olla turhan rajaavaa • liialliset odotukset sosio-ekonomisten vaikutusten arvioitavuuden suhteen • merkitys ei yksinomaan akselilla ‘liikevaihto - vienti - työpaikat’ • Tarkasteluyksiköiden rajaus • projektit konkreettisia ja hyvin rajattuja • verraten helposti arvioitavissa • ohjelmataso monimuotoinen • toiminta sinänsä (koordinaatio, tiedottaminen), vaikutukset tutkimuksen sisältöihin • haastattelut, case-analyysit, tilastoanalyysit

9. Ohjelmatoiminnan arvioinnin haasteita (2) • Oikea-aikaisuus • uutta ohjelmaa usein valmisteltava ennen kuin edellinen päättynyt • parempi saada alustavia tuloksia ajoissa kuin tarkkoja liian myöhään • odotukset sosio-ekonomisten vaikutusten arvioinnin suhteen epärealistisia • Menetelmälliset rajoitteet • kyselytutkimuksilla ei juurikaan päästä kunnolla substanssitasolle • yleishavainnoista ei voida yksioikoisesti johtaa yksittäisiä teknologia-alueita tai hankkeita koskevia johtopäätöksiä • kansainvälistyä pitää - mutta kenen ja kuinka? • Tulevaisuusnäkökulma • evaluointi kohdistuu jo toteuteneeseen työhön • tulkinta edellyttää myös tulevaisuuden haasteiden tunnistamista ja käsittelyä

10. Päätösmallisavusteinen arviointityö • Lähestymistapa • määritellään arviointikohteet ja sovellettavat viitekehykset • esim. monitavoitepäätöksenteon mallit • nimitetään arviointiin osallistuvat työryhmät • kiinnostus, tasapuolisuus, pätevyys • hyödynnetään työvälinetukea • haetaan kaikkien työryhmän jäsenten näkemykset • sallitaan myös anonyymi palaute • koostetaan tulokset ja keskustellaan niistä • Suhde muihin lähestymistapoihin • täydentää (mutta ei korvaa) muuta arviointi- ja vaikuttavuustutkimusta • tukee tutkimustulosten tulkitsemista toimenpide-ehdotuksiksi • voidaan liittää osaksi ennakointityötä

11. Wood Wisdom - klusteriohjelman arviointi • Osallistavat työpajat • yhteenä 15 työpajaa • tutkimusalueet ja konsortiot valittu rahoittajien ja koordinaattorin kanssa • useimmissa 7-10 asiantuntijaa • ohjausryhmien jäseniä • projektipäälliköitä • ohjelmakoordinaattori • päätöksenteon tukijärjestelmä • arviointimallien soveltaminen • vapaamuotoisten kommenttien hakeminen • Kyselytutkimus • lähettiin 78 projektille • 62 vastasi ( ~ 80 % vastasi) • kannanottoja, vapaamuotoisia kommentteja projekteja ja ohjelmaa koskien

12. Agenda • Työpajan avaus 20 min • tavoitteet, toimintatavat, poimintoja kyselytutkimuksesta • Konsortion esittely 10 min • Osahankkeiden arviointi 1 h 30 min • projektipäälliköiden esitykset (à 15 min) • arviointimallien soveltaminen kuhunkin osahankkeeseen (à 15 min) • lopuksi keskustelu arviointituloksista (n. 30 min) • Konsortiotason arviointi 30 min • tutkimuksen ja verkottumisen painopistealueiden määrittäminen • ohjausryhmätyöskentelyn arviointi • tulevaisuuden tutkimushaasteiden tunnistaminen • Yleiskeskustelu 30 min

13. Työpaja: Uniikki kuitu • Ke. 26.9, klo 12.00-16.30 • Osallistujat • Pekka Kanerva, koordinaattori • Per Stenius, ohjausryhmä • Jukka Ranua, ohjausryhmä • Jorma Sundquist, ohjausryhmä • Christine Hagström-Näsi, ohjausryhmä • Simo Koponen, osahanke (1) • Alpo Ranta-Maunus, osahanke (2) • Raimo Silvennoinen, osahanke (3) • Esittäyneet osahankkeet • (1) Puun anatomisen rakenteen vaikutus mikrohalkeiluun ja halkeamien kasvuun, TKK • (2) Puun mikrohalkeilun malli, jaksot I ja II, VTT • (3) Optiset menetelmät puuaineksen halkeilun tutkimuksessa, JoY

14. Tutkimuskonsortion arviointimalli • Mitä tavoitteita konsortion edustamalla tutkimusalueella tulisi jatkossa painottaa?Painota keskenään rinnasteisia tavoiteluokkia siten, että kunkin katkoviikoin rajatun alueen sisällä annettujen prosenttien summa on 100.

15. Ryhmätyöympäristö • Opinions-Online • Internet-pohjainen äänestystyökalu • kehitetty systeemianalyysin laboratoriossa prof. Raimo P. Hämäläisen johdolla • Käyttö työpajoissa • kannanotot ohjelmatoimintaan • vapaamuotoisen ja anonyymin palautteen hakeminen • vastausten erittely vastaajaryhmittäin

16. Työpajaesimerkki - uniikki kuitu

18. Havaintoja • Lähestymistavan ’toimivuuden’ edellytyksiä • läsnäolijoiden kokeneisuus ja asiantuntemus • riittävän laaja osallistujapohja (esim. suurin osa ohjausryhmästä paikalla) • mandaatti tarpeen - miel. selkeä nivoutuminen ohjelmatoimintaan • laadukas taustamateriaali ja -työ • täsmennettyihin väittämiin helpompi tarttua (myös liiaksi!) • riittävästi aikaa (väh. puolipäivää) • puolueeton ja tahdikas fasilitointi • Ryhmätyöympäristöjen etuja • arviointitulosten saattaminen vertailukelpoiseen muotoon (viitekehykset) • näkemystiedon koostaminen läsnäolijoilta • anonymiteetti, tasapuolisuus, kattavuus, nopeus • keskustelun katalysointi ja pohjustaminen • myös selkeiden kannanottojen puntarointi mahdollista

19. Palautekysely

20. Päätöstasojen välisten kytkentöjen tukeminen

21. Ympäristöpäätöksenteko • Vesistöjen sääntelyn kehittäminen (SYKE) • tavoitteita • taloudellisten, ekologisten ja sosiaaliset vaikutusten selvittäminen • käyttäjäryhmien tavoitteiden kartoittaminen ja yhteensovittamisen • säännöstelyhaittojen vähentäminen ja hyötyjen lisääminen • lähestymistapa • järviekosysteemin mallintaminen ja päätösanalyysihaastattelut • verkkopohjainen osallistaminen ja yhteiset keskustelutilaisuudet • Kriisienhallintavalmiuksien parantaminen (STUK) • tavoite • päätösprosessin kehittäminen ydinvoimalaonnettumuuden varalta • lähestymistapa • radioaktiivisen laskeuman leviämisen ennustaminen • toimenpiteille asetettavien tavoitteiden kuvaaminen päätösmallina • suojelutoimenpidestrategioiden vertailu

22. PÄIJÄNTEEN SÄÄNTELYN ARVOPUU MAATALOUS TULVAT RAKENTEET VESIVOIMA TEOLLI-SUUS UITTO VAIHTOEHDOT MATKAILU PARAS SÄÄNNÖSTELY • TulVO • EKO • VIRKI YRITYS-TOIMINTA AMMATTI-KALASTUS RANTOJEN KÄYTETTÄVYYS VIRKISTYSKÄYTTÖ MAISEMA ELINYMPÄRISTÖT KALAKANNAT VESI-LUONTO LINNUSTO

23. TAVOITTEENA YKSIMIELISESTI HYVÄKSYTTÄVÄT SUOSITUKSET Osallistuminen Vaikutusten arviointi RISTIRIIDAT OPPIMIS-PROSESSI SOPUSUOSITUKSISTA Monitavoitteista päätöksentekoa tukevatmenetelmät Arvopuuanalyysi

26. Organisatorisia reunaehtoja • Mandaatti • keskeisten sidosryhmien myönteinen suhtautuminen • yhteinen tärkeäksi mielletty ongelmanasettelu • mielellään neutraaliksi nähdyn tahon fasilitoima • Osallistujat • arvovalinnat ja näkemystieto tärkeitä • tasapuolinen kokoonpano, asiantunteva, avoimesti suhtautuva • tulosten validointiin tarjottava mahdollisuus • Rajaaminen • kysymysten täsmentäminen • mihin arviointi kohdistetaan? • millä kriteereillä ‘hyvyyttä arvioidaan’

27. Päätösmalliavusteisen työn etuja • Jouduttaminen • arviointitulokset voidaan periaatteessa tuottaa nopeammin • esim. tietokoneavusteisten työpajojen tulokset voidaan viedä internetiin saman tien • Eriyttäminen • voidaan rakentaa kuva siitä, miten eri toimijoiden näkemykset poikkeavat • vrt. tietoturvariskien kokeminen eri tavoin • Syventäminen • voidaan käydä keskustelua siitä, mitä havainnot merkitsevät • esim.minkälaista kv-yhteistyötä tarkalleen ottaen tulisi edistää? • Sitouttaminen • suosituksista ehkä helpompi päästä toimenpiteisiin • taustalla yhteiset keskustelut ja näkemykset

28. Julkaisuja • Hämäläinen, R.P., M. Lindstedt, K. Sinkko: Multi-Attribute Risk Analysis in Nuclear Emergency Management, Risk Analysis 20/4, 455-468 • Hämäläinen, R.P., E. Kettunen, M. Marttunen and H. Ehtamo (2001): Evaluating a Framework for Multi-Stakeholder Decision Support in Water Resources Management, Group Decision and Negotiation 10/4, 331-353, 2001 • J. Mustajoki, R.P. Hämäläinen, M. Marttunen: Participatory Multicriteria Decision Support with Web-HIPRE: A Case of Lake Regulation Policy, Environmental Modelling & Software (forthcoming) . • Salmenkaita, J.-P, A. Salo (2002): Rationales for Government Intervention in the Commercialization of New Technologies, Technology Analysis & Strategic Management 14/2, 183-200. • Salmenkaita, J.-P., A. Salo (2004): Emergent Foresight Processes: Industrial Activities in Wireless Communications, Technological Forecasting and Social Change (forthcoming). • Salo, A., K. Cuhls (2003): Technology Foresight - Past and Future, Journal of Forecasting 22/2-3, 79-82. • Salo, A., T. Gustafsson (2003): A Group Support System for Foresight Processes, International Journal of Technology Management (forthcoming). • Salo, A., T. Gustafsson, R. Ramanathan (2003). Multicriteria Support for Foresight Processes. Journal of Forecasting22/2-3, 235-256. • Salo, A., T. Gustafsson, P. Mild (2003): Prospective Evaluation of a Cluster Program for Finnish Forestry and Forest Industries, International Transactions on Operations Research (forthcoming). • Salo, A., R.P. Hämäläinen (2001): Preference Ratios in Multiattribute Evaluation (PRIME) - Elicitation and Decision Procedures under Incomplete Information, IEEE Transactions on Systems, Man, and Cybernetics 31/6, 533-545. • Salo, A., A. Punkka (2004): Rank Inclusion in Criteria Hierarchies, European Journal of Operational Research (forthcoming). • Salo, A., Salmenkaita, J.-P. (2002): Embedded Foresight into RTD programs, International Journal of Technology, Policy and Management 2/2, 167-193.

29. Kiitos!