EVIDENCE BASED SOFTWARE ENGINEERING – EBSE

1. EVIDENCE BASEDSOFTWARE ENGINEERING –EBSE Ohjelmistotekniikan jatko-opintoseminaari, TTY Pori: Ohjelmistotekniikan tutkimusmenetelmät DI Jari Vainio 12.8.2009

2. EBSE:n taustaa • Kirjallisuuslähteiden mukaan EBSE-tutkimusmenetelmää on kehitetty paljon mm. Norjalaisissa yliopistoissa. • Lääketieteellisessä tutkimuksessa 1980- ja -90-lukujen vaihteessa ”tuli muotiin” (ja on edelleenkin yksi käytetyimmistä tutkimusmenetelmistä) näyttöön perustuva, EvidenceBasedMedicine (EBM). • Em. tutkimusalueelta ”EB-ajattelu” levisi myös muille tutkimusaloille, mm. ohjelmistotutkimuksen piiriin.

3. EBSE:n taustaa • Esityksen taustamateriaalina käytetty seminaarin kotisivuilla olevia julkaisuja aiheesta: • Magne Jørgensen, Tore Dybå, Barbara Kitchenham:Teaching Evidence-Based Software Engineering to University Students, 11th IEEE International Software Metrics Symposium (METRICS 2005) • David Budgen et al.: Investigating the Applicability of the Evidence-Based Paradigm to Software Engineering, WISER’06 May 20, 2006, Shanghai, China • Barbara A. Kitchenham, ToreDybå, MagneJorgensen: Evidence-BasedSoftware Engineering for Practitioners, Proceedings of the 26th International Conference on Software Engineering (ICSE’04) • MagneJorgensen, ToreDybå, Barbara A. Kitchenham: Evidence-basedSoftware Engineering, 11th IEEE International Software Metrics Symposium (METRICS 2005)

4. EBSE:n tarkoitus • Kitchenham et al. muotoilevatsennäin: ”to provide the means by which current best evidence from research can be integrated with practical experience and human values in the decision making process regarding the development and maintenance of software.” • Useinohjelmistoprojektienlaatuayritetäänparantaakäyttämälläuusiatekniikoitailman, ettäsaadaanriittäviätodisteitaniidentoimivuudestajatehokkuudesta. • Eli EBSE:ntarkoitus on parantaaohjelmistotuotannonpäätöksentekoprosesseja, yhdistämällätutkimustietoajakäytännönkokemuksia.

5. EBSE:n viisi steppiä 1. Muodosta ongelman pohjalta kysymys, johon etsitään vastaus. 2. Etsi kirjallisuudesta paras saatavissa oleva todiste, joka vastaa kysymykseen. 3. Arvioi kriittisesti todisteen oikeellisuus, vaikutus ja käytettävyys. 4. Yhdistä arvioitu todiste käytännön tietoon ja olosuhteisiin, jotta voit tehdä päätöksen. 5. Evaluoi suorituskyky (performance) ja etsi uusia tapoja parantaa sitä.

6. Step 1: Ask an answerable question • Kysymyksen muodostaminen on haasteellista. • Ei liian laaja-/lavea-alueinen, johon saadaan myös lavea vastaus. • Ei liian spesifinen, johon ei saada yhtään vastausta. • SE:n puitteissa: • Mikä kysymys on tärkein asiakkaallesi? • Mikä kysymys on relevantti nykyisessä tilanteessasi? • Mikä kysymys on kaikista tärkein oman yrityksen strategian kannalta? • Mikä kysymys toistuu aina useimmin? • Onnistuuko kysymykseen vastaaminen käytettävissä olevan ajan puitteissa?

7. Step 2: Find the best evidence • Käytä luotettavia, oikeita tietokantoja ja –lähteitä. Esim. IEEE, ACM jne. • Internetissä olevat tietokannat ovat ehdottomasti paras tie. • Hae oikeilla hakusanoilla. • Todiste voi olla raportti, artikkeli tai muu tieteellinen julkaisu.

8. Step 3: Critically appraise theevidence • Kaikki julkaistu tieto ei valitettavasti ole hyvälaatuista. Se voi olla esim. eri tutkimusmenetelmällä tuotettua tms. • Joitakin huomioitavia asioita arviointiin: • ”Paistaako läpi” jonkun oma etu? • Kuka on rahoittanut tutkimuksen? • Miten tieto on kerätty? • Millaisia metodeja käytetty tulosten analysointiin? • Mitkä ovat tutkimuksen tulokset? • Miten tarkkoja ovat saadut tulokset? • Voidaanko tuloksia soveltaa käytäntöön? • Millaisia johtopäätöksiä tuloksista on tehty?

9. Step 4: Apply the evidence • Yhdistämällä kerätyt ”todisteet” päätöksentekoprosessiin, yhdistetään samalla oma käytännön kokemus kokonaisuuteen.

10. Step 5: Evaluateperformance • Kysytään, kuinka hyvin onnistuttiin yhdistämään kerätyt ”todisteet” ja käytännön kokemus, asiakasvaatimukset sekä vallitsevat olosuhteet. • Myös (kuten SPI:ssa) pitäisi pystyä erottamaan, missä prosessin muutokset ovat olleet tehokkaita. • Lopuksi pidetään esim. loppukatselmus, jossa vastataan neljään yksinkertaiseen kysymykseen: • Mitä kuviteltiin tapahtuvan? • Mitä oikeasti tapahtui? • Miksi eroavaisuudet tapahtuivat? • Mitä opimme?

11. Yhteenvetoa • EB-ajattelu toimii lääketieteellisessä tutkimuksessa. • Saatujen tutkimusten mukaan se toimii myös SE:ssa. • Vaatii vielä tutkimista ja kehittämistä.