6.2 Mittaus ja kuvaus

1. 6.2 Mittaus ja kuvaus Menasce, luku 13 Jain, luvut 7, 8,10

2. Mittaustekniikat • Marssijärjestys (aina): hypoteesi => malli => koesuunnittelu => mittaus => analyysi (=> malli => koesuunnittelu => mittaus => …) • Tiedon keruu • mittarit rakennettu osaksi sovellusta • mittarit osana toteutusalustaa • mittarit osana käyttöjärjestelmää • ulkoiset ohjelmistomittarit • laitteistomittarit

3. Mittaushetken valinta • Tapahtumamonitorointi • tapahtuman toteuttavassa koodissa • mittari helppo toteuttaa • mittariston ohjaus hankalampaa • lukuisia mittareita • ehtojärjestelmä: mittarien käynnistys/pysäytys • mittaustulosten tahdistus • mittauksen vaikutus suorituskykyyn! • Otantamonitorointi • ”ulkopuolinen” käynnistys • kerätään tilatieto • vaikutus suorituskykyyn ainakin säädeltävissä

4. Ohjelmistomittarit • Tarkkuus vs yleisrasite vs havainnollisuus? • Viisasta rakentaa sovellukseen mukaan heti alunperin joustava mittaristo • mittaus helppo liittää ohjelman logiikkaan • mittaus voidaan kohdistaa ongelman lähteelle • Yleensä aina saatavilla: • laskutusjärjestelmän tiedonkeruu • välikerroksen lokitietojen keruu • Erikoismittareita kytkettävissä alustaan (esim. tietoliikenteen seuranta)

5. Ajanmittauksen tarkkuus • Selvitä käyttöjärjestelmän kellon resoluutio (käyttäjän kannalta) • Eri koneiden kellot eivät yleensä ole riittävän hyvin synkronissa => mittaa aikaa yhdellä kellolla (tai tee kellontarkistus alussa ja lopussa) • Varo ”kertyvää epätarkkuutta” (kertymä vs pistehavainto)

6. Mittausjakson pituus • Mittaa järjestelmää, kun se on ”stationäärisessä tilassa” • Jos tulossuure on likimain normaalisti jakautunut, koepituuden vaikutus tulosten tarkkuuteen on helposti arvioitavissa • tulosmuuttuja y: normaalijakautunut N(m,s) • otoskoko: n • otoskeskiarvo m: normaalijakautunut N(m, s/sqrt(n)) • otoskeskiarvon luottamusväli merkitsevyystasolla a m ± z1-a/2 s / sqrt(n), missä z1-a/2 on normaalijakauman prosenttipiste s on otoshajonta • päätä merkitsevyystaso; mittaa, kunnes ehto ok (tilastollisesti ei aivan puhdasoppista, mutta tyypillisesti suurin virhe syntyy jakauman vinoudesta)

7. Tulosten kuvaaminen • Tavoite: tietoa päätöksentekoa varten • oleelliset erot selvästi näkyviin • epäoleelliset erot ”huomaamattomia” • Käytä • kuvia visualisointiin • taulukoita tarkkojen tietojen varastona • tekstiä selitykseen • Teksti on syytä visualisoida • Kuvat on syytä selittää

8. Taulukko, vai …

9. … histogramma

10. Monta aikasarjaa

11. Jakaumien vertailu: ”boxplot”

12. Kolmiulotteiset käyrät

13. Rinnakkaisuuden määrä: Ganttin kaavio

14. Grafiikan suunnittelun ohjeita • Minimoi lukijan vaiva • oleellinen näkyy heti • ymmärretään oikein • Maksimoi informaatio • mitä kuvataan (daily cpu usage; cpu time in seconds) • Minimoi musteen käyttö • näytä metsä (älä vain puita) • Noudata yleisiä käytänteitä • x on selittäjä, y selitettävä • kasvusuunta on oikealle / ylös • Arvot alkavat usein nollatasosta

15. Mikä käyrä mikin on?

16. Onko tilanteilla eroa? Kaksi kuvaa samasta tilanteesta: availability = 1 - unavailability

17. Kovin täytetty kuva … Eri asioita samassa kuvassa? Kyllä, jos halutaan kuvata esim. yhteisen taustamuuttujan vaikutusta, … mutta luettavuudesta pitäisi jäädä jotain jäljelle

18. Skaalaamalla merkitystä

19. Eron merkitys: luottamusvälit näkyviin

20. Teknistä pientä huomioonotettavaa Muista seuraavat erot • kvalitatiivinen vs kvantitatiivinen muuttuja • diskreetti vs jatkuva muuttuja => älä tee faktorin diskreeteistä, kvalitatiivisista tasoista jatkuvaa muuttujaa • selittäjä vs selitettävä Sijoita vertailtavat suureet rinnakkain / allekkain Jos suhteelliset erot ovat tärkeitä, käytä logaritmista asteikkoa

21. Wise men learn by other men’s mistakes, fools by their own • Onko hankkeella jokin tavoite (paitsi: olisi kiva tietää..) • Tutki, älä todista ennakkoluuloja • Systemaattinen lähestymistapa on työläs – epäsystemaattinen on kallis • Ymmärrätkö, mitä järjestelmässä oikein tapahtuu? • Miksi käytät tätä suorituskykymittaa? • Tämä kuorma oli helppo saada – entä edustavuus? • Miksi valitsit tämän tekniikan? • Ovatko oleelliset faktorit mukana?

22. Wise men learn …. • Tuliko koesuunnittelu tehtyä – vai lähdettiinkö heti katsomaan, mitä siellä tapahtuu? • Mallituksen detaljitaso? (Joskus yksityiskohtainen malli on huonompi kuin karkea …) • Luovutatko raakadataa vai tuloksia? Osaatko selittää, miksi ne näyttävät siltä miltä näyttävät? • Mikä tarkkuus? Unohtuiko herkkyysanalyysi? • Kuka sanoi, ettei syötteissä voisi olla virheitä? • Poikkeavien havaintojen käsittely … • Onko maailma huomennakin tällainen?

23. Wise men learn …. • Keskiarvo on helppo ymmärtää – myös väärin • Ilmiö vs analyysi vs tarvittu tarkkuus – monimutkaisuus ei ole hyve • Mikä on se informaatio, jonka tuloksista saa? • Tulosten myynti on sosiaalinen taito • Lopuksi: miten olikaan validiteetin kanssa?

24. Työn iloa ja onnea matkaan!