1 / 40

Program ų sistemų testavimas

Program ų sistemų testavimas. Aist ė Stikliūtė aiste.stikliute @ mif.vu.lt http://web.vu.lt/mif/a.stikliute +370 604 17281 VU MIF Programų sistemų katedra. Testavimo vykdymas. Kas yra testavimo vykdymas? Kada pradėti testavimo vykdymą? Testavimo vykdymo ypatumai

carol
Download Presentation

Program ų sistemų testavimas

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Programų sistemų testavimas Aistė Stikliūtė aiste.stikliute@mif.vu.lt http://web.vu.lt/mif/a.stikliute +370 604 17281 VU MIF Programų sistemų katedra

  2. Testavimovykdymas • Kas yra testavimo vykdymas? • Kada pradėti testavimo vykdymą? • Testavimo vykdymo ypatumai • Testavimo vykdymo rezultatų pateikimas • Kada baigti testavimo vykdymą?

  3. Kas yra testavimo vykdymas? • Visų ar pasirinktų TA vykdymas bei vykdymo rezultatų stebėjimas • Apima visus anksčiau minėtus testavimo metodus: • Juodos, baltos dėžės, statinius, dinaminius, rankinius, automatinius...

  4. Testavimo vykdymo veiklos • Testų vykdymas • Testavimo rezultatų registravimas • Testavimo žurnalo pildymas • Metrikų rinkimas • Testavimo ataskaitų rengimas • Komandos susitikimai (progreso, kylančių klausimų aptarimas)

  5. Priminimas: testavimoprocesas Testavimo planavimas ir valdymas Analizė ir testų kūrimas Testavimo vykdymas Rezultatų įvertinimas, ataskaitų rengimas Testavimo pabaigos veiklos

  6. Kas yra testavimo vykdymas? Testavimo atvejai / procedūros Testavimo duomenys Testavimo aplinka Ankstesnė defektų informacija Testavimo planai ir strategija Testuojama PĮ Testavimo vykdymas Incidentų aprašai Testavimo žurnalas Testavimo būsenos ir rezultatų ataskaitos

  7. Kada pradėti testavimo vykdymą? • Kai atlikti visi analizės ir testų kūrimo darbai? • Atėjus tvarkaraštyje numatytai datai?

  8. Kada pradėti testavimo vykdymą? • Skirklaikoapmąstymams, bet kai ateina laikas veiksmui, nustok galvoti ir imk daryti. Napoleonas Bonapartas

  9. Kada pradėti testavimo vykdymą? • Tipiškai analizė ir testų kūrimas vyksta visą laiką, o testavimo vykdymas – pabaigoje (iteracijos, projekto) • tampa projekto kritinio kelio dalimi • negalima atidėlioti/uždelsti

  10. Testavimo vykdymo ypatumai • Gali užimti tik mažesniąją dalįvisų testavimo veiklų (pvz., iki 40%) • Vykstaprojekto/iteracijospabaigoje • Turi būti atliktas kaip įmanoma greičiau • Daug (skolintų) resursų • Ilgos darbo valandos • Daug dėmesio iš programuotojų, vadovybės • Dažnai siekiama “apkarpyti”

  11. Kas vykdo testavimą? • Priklauso nuo testavimo lygmens

  12. Kas vykdo testavimą? • Dažnai prireikia papildomų resursų • Potencialūs kandidatai: • Testavimo komandos nariai • Programuotojai • Naudotojai • Dokumentuotojai, mokymų vadovai, palaikymo komandos nariai • Naujokai (pvz., studentai)

  13. Kas vykdo testavimą? • Apie naujokus: • Galima sugaišti daugiau laiko apmokymui, nei bus sutaupyta jiems vykdant testus • Jei galim sau tą leisti, tai geras būdas jiems kuo greičiau įsijungti į komandą • Jei TA aiškiai aprašyti, naujokų įvedimo kaštai bus mažesni • Naujokai ypatingai tinka usability testavimui

  14. Pasikartojam  • Kas yra testavimo vykdymas? • Kokios veiklos atliekamos? • Kur testavimo procese yra t.vykdymas? • Kada pradėti t.vykdymą? • Kas vykdo testavimą?

  15. Kokia tvarka vykdyti testus? • Prioritetai • Baziniai (smoke), regresiniai testai • Ar sistema apskritai “nesulūžo”? • Jei rinkinys didelis ir neautomatizuotas – hmm... • Testai, susiję su didžiausiomis rizikomis • Jei testuojam pakeitimą – pakeitimo logika ir susijusios sritys

  16. TA rašymas vykdymo metu • Pradinis TA rinkinys nebūna pakankamas • Vykdymo metu sužinoma daugiau apie sistemą  atsiranda idėjų naujiems TA • Nauji TA paprastai įvykdomi, bet neužrašomi (laiko trūkumas, ne ta proceso fazė) • Nauji TA paprastai vertingi • Reikėtų užrašyti. Tikslas – geresnis testų rinkinys ilguoju laikotarpiu

  17. TA rezultatų fiksavimas • Sėkmingas/nesėkmingas? • Nesėkmingas: • Problemos aprašymas prie TA • Vienas ar keli defektai (incidentai) • Nuoroda į defektą/defektus • Statistika

  18. Defektų registravimas • Aptartas praeitą paskaitą  Dar: • Kas registruoja defektus? • Tas, kas randa: naudotojas, testuotojas, programuotojas... • Testavimo žurnale – tik defekto radimo faktas • Patys defektai registruojami defektų (incidentų) valdymo sistemoje

  19. Testavimo žurnalas (log) • IEEE 829 Software Test Documentation • Kas, kokia tvarka vykdė TA, koks rezultatas • Pvz. šablonas: • ID • Laikas • Veiklos ir įvykių aprašas

  20. Testavimo žurnalas • Pvz.:

  21. Testavimo žurnalas • Sėkmingas tik tada, kai žmonės nori jį pildyti • Žmonės nenori pildyti, jei: • Nepatogu • Nematoma nauda • Tikslas – dalintis informacija • Duomenų analizė neatliekama • Geriausia – rašyti laisva forma • Detalių nereikia, jos pateikiamos kitur

  22. Pasikartojam  • Testų vykdymo tvarka • TA rašymas vykdymo metu • Defektų registravimas • Testavimo žurnalo pildymas

  23. Testavimo ataskaitos • Tikslas – priimti sprendimus: • Testavimo eigoje (progresas, poreikiai) • Testavimo pabaigoje (ar tikrai baigti)

  24. Testavimo ataskaitos • Testavimo būsenos ataskaita: • Pasiekti tikslai • Defektų skaičius, kritiškumas, pasiskirstymas • Pasiektas padengimas: • Testavimo atvejų • Kodo • Reikalavimų

  25. Testavimo ataskaitos • Testavimo būsenos ataskaitos pvz.:

  26. Testavimoataskaitos • Testavimo būsenos ataskaitos interpretavimas • Įvykdyta 81% TA • TA nelygiaverčiai: • Vykdymo laiko požiūriu • Padengiamo funkcionalumo požiūriu

  27. Testavimo ataskaitos • Testavimo apibendrinimo ataskaita (test summary report) • Tikslas: • Apibendrinti testavimo rezultatus • Pateikti įvertinimą • Pateikti rekomendacijas dėl PĮ išleidimo

  28. Testavimo ataskaitos • Testavimo apibendrinimo ataskaitų turėtų būti tiek, kiek yra testavimo planų Bendras testavimo planas Bendra t. apibendrinimo ataskaita Modulių/integracijos testavimo planas Sistemos testavimo planas Priėmimo testavimo planas Modulių/integracijos t. apibendrinimo ataskaita Sistemos testavimo apibendrinimo ataskaita Priėmimo testavimo apibendrinimo ataskaita

  29. Testavimo ataskaitos • Testavimo apibendrinimo ataskaita: • Rašoma testavimo pabaigoje • Yra kritiniame PĮ išleidimo kelyje  norisi apsieiti • Jei duomenys renkami visąlaik, parengimas užtrunka neilgai • Leidžia išvengti testavimo plano atnaujinimo: • Pokyčiai įrašomi ataskaitoje

  30. Testavimo ataskaitos • Testavimo apibendrinimo ataskaitos struktūra pagal IEEE 829: • ID • Santrauka • Nukrypimainuoplano • Išsamus įvertinimas • Rezultatų santrauka • Įvertinimas • Veiklų santrauka • Patvirtinimai (Approvals)

  31. Testavimo apibendrinimo ataskaita • ID – dokumento identifikacinis numeris • Santrauka: • Kokios veiklos buvo vykdomos, kokiosversijostestuotos, kokioseaplinkose… • Nuorodosį testavimo planą, testavimo procedūras, testavimo atvejus... • Nukrypimai: • Kas buvo planuota vs. Kas buvo testuota

  32. Testavimo apibendrinimo ataskaita • Išsamus įvertinimas: • Įvertinamas testavimo išsamumas lyginant su testavimo plane nurodytais kriterijais (testų, reikalavimų, kodo padengimu) • Aprašomos nepakankamai ištestuotos PĮ savybės, naujos rizikos • Pateikiamos testavimo efektyvumo metrikos ir jų interpretavimas

  33. Testavimo apibendrinimo ataskaita • Rezultatų santrauka: • Išspręstų incidentų sprendimo santrauka • Neišpręstų incidentų sąrašas • Defektų metrikos

  34. Testavimo apibendrinimo ataskaita • Įvertinimas: • Kiekvieno testavimo aspekto įvertinimas, apribojimų pateikimas • Paremtas testavimo rezultatais ir testavimo planu • Pvz.: • “Sistema negali palaikyti > 100 naudotojų vienu metu” • “Našumas sulėtėja iki X, jei užklausų skaičius viršija Y” • Sistemos kritinio trikio tikimybė yra Z

  35. Testavimo apibendrinimo ataskaita • Veiklų santrauka: • Pagrindinių veiklų ir įvykių, resursų naudojimo santrauka • Naudinga ateities testavimo planavimui • Patvirtinimai: • Ataskaitą patvirtinančių asmenų vardai, pareigos • Parašai ir patvirtinimo datos • Idealiu atveju tai testavimo planą tvirtinę asmenys • Patvirtinama, kad sutinkama su ataskaitos turiniu • Esant smulkių nesutarimų, pasirašoma, bet pateikiamos pastabos

  36. Pasikartojam  • Testavimo ataskaitos: • Tikslas • Kiek reikia ataskaitų • Testavimo būsenos ataskaita • Testavimo apibendrinimo ataskaita

  37. Kada baigti testavimo vykdymą? • Pagal planą numatytą dieną? • Apibrėžta testavimo išėjimo kriterijuose • Dažnai prireikia papildomų žinių ir intuicijos 

  38. Kada baigti testavimo vykdymą? • Kai naujų defektų skaičius ženkliai sumažėja • Kai naujų kritinių defektų skaičius ženkliai sumažėja

  39. Kada baigti testavimo vykdymą? • Kartais: • pasibaigus resursams • atėjus terminui • Pvz.: • Puiki PĮ, bet per vėlai: kol pasiekė norimą kokybę, visi jau įsigijo konkurentinį produktą

  40. Klausimai ir idėjos

More Related