Test och kvalitetssäkring i Ladok3

1. Test och kvalitetssäkring i Ladok3 • Lisa Eliasson, Testsamordnare • Göran Kero, Testarkitekt • 2012-09-25

2. Vilka är vi? • Lisa Eliasson • Testsamordnare, Utforskande tester, Ladok3-projektet • Kravsamordnare, Ladokkonsortiet • Ladokansvarig, Högskolan Dalarna • Göran Kero • Testarkitet, Ladok3-projektet • ITS, Umeå Universitet

3. Agenda • Testöversikt Ladok3 • Verksamhetstester • Testmiljöer, införandestöd och integration • Lärosätenas delaktighet • Frågor och diskussion

4. Hur arbetar Ladok3-projektet med kvalitet? • Syfte • Stödja utveckling  Utvärdera produkten • Förebyggande  Hitta buggar • Bygga rätt produkt  Bygga produkten rätt • Fokus • Verksamhet  Teknik • Ansats • Verifiera  Utforska • Mottagare • Produktion  Förvaltning

5. Olika typer av test i Ladok3

6. Testöversikt Ladok3 Verksamhetsfokus Utvärdera produkten Stödja utvecklingen Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

7. Testöversikt Ladok3 Verksamhetsfokus Utvärdera produkten Stödja utvecklingen Enhetstester Interna integrationstester (Test-driven utveckling) Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

8. Enhetstester • Vem? • Utvecklingsteam • När? • Ständigt vid utveckling • Hur? • Automatiska tester (JUnit) • Perspektiv? • Tekniskt • Varför? • Stödja utveckling • Testa produktens beståndsdelar

9. Interna integrationstester • Vem? • Utvecklingsteam • När? • Kontinuerligt • Växer i takt med produkten • Hur? • Automatiska tester • Perspektiv? • Tekniskt helhetsperspektiv • Varför? • Stödja utveckling • Säkerställa att produktens delar hänger ihop

10. Testöversikt Ladok3 Verksamhetsfokus Cucumbertester (Prototyper) (Beteende-driven utveckling) Utvärdera produkten Stödja utvecklingen Enhetstester Interna integrationstester (Test-driven utveckling) Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

11. Cucumbertester • Vem? • Områdesproduktägare/domänexperter tillsammans med utvecklingsteam • När? • Vid domänanalys (detaljering av krav) • Hur? • Exempel formulerade i klartext • Implementeras som automattester av utvecklingsteam • Perspektiv? • Verksamhet (krav) • Varför? • Säkerställa rätt funktionalitet • Tydliggöra kraven • Stöd vid förändring

12. Testöversikt Ladok3 Verksamhetsfokus Utforskande tester Användbarhetstester Acceptanstester Cucumbertester (Prototyper) (Beteende-driven utveckling) Utvärdera produkten Stödja utvecklingen Enhetstester Interna integrationstester (Test-driven utveckling) Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

13. Utforskande tester • Vem? • Verksamhetstestare • Utvecklingsteam • När? • Kontinuerligt • Hur? • Manuella funktionella tester • Planeras och dokumenteras strukturerat • Perspektiv? • Verksamhet • Varför? • Utvärdera produkten • Hitta buggar

14. Användbarhetstester • Vem? • Verksamhetsrepresentanter tillsammans med användbarhetsexpert • När? • Vid utvalda tillfällen • Hur? • Användargrupper • Perspektiv? • Verksamhet • Varför? • Tidigt bedöma om produkten är användarvänlig och uppmärksamma brister i användbarhet

15. Acceptanstester • Vem? • Mottagande förvaltning/lärosäten (i samarbete med projektet) • När? • Innan leverans till förvaltning • Hur? • Manuella tester • Tvärsnitt av fullskalig produktion • Perspektiv? • Verksamhet • Varför? • Bedöma om produkten håller tillräckligt hög kvalitet för leverans • Produktion och förvaltning

16. Testöversikt Ladok3 Verksamhetsfokus Utforskande tester Användbarhetstester Acceptanstester Cucumbertester (Prototyper) (Beteende-driven utveckling) Utvärdera produkten Stödja utvecklingen Icke-funktionella tester (Prestanda, säkerhet etc) Test mot externa system Leveranstester Enhetstester Interna integrationstester (Test-driven utveckling) Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

17. Icke-funktionella tester (ex prestanda, säkerhet, installerbarhetetc) • Vem? • Utvecklingsteam • Specifik testkompetens • När? • Delvis kontinuerligt • Delvis vid behov/”när det är klart” • Hur? • Tekniska tester, till stor del med verktygsstöd • Perspektiv? • Tekniskt • Varför? • Minimera risken för allvarliga incidenter

18. Test mot externa system • Vem? • Utvecklingsteam i samarbete med ansvariga för det externa systemet • När? • Då den aktuella kopplingen är tillräckligt klar • Vid behov (ex förändringar på någon sida) • Hur? • Simulering av verkligheten • Perspektiv? • Tekniskt/verksamhet • Varför? • Säkerställa att produkten fungerar tillsammans med sin omvärld

19. Leveranstester • Vem? • Utvecklingsteam (CM/Sysadmin/DBA) • När? • Vid release av ny version • Hur? • Automatiska och manuella tester • Perspektiv? • Tekniskt • Varför? • Upptäcka om någon kritisk funktion fallerar

20. Testöversikt Ladok3 Verksamhetsfokus Cucumbertester (Prototyper) (Beteende-driven utveckling) Utforskande tester Användbarhetstester Acceptanstester Utvärdera produkten Stödja utvecklingen Icke-funktionella tester (Prestanda, säkerhet etc) Test mot externa system Leveranstester Enhetstester Interna integrationstester (Test-driven utveckling) Tekniskt fokus (Brian Marick’sAgileTestingQuadrant – fritt översatt med vissa justeringar)

21. Utforskande tester A program is a collection of opportunities for things to go wrong

22. Utforskande tester • För att utvärdera produkten • Som ett komplement till alla andra tester • Används för att hitta fel som inte hittas med vanliga maskinella tester.

23. Utforskande tester • Man testar inte samma sak på riktigt samma sätt två gånger • Testfall som utvecklas hela tiden • Testarna uppfinner sina testfall – utifrån givna ramar

24. Utforskande tester • Utförs av testare från den verksamhet som ska använda systemet. • Vi kan testa STORT och vi kan testa smått • Vi kan testa brett eller smalt • Vi kan testa funktion eller upplevelse

25. Ytterligare tester • Test av informationskonverterare • I samarbete med införandeprojektet • Test av integrationer hos lärosäten • Tillhandahålla ändamålsenliga testmiljöer • Testdata av god kvalitet • Stötta lärosätenas tester • Samla generella (återkommande) spörsmål • Bidra till samverkan

26. Projektets interna testmiljöer • Kontinuerlig integration • Intern test inom sprintar • Sprintdemo • Verksamhetstester • Test av informationskonvertering • Prestandatester

27. Externa testmiljöer • Utvärderingsmiljö för REST-tjänster • Hösten 2012 • MIT – Migrerings- och integrationstestmiljö • Fr o m våren 2013 • Test av lärosätenas integrationer • Informationskonvertering • Acceptanstestmiljö

28. Leveranser

29. FRÅGOR? Lisa Eliasson, lisa.eliasson@du.se Göran Kero, goran.kero@adm.umu.se