1 / 49

Dominique Portmann, Leiter Testengineering

Dominique Portmann, Leiter Testengineering. Wie entscheiden Sie ?. NoGo. Go. Das kennen Sie sicher:. …und das ?. Und Sie leiten Projekte ?. Und, wie entscheiden Sie , was brauchen Sie zum Entscheiden ?. Was brauchen Sie zum entscheiden?. Wie ist das Testen organisiert.

lynsey
Download Presentation

Dominique Portmann, Leiter Testengineering

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Dominique Portmann, LeiterTestengineering WieentscheidenSie? NoGo Go

  2. Das kennen Sie sicher:

  3. …und das ?

  4. Und Sie leiten Projekte ? Und, wieentscheidenSie,was brauchenSiezumEntscheiden?

  5. Was brauchen Sie zum entscheiden?

  6. Wie ist das Testen organisiert

  7. Die 3 Schlüssel zum Erfolg Testmanager Prozess Test-Tool(s)

  8. Situation heute (erlebte Praxis) Tools gibt es wie Sand am Meer… Prozesse sind (meist) vorhanden, Doch die Schlüsselrolle des Testmanagers wir verkannt.Testen kann jede und jeder.Wenig definierte Rollen, Testen ist oft ein „Anhängsel“

  9. Wo investieren Manager Ideal, da Preisschild und einmalige Investitionen, keine Belastung für Personalbudget. Tool-Hersteller versprechen Nutzen, alle haben Tools. Tools sind Sache der IT und sind geeignete „Sündenböcke“. Prozesswissen vorhanden, teilweise als „Methode“ verstanden.Geschäftsprozesse belasten nicht das Projektbudget. Hype ist ein muss: ITIL, CMMI, RUP, SCRUM, Agile, V-Modell, W-Modell. Personen kosten, nur Entwickler sind wichtig, sie setzen die versprochenen Anforderungen in Code um.Testen können am Schluss die künftigen Anwenderinnen und Anwender.

  10. Wie wird investiert ? Tools kosten wenig und versprechen einen grossen Nutzen. Hier argumentieren die Hersteller - managementtauglich. Es wird gerne und viel investiert. Investitionen erübrigen sich, da Prozesse ja nur „gemalt“ werden müssen. Firmenweite Prozessdokumentationen übersteigen ein Projektbudget. Es wird weder aktiv investiert, noch aktiv gespart. Personalkosten sind ungern gesehene Budgetposten. Was geschieht nach dem Projekt- und damit Budget- Ende ? Personalbeschaffung übersteigt oft die Budgetkompetenz von Projektleiter. Hier wird selten investiert, aber sehr schnell gespart.

  11. Was geht beim Sparen schief? Nicht optimal konfiguriert, nicht an Unternehmung (Prozess, Kultur) angepasst.nicht gepflegt, nicht gewartet und dafür den Projektfortschritt verpasst Viele Leichen Passen nicht auf aktuelle Abläufe, sind zu starr. Werden nicht verbessert und nicht gepflegt. Prozesse unterstützen nicht, sondern „behindern zügiges Arbeiten“. unbenutze Ordner es fehlt: - das Aktive- die Verantwortlichkeit- die Führung

  12. Doch zurück zu Ihrem Entscheid: SiebrauchenEntscheidungskriterien:Kennzahlen, basierend auf einemProzess

  13. Prozess: Noser Way of Testing

  14. Der Prozess für Manager Analysieren Vorbereiten Durchführen Auswerten Schnell eine Übersicht schaffen,wichtiges zuerst Mit Kennzahlennachweisbarbelegen „Definition ofdone“,Überprüfbarkeit,Abläufe definieren, Übersicht schaffenErfassen der Komplexität sowie des Umfangs Um wasgeht es GenügendAbdeckung, relevanteTests, Fortschritt Wertfrei,faktenbasiert,reproduzierbar,Nachweis (Haftung) Schnell sog. Blockeridentifizieren,Abdeckung sicherstellen,Testfortschritt Risiko, Kosten,Umfang Attention Frage Wagen wir es ? Kosten / Nutzen Sind wir bereit ? Ist es reif ?

  15. Einleitung, Schritt I

  16. Analysieren Schritt I: Kosten Nutzen • Was kann passieren im Fehlerfall • Frage der Haftung • Wie lange „lebt“ das Produkt • In welchem Umfeld wird es eingesetzt • Wie „komplex“ ist das Produkt • Was kostet das Produkt • Gibt es Gesetze, Normen, Vorschriften

  17. Das Risiko Welche Folgen sind möglich - Menschenleben- Gesundheit- Finanzielle Auswirkungen- Reputation Komplexität- Vernetzte Systeme- neue (unbekannte) Technologie- Vairanten und Kombinationen Auffindbarkeit- wie lange bleibt ein Fehler / Fehlverhalten unerkannt

  18. Risiko

  19. Die Strategie

  20. Testen vers. Experimentieren Testen unterscheidet sich von Experimentieren dadurch, dass es beim Testen eine Erwartung gibt die belegt werden soll,während das Ergebnis beim Experimentieren offen istoder nur vermutet werden kann.

  21. Analysieren Cockpit für Schritt I • Strategie • Risikoanalyse • Testorganisation • Testinfrastruktur ErwarteteTestCases AnzahlUseCases Faktor 3 20 60

  22. Wie bestimme ich den „Faktor“ Faktor 3

  23. Vorbereiten Einleitung Schritt II „Tester“ und „Q-Menschen“ sind nie bereit, sie können die Testvorbereitungsowie die Testinfrastrukturproblemlos vergolden.

  24. Wann sind wir bereit ? Fortschritt: - Wieviele Testszenarien und Testfälle fälle sind zu erwarten - Wieviele Testszenarien und Testfälle sind bereits erstellt - Wie lange dauert die Vorbereitung nochAbdeckung: - Welche UseCases sind bereits mit Tests abgedeckt, Traceability Schlüsselfragen für die Führung:einfach: - entspricht der Fortschritt dem Zeitverlauf, der Restzeitgenau: - entspricht die Reihenfolge des Erstellens dem RPI

  25. Die Abdeckung 1/2 Anforderungen Es existieren Tests für: • Sind die weissen Flecken unkritisch • Entspricht der Fortschritt dem Risiko • Ist der gelbe Teil der kritischste ? • Ist der rosa Teil unkritisch ?

  26. Die Abdeckung 2/2 100 % 100% des Funktionsumfang 10 % 10 % 10 % 30% erste Testiteration 10 % 10 % 15 % 10 % 45%: 15% Neu, 30% Retest 10 % 10 % 15 % 35%: 25% Neu, 10% Retest 50 % 10 % 60%: 10% Neu, 50% Retest 90 % 10 % 90% getestet, 10% ungetestet

  27. Wie beurteilen?

  28. Es beginnt mit den Anforderungen

  29. Vorbereiten Cockpit für Schritt II

  30. Durchführen Schritt III: „Testen“ Die Praxis zeigt immer wieder,dass „von Hand gepflegte“ Systemein kritischen Momenten nicht mehr gepflegt werden,denn Testen geht immer vor. Doch genau dann sind Kennzahlen als Entscheidungsbasis besonders wichtig!

  31. Wann ist es reif ? Fortschritt: - Wieviele Tests / Testszenarien stehen zur Verfügung - Wieviele Tests / Testszenarien konnten getestet werden - Wieviel konnte erfolgreich getestet werden - Wieviele Testfälle sind noch zu testen - Wie lange dauern die Tests noch

  32. Wann ist es reif ? Reifegrad: - Summe aller Fehler (pro Fehlerklasse) - Summe der offenen Fehler (pro Fehlerklasse) - Anzahl der erfolgreich getesteten UseCases

  33. Durchführen Cockpit für Schritt III

  34. Details zu Cockpit

  35. Details zu Cockpit Werden Fehler gefunden,flacht die Kurve ab?

  36. Details zu Cockpit Hat es noch offene Fehler?(Pro Klasse)

  37. Details zu Cockpit

  38. Beobachtungshilfe für Fehler Fehlerauswirkung, Schweregrad (Severity) -1- Low: leichter Fehler, betrifft einzelnen Testschritt, Funktion bleibt im Wesentlichen gewährleistet -2- Medium: Betriebsstörender Fehler, Systemfunktion nicht beeinträchtigt Wesentliches funktioniert, wenn auch eingeschränkt -3- High: Schwerer Fehler, Auswirkungen auf Funktion, keine Auswirkung auf andere Funktionen / Systeme -4- Urgent: Fataler Fehler, Auswirkung auf ganzes System, Testabbruch Beobachtungsgüte / Reproduzierbarkeit -A- Eindeutig festgestellter, belegbarer und reproduzierbarer Fehler -B- Nicht ohne weiteres reproduzierbar, aber wiederholt aufgetreten -C- Nicht reproduzierbar 39/

  39. Das Verwalten von Fehler

  40. Auswerten Schritt IV: die Auswertung WieentscheidenSie,oder: Was beeinflusst den Entscheid?

  41. Auswerten Schritt IV: die Auswertung „Gutes Testen“ unterscheidet sich von„schlechtem Testen“ dadurch, dass bei „gutem Testen“ nocheine Aussage möglich ist,wie gut das Objekt die Anforderungen erfüllt.

  42. Auswerten Schritt IV, die Auswertung • Testdokumentation nach Normen, z.B. ANSI/IEEE 829 • Kennzahlen • Protokolle • Empfehlung (Auf Basis der Vorgaben / Erwartung)

  43. Geeignete Darstellungen Abdeckung: offene Fehler: RISIKO 1 0 2 0 3 Max 1 low 4 Max 1 low plus 3 Medium 5 Max 3 low plus 10 Medium

  44. Auswerten Schritt IV, die Auswertung Ehrlich: Können Siejetzt, d.h. in Schritt 4noch überrascht sein ?

  45. Überraschungen unmöglich! Jederzeit aktuelleInformationensowie die Übersicht dank Cockpit Erwartetes Resultatgemäss Anforderung

  46. Argumentationshilfen für‘s Testing

  47. weitere Argumente

  48. Zusammenfassung • Welches Risiko will ich tragen -> Strategie, Tiefe, Umfang, Kosten • Ist das Testen bereit -> Wird das Richtige vorbereitet • Wie reif ist es -> Abdeckung, Anzahl Fehler • Go oder NoGo -> faktenbasiert, reproduzierbar

More Related