Test et Validation du Logiciel

1. Test et Validation du Logiciel McInfo4_OMGL Validation Janvier 2008 Patrick FELIX patrick.felix@labri.fr IUT – Bordeaux 1

2. Plan prévisionnel 0. Pourquoi de la VVT ? 1. Introduction à B 2. Eléments de bases de la méthode B 3. Substitution généralisée 4. Machine abstraite 5. Raffinement 6. Implantation

3. Introduction : Pourquoi de la VVT ? VVT : Validation, Vérification & Test des logiciels

4. Des bogues, des conséquences désastreuses… • Banque de New York [21 novembre 1985] : pertes financières énormes • Le Therac-25 [juillet 1985 ->avril 1986] : 3 morts • Le crash d'AT&T [15 janvier 1990] : pertes financières énormes + la réputation d'AT&T entachée. • Le Pentium [juin 1994] : pertes financières énormes + psychose • Ariane 5-01 [4 juin 1996]

5. Ariane 5-01 (4 juin 1996) Le 23 juillet, la commission d'enquête remet son rapport : La fusée a eu un comportement nominal jusqu'à la 36ème seconde de vol. Puis les systèmes de référence inertielle (SRI) ont été simultanément déclarés défaillants. Le SRI n'a pas transmis de données correctes parce qu'il était victime d'une erreur d'opérande trop élevée du "biais horizontal" . . . Les raisons : 1 Un bout de code d’Ariane IV (concernant le positionnement et la vitesse de la fusée) repris dans Ariane V 2 il contenait une conversion d’un flottant sur 64 bits en un entier signé sur 16 bits 3 pour Ariane V, la valeur du flottant dépassait la valeur maximale pouvant être convertie 4 ) défaillance dans le système de positionnement 5 ) la fusée a “corrigé” sa trajectoire 6 ) suite à une trop grande déviation, Ariane V s’est détruite !

6. Le coût d’un Bogue ? • Coût du bogue de l’an 2000 ? • Quelques chiffres avancés : 300, 1600 ou même 5 000 milliards de dollars • Quel impact ? • Sécurité des personnes, • Retour des produits, • Relations contractuelles, • Notoriété, image, • …  Nécessité de « vérifier » certains logiciels/systèmes

7. Nécessité de VVT Comment effectuer de telles vérifications : Utilisation de méthodes formelles • Test • nécessaire : permet de découvrir des erreurs • pas suffisant : prouve la présence d’erreurs, pas leur absence ! • Démonstration automatique • exhaustif • mise en œuvre difficile • Model-checking • exhaustif, partiellement automatique… • mise en œuvre moins difficile (modèle formel+formalisation des propriétés) 1, 2 et 3 sont des méthodes complémentaires : • Test : non exhaustif mais facile à mettre en œuvre (bon rapport qualité/temps) • Démonstration automatique : exhaustive mais considérée comme trop coûteux • Model-checking : un compromis (?)

8. Sans méthodes formelles : • Coût des tests : 50 à 60% du coût total, voire 70% ! • Interprétation(s) des termes usuels (-> utilisation d’UML) • Ambiguïté des méthodes semi-formelles (# sémantiques UML). • Maîtrise difficile de certains types de programmations [événementielle / parallèle / …] • Maintenance évolutive difficile

9. Tendances actuelles ~ Méthodes formelles et certification • Méthodes formelles : • Test, Démonstration automatique, Model-checking • Politique de certification • Certains niveaux de certification exigent des méthodes formelles • Obligation de certification • Grandes entreprises • Application à risques • Sous-traitance

10. Test & Validation dans les méthodes formelles • Objectif ~ Pouvoir raisonner sur les logiciels et les systèmes afin de : • Connaître leurs comportements • Contrôler leurs comportements • Tester leurs comportements. • Moyen ~ Les systèmes sont des objets mathématiques. • Processus : • Obtenir un modèle formel du logiciel ou du système. [Si la taille le permet, le modèle peut être le logiciel ou le système] • Analyser le modèle formel par une technique formelle. • Générer des test par une technique formelle • Transposer les résultats obtenus sur les modèles aux logiciels et systèmes réels. • Problèmes de l'approche : • Le modèle est-il fidèle ? Validition. • Peut-on tout vérifier ? Décidabilité. • Peut-on tout tester ? Testabilité. • La transposition des résultats est-elle toujours possible ? Abstraction. • Le test est-il correct ? Le test est-il exhaustif ?

11. 1. Introduction à B

12. Historique • B pour Bourbaki • 1978 : notation Z (Jean-Raymond Abrial) • 1991 : les premiers pas de la méthode B (J-R Abrial) • 1995 : industrialisation de la méthode B L’exemple industriel Météor • RER • Plus de 1000 composants B (>100 000 lignes de B) • 87 000 lignes de code ADA générées • 29 000 preuves (dont plus de 80% automatique) • Opérationnel depuis 1998, aucune anomalie depuis !

13. Méthode Fondements mathématiques avec un cadre homogène pour tout le cycle de développement (analyse, conception et réalisation) Approche : Raffiner le modèle initial d'une machine abstraite (sa spécification) en un module exécutable (son code). Validation basée sur des preuves : • Preuve de la spécification de chaque opération. • Preuve du raffinage d'une machine en une autre. Langage de modélisation : • Abstraction du système • Changement d’états du système • Spécification des invariants du système (à vérifier)

14. Exemple de machine abstraite MACHINEréservation(max_siège) VARIABLES siège INVARIANT siège 0..max_siège INITIALISATION siège:=max_siège OPERATIONSréserver ≙ PRE siège >0 THENsiège := siège-1 END; annuler ≙ PRE siège <max_siège THENsiège := siège+1 END; END

15. 2. Eléments de bases de la méthode BEnsemble, Relation & Fonction, Entier, Suite, Substitution (simple / multiple)

16. Ensemble (notation ASCII) e1 et en représentent des expressions quelconques (entiers, ensembles,...) Id représente un identificateur n1 et n2 sont des expressions qui représentent des entiers {} Ensemble vide NAT Ensemble des entiers NAT1 Ensemble des entiers non nuls {e1,...,en} Ensemble des éléments e1,...,en (définition par extension) {Id | Prédicats} Ensemble défini par compréhension (n1..n2) Ensemble des entiers compris entre n1 et n2

17. Ensemble (notation ASCII) E, E1 et E2 représentent des ensembles. POW(E) Ensemble des parties de E POW1(E) Ensemble des parties non vides de E E1 * E2 Produit cartésien E1 \/ E2 Union des ensembles E1 et E2 E1 /\ E2 Intersection des ensembles E1 et E2 E1 - E2 Ensemble des éléments de E1 qui ne sont pas dans E2

18. Formule élémentaire (notation ASCII) e,e1 et e2 représentent des expressions quelconques (entiers, ensembles,...) n1 et n2 sont des expressions qui représentent des entiers E, E1 et E2 représentent des ensembles. e1=e2 n1>n2 n1<n2e1 /= e2 n1 >= n2 n1 <= n2 No comment ! e:EL'expression e est un objet de l'ensemble E (appartenance) e/:EL'expression e n'est pas un objet de l'ensemble E E1 <: E2E1 est un sous-ensemble de E2 (inclusion) E1 /<: E2E1 n'est pas un sous-ensemble de E2. E1 <<: E2E1 est un sous-ensemble strict de E2 (inclusion stricte). E1 /<<: E2E1 n'est pas un sous-ensemble strict de E2.

19. Formule composée (notation ASCII) F, F1 et F2 représentent des formules. not(F) négation F1 & F2 conjonction F1 or F2 disjonction F1 => F2 implication F1 <=> F2 équivalence # var . F quantification existentielle ! var . F quantification universelle

20. Relation (notation ASCII) E, E1 , E2 et E3 représentent des ensembles. R, R1 et R2 représentent des relations. E1 <-> E2 Ensemble des relations entre éléments de E1 et de E2 dom(R) Le domaine de la relation R ran(R) L'image de la relation R (codomaine ou range) R[E] L'image de l'ensemble E par la relation R R1 ; R2 Composition des relations R1 et R2 id(E) Relation identité sur l'ensemble E R~ Relation inverse de R Exemple : E1={a,b,c} E2={A,B,C} R1:E1<->E2 R1={(a,A),(a,B),(b,B)} = {a|->A,a|->B,b|->B} E3={x,y,z} R2:E2<->E3 R2={(A,x), (A,y), (B,y), (C,z)} Donnez dom(R1), ran(R1), R1[{b,c}], R1;R2 et R1~.

21. Exemple (solution) R1 R2 a A x b B y c z C E1 E2 E3 E1={a,b,c} E2={A,B,C} E3={x,y,z} R1:E1<->E2 R1={(a,A),(a,B),(b,B)} = {a|->A,a|->B,b|->B} R2:E2<->E3 R2={(A,x), (A,y), (B,y), (C,z)} dom(R1)={a,b} ran(R1)={A,B} R1[{b,c}]={B} R1;R2={(a,x),(a,y),(b,y)} R1~={(A,a),(B,a),(B,b)} Donnez dom(R2), ran(R2), R2[{A}] et (R2~);(R1~).

22. Exemple - solution R1 R2 a A x b B y c z C E1 E2 E3 Donnez dom(R2), ran(R2), R2[{A}] et (R2~);(R1~). dom(R2)={A,B,C} ran(R2)={x,y,z} R2[{A}]={x,y} R1~={(A,a),(B,a),(B,b)} R2~={(x,A),(y,A),(y,B),(z,C)} (R2~);(R1~)={(x,a),(y,a),(y,b)}

23. Relation (notation ASCII) R1 a A b B c C E1 E2 E représente un ensemble R représente une relation E <| R Restriction de la relation R au domaine E Exemple: {b,c}<|R1={b|->B} R |> E Restriction de la relation R à l'image E Exemple: R1|>{B,C}={a|->B , b|->B} E <<| R Anti-restriction de la relation R au domaine E Exemple: {b,c}<<|R1={a|->A , a|->B} R |>> E Anti-restriction de la relation R à l'image E Exemple: R1|>>{B,C}={a|->A }

24. Fonction (notation ASCII) E, E1 et E2 représentent des ensembles. E1 +-> E2 l'ensemble des fonctions partielles de E1 dans E2 • {R | R  E1 <-> E2  x,y,z • (((x ↦ y)  R  (x ↦ z)  R)  y = z)} E1 --> E2 l'ensemble des fonctions totales de E1 dans E2 • {R | R  E1 +-> E2 dom(R) = E1} E1 >+> E2 l'ensemble des fonctions partielles injectives de E1 dans E2 • {R | R  E1 +-> E2  R-1 E2 +-> E1} E1 >-> E2 l'ensemble des fonctions totales injectives de E1 dans E2 • (E1 >+> E2) ∩ (E1 --> E2)

25. Fonction (notation ASCII) E, E1 et E2 représentent des ensembles. E1 +->> E2 l'ensemble des fonctions partielles surjectives de E1 dans E2 • {R | R  E1 +-> E2 ran(R) = E2} E1 -->> E2 l'ensemble des fonctions totales surjectives de E1 dans E2 • (E1 +->> E2) ∩ (E1 --> E2) E1 >+>> E2 l'ensemble des fonctions totales bijectives de E1 dans E2 • (E1 >-> E2) ∩ (E1 -->> E2) E1 >->> E2 l'ensemble des fonctions partielles bijectives de E1 dans E2 • (E1 >+> E2) ∩ (E1 +->> E2)

26. Substitution simple / multiple x, x1,...,xn sontdes variables distinctes, et e, e1,...,en des expressions quelconques x := e Substitution simple (une affectation) x1,...,xn := e1,...,en Substitution multiple

27. Suite (ou séquence) s1, s2 représentent des séquences et e, e1,...,en des expressions quelconques seq(E) L'ensemble des séquences finies d'objets de E <> La séquence vide [e] La séquence réduite à un élément e [e1,...,en] La séquence formée des n éléments e1,...,en s1 ^ s2 La concaténation des séquences s1 et s2 e -> s L'ajout de e au début de la séquence s s <- e L'ajout de e à la fin de la séquence s first(s) last(s) Le premier/dernier élément de la séquence non-vide s tail(s) front(s) La séquence non-vide s privée de son premier/dernier élément size(s) La taille de la séquence s

28. Calculez sur l’exemple: 1 a 2 b 3 c 4 d 5 e R S={2,3,5} E1 E2 • S<|R • dom(R) • dom(R)-S • ran(R) • ran(S<|R) • R|>> ran(S <|R) • dom(R|>>ran(S<|R)) • (E1-S-dom(R|>>ran(S<|R))) • ran(S<<|R) • (ran(S<|R)/\ran(S<<|R)) • Sxran(R) • S<<|R • R-(S<|R) • (dom(R)-S)<|R • R-(Sxran(R)) • (R|>>ran(S<|R))\/((E1-S-dom(R|>>ran(S<|R)))x(ran(S<|R)/\ran(S<<|R))) • (E1-S-dom(R|>>ran(S<|R)))x(ran(S<|R)/\ran(S<<|R))

29. Exercice On désire gérer des entreprises, des personnes, savoir quelles entreprises emploient quelles personnes, et quel est l’employé qui dirige chaque entreprise. Rien n’interdit à une personne de cumuler plusieurs emplois, voire même de diriger plusieurs entreprises ; par contre, certaines personnes n’ont pas d’emploi. Donnez un exemple avec 3 entreprises et 4 personnes. Proposez un schéma entités-associations.

30. Exercice (suite) Proposez une machine B en spécifiant uniquement les clauses SETS, VARIABLES, INITIALISATION et INVARIANT : MACHINE Entreprises SETS VARIABLES INITIALISATION INVARIANT

31. Exercice (suite) On veut pouvoir, sous certaines conditions que vous préciserez : • ajouter une entreprise • supprimer une entreprise • ajouter une personne • supprimer une personne (et ses emplois éventuels) autre qu’un dirigeant • ajouter un emploi entre une entreprise et une personne • supprimer un emploi • changer le dirigeant d’une entreprise Rajouter à votre machine B la spécification des opérations ci-dessus.

32. Solution

33. 3. Substitution généralisée

34. Les plus faibles préconditions Soient P et R des prédicats et S une instruction • P{S}R [Logique de Hoare ] Le prédicat R décrit le résultat de l’opération S. Le prédicat P représente un ensemble d'états tels que l'exécution de S commençant par un d'entre eux se termine en un temps fini dans un état satisfaisant R. • Exemple : S est l'affectation i:=i+1, et R le prédicat i<=1. Donnez un prédicat P vérifiant P{S}R : i<=-10, mais aussi i<-4... Parmi tous ces prédicats, le plus faible (le moins contraignant, le prédicat donnant le plus d'états...) est i<=0. Ce prédicat sera appelé la plus faible précondition de S par rapport à R. On le notera wp(S,R) pour 'weakest precondition‘.

35. Les plus faibles préconditions Exercices : • wp(i:=i + 1, i<=1) = ? i<=0 • wp(if x >= y then z:=x else z:=y, z=max(x,y))= ? Vrai Le sens de wp(S,R) peut être précisé par deux propriétés : 1- wp(S, R) est une précondition garantissant R après l'exécution de S, c'est à dire que : wp(S,R){S}R 2- wp(S, R) est la plus faible des telles préconditions, c'est à dire que : si P{S}R alors P  wp(S,R)

36. B et plus faible précondition… wp est une fonction à deux arguments : une instruction (ou programme) S et un prédicat Q. Pour un S fixé, on peut voir wp(S, Q) comme une fonction à un seul argument wpS(Q). La fonction wpS est appelé transformateur de prédicats : c'est la fonction qui associe à tout prédicat Q la plus faible précondition P telle que P{S}Q. P{S}Q  P=>wpS(Q) pour S qui termine Notation B : wpS(R) sera noté [S]R

37. [S]P Plus généralement (autrement dit): • si on interprète S comme un programme alors [S]P représente la plus faible précondition pour que après n'importe quelle exécution de S, la propriété P soit vérifiée. • [S]P est la condition initiale la plus large pour que, après avoir “exécuté” S, P devienne vrai. Le prédicat [S]P se lit : “S établit le prédicat P”. Exemple : [x := x+1] x=5  ? x = 4 Le résultat s’obtient en remplaçant x par x+1 dans le prédicat x=5.

38. Langage des substitutions généralisées Les constructions du langage pour la spécification sont des substitutions : les programmes sont mathématiquement représentés par des substitutions généralisées qui sont définies par leur action sur les prédicats. 2 remarques importantes : • Toute substitution est vue comme un transformateur de prédicat : la méthode B permet de manipuler des programmes qui sont vus comme des transformations de la mémoire. • Une substitution généralisée S est complètement déterminée (sémantique) par la définition de la formule [S]P pour une formule P arbitraire.

39. Sémantique du langage des substitutions généralisées Soit la substitution Sn:=n+3 (affectation n:=3). On a : • [n:=n+3]n>2  n>-1 • [n:=n+3]n>7  n>4 • [n:=n+3]n2>9  (n+3)2>9 Plus généralement : [n:=n+3]P(n)  Q(n) avec Q(n) obtenu en remplaçant chaque occurrence de n dans P par n+3 La connaissance de la formule [S]P pour une formule P arbitraire détermine complètement cette substitution S. => Sémantique de S

40. Sémantique du langage des substitutions généralisées Pour chaque construction (substitution) du langage, nous définirons sa syntaxe, ainsi que sa sémantique de la façon suivante : Syntaxe : x:=e Sémantique : [x:=e]P  P(e/x) où P(e/x) représente le résultat de la substitution des occurrences libres de x dans P par e (ie. ‘e renomme les x libres dans P’).

41. Substitution simple (ou affectation) Syntaxe : x:=e (cas particulier : f(x) :=y). Sémantique : [x:=e]P  P(e/x) P(e/x) représente le résultat de la substitution des occurrences libres de x dans P par e (ie. ‘e renomme les x libres dans P’). Exemple : [n:=3] n>m  ? 3>m [i:=i+1] i<=1  ? (i+1 <= 1) (i<=0)

42. Substitution simple (ou affectation) • ATTENTION ! Un même nom de variable peut avoir simultanément des occurrences libres et des occurrences liées dans une formule : n>0  n.m.m>=n Lors de la substitution [var:=E]P, il faut être attentif à ne remplacer que les occurrences libres de var dans P et de plus, il ne faut pas que les variables libres de E se retrouvent liées par des quantificateurs de P • Exemple : Soit P défini par n>0  n.m.m>n. [n:=m+1]P  ? [n:=m+1] n>0 n.m. m>n  [n:=m+1] n>0 n0.m0. m0>n0 m+1>0 n0.m0. m0>n0

43. Substitution multiple Permet de substituer de manière simultanée plusieurs variables. Soient x1 et x2 2 variables distinctes. • Syntaxe : x1,x2:=e1,e2 (se généralise sous la forme : x1,...,xn:=e1,...,en avec toutes les variables xi distinctes) • Sémantique : [x1,x2:=e1,e2]P  P(e1,e2 /x1,x2) où P(e1,…, en /x1,…xn) représente le résultat de la substitution dans P de toutes les occurrences libres de x1 par e1 et simultanément de toutes les occurrences libres de x2 par e2. Exemple : [x,y:=y,x]x=y  ? y=x

44. Opération vide Ne fait rien. • Syntaxe : skip • Sémantique : [skip]P  P Les substitutions généralisées sont formées à partir des substitutions élémentaires (substitution simple, multiple, skip) en utilisant différents combinateurs. Pour la suite, P et Q désignent des formules et S, S1 et S2 des substitutions généralisées.

45. Composition séquentielle Permet de faire une séquence de substitutions. • Syntaxe : S1;S2 • Sémantique : [S1;S2]P  [S1]([S2]P) Exemple : Calculer [x:=y;y:=x]x=y  ? [x:=y]x=x  y=y  Vrai La substitution simultanée (en particulier x,y:=y,x) n’est pas équivalente à la substitution séquentielle (x:=y;y:=x) : [x:=y;y:=x]x=y  ? [x:=y]x=x  y=y  Vrai [x,y:=y,x]x=y  ? y=x

46. Alternative • Syntaxe : IF Q THEN S1 ELSE S2 END • Sémantique : [IF Q THEN S1 ELSE S2 END]P  (Q[S1]P) /\ ( not(Q) [S2]P) Remarque : partie ELSE optionnelle. IF P1 THEN S1 END  IF P1 THEN S1 ELSE skip END Exemples : IF x ∈ { 2, 4, 8 } THEN x := x / 2 END ; IF y + z < 0 THEN y := - z ELSE y := 0 END ;

47. Garde Cette substitution généralise l’alternative sous les 2 formes suivantes : un seul choix (Si Q Alors I) ou plusieurs choix (selon Q1 faire I1, Q2 faire I2…) • Syntaxe : SELECT Q THEN S END • Sémantique : [SELECT Q THEN S END]P  (Q  [S]P) Exemple : SELECT x>0 THEN y:=y+x END Plus généralement, on aura : • Syntaxe : SELECT Q1 THEN S1 WHEN Q2 THEN S2 WHEN Q3 THEN S3 END • Sémantique: [SELECT Q1 THEN S1 WHEN Q2 THEN S2 WHEN Q3 THEN S3 END]P  (Q1  [S1]P)/\ (Q2  [S2]P) /\ (Q3  [S3]P) Q1, Q2, et Q3 n’étant pas nécessairement disjoints (non déterministe) Exemple : SELECT x ≥ 0 THEN y := x2 WHEN x ≤ 0 THEN y := - x2 END

48. Pré-condition • Syntaxe : PRE Q THEN S END • Sémantique : [PRE Q THEN S END]P  Q /\ [S]P Si Q est vrai alors l’effet de la substitution préconditionnée est celui de S, sinon on ne peut rien dire… Exemple : PRE x>0 THEN y:=y+x END

49. Choix borné (ou choix fermé) Substitution non déterministe. • Syntaxe : CHOICE S1 OR S2 OR … OR Sk END • Sémantique : [CHOICE S1 OR S2 OR … OR Sk END]P  [S1]P /\ [S2]P /\ … [Sk]P Exemple : CHOICE x1 := x1 + 1 OR x1 := x1 - 1 END

50. Choix non borné (ou choix libre) Substitution non déterministe. • Syntaxe : ANY x WHERE Q THEN S END • Sémantique:[ANY x WHERE Q THEN S END]P x (Q [S] P) Exemples : ANY x WHERE x*(x+1)=2 THEN x1,x2:=1,-2 END ANY r1, r2 WHERE r1 ∈ NAT ∧ r2 ∈ NAT ∧ r12 + r22 = 25 THEN SommeR := r1 + r2 END