"Modélisation du comportement des systèmes embarqués par un modèle d'usage issu des chaînes de Markov" Journée

1. "Modélisation du comportement des systèmes embarqués par un modèle d'usage issu des chaînes de Markov" Journée du 2 février 2006 ENST – PARIS

2. PRESENTATION D’ALL4TEC

3. PRESENTATION D’ALL4TEC : UN INDUSTRIEL DU DÉVELOPPEMENT LOGICIEL • Création en 1998 autour de 2 métiers : le forfait et le conseil en amélioration de processus. • Présent à PARIS, LAVAL et TOULOUSE • 1ere société européenne a être évaluée CMM4 en 2000 • Création en 2004 d’ALL4TEC Génie Logiciel (R&D et commercialisation produit MATELO) • Création du pôle de compétence « sûreté de fonctionnement » au travers de la filiale MATHIX. • 40 ingénieurs et consultants • Plus de 100 hommes.an d'expérience en savoir faire logiciel

4. PRESENTATION D’ALL4TEC : OFFRES ET ACTIVITES • Ingénierie au forfait • Développement de systèmes embarqués • Activités d'expertise • Diminution du temps de test et Suppression des défauts critiques • Retro engineering (documentation, industrialisation de logiciel, …) • Amélioration continue des processus (CMMI, SPICE, Cleanroom) • Amélioration de la productivité logicielle et maîtrise des coûts logiciels • Etudes de sûreté de fonctionnement (avec Mathix) • Activités de R&D au travers d’ALL4TEC Génie Logiciel • Projet européen AIRNET du 6éme PCRD (système anti-collision) • Produit MATELO issu d’un projet du 5ème PCRD • Commercialisation de MATELO

5. UN LARGE PANEL DE CLIENTS • AEROSPATIAL - DEFENSE • AdP • AIRBUS Industries • ALENIA SPAZIO • ARTUS • CNES • EADS Space Transportation • EUROCONTROL • EUROCOPTER • GIAT INDUSTRIES • ROCKWELL COLLINS France • SAGEM DEFENSE • THALES Communications - ATM -Optronique - Underwater System • TELECOM • ALCATEL ABS • BOUYGUES TELECOM • FRANCE TELECOM • CELLon • NEC • PHILIPS • ST MICROELECTRONICS • WAVECOM • AUTOMOBILE • Groupe DELPHI • MAGNETI MARELLI • PSA • RENAULT • SAGEM • SIEMENS-VDO • VALEO • AUTRES • EDF • IRSN • RATP • DE DIETRICH • SNCF • BOMBARDIER • SCHNEIDER

6. Introduction Notre approche du test

7. Introduction : Notre approche du test • CONSTAT : • la maîtrise de la phase de test d'un système est essentielle car le coût de cette phase peut atteindre 50% du temps total • Un système livré avec des défauts résiduels engendre des coûts élevés • Un bug détecté en spécification coûte 1000 fois moins cher qu’un bug détecté en exploitation • ALL4TEC a basé sa stratégie de validation sur des méthodologies reconnues : • Le CMMI (Capability Maturity Model Integrated) : amélioration continue des processus • Cleanroom : approche incrémentale basée sur le test statistique d'usage (SUT) • Le Test à Géométrie Variable (méthode TGV) préconisée par Mathix, notre filiale experte en Sûreté de Fonctionnement

8. MaTeLo : un projet ambitieux • Pourquoi MaTelo : • A l’origine, l’idée était de mesurer la fiabilité des systèmes qu’ALL4TEC livrait à ses clients, et de donner un critère d’arrêt des tests. • Depuis 1998, ALL4tec exploite la pertinence des chaînes de Markov dans ses modèles de spécification de tests. • L’intérêt des industriels étant très fort, un consortium est né pour faire un projet ambitieux, à envergure Industrielle et Internationale. • Le consortium : • nait en 2002 pour une commercialisation de Matelo depuis 2004 • Comprend : Magneti Marelli, Nec, Philips, Aliena Spazio, IAI, Lucent Technologie, l’Union Européenne, le ministère de l’industrie française et plusieurs universités européennes (IRISA, Lund en Suède, Erlangen en Allemagne). • Budget de 5,5 milions d’euros

9. Le nouveau moteur de la validation des systèmes Trophée de l’innovation 2005 au salon

10. MATELO dans le cycle de développement • MATELO teste en « boîte noire » et vérifie la conformité avec la spécification Validation des besoins Analyse de la campagne de test Expression des besoins Editeur Matelo Testeur Matelo Validation fonctionnelle Spécification fonctionnelle Modèle d’usage Plan de test Test d’intégration Conception du système Test des composants Conception des composants Implémentation

11. MATELO : Modélisation et génération de tests MATELO comprend 2 modules principaux : • 1 éditeur de modèles d’usage (Matelo Editor) • Qui représente les comportements du système • 1 générateur de cas de tests (Matelo Testor) • Qui génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes • Qui analyse la campagne de test (couverture fonctionnelle, MTTF)

12. L’EDITEUR DE MODELES D’USAGE MATELO

13. L’EDITEUR MATELO :écriture du modèle d’usage • Capture en entrée les éléments de spécification UML (XMI), SDL ou autre forme de spécification • Réalisation du modèle : • Création des états stables du système • Définition de toutes les actions possibles dans un état donné, puis on réalise le modèle • Intégration des données d’entrée et des résultats attendus • Pose des fréquences d’usage • Génération des cas de test « à blanc » pour valider le modèle • Sauvegarde le modèle en XML pour en faciliter l’exploitation Métrique : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage.

14. MATELO EDITOR : l’IHM

15. LE GENERATEUR DE CAS DE TESTS MATELO

16. Efficacité des cas de test Approche combinatoire (déterministe) Approche prédictive en largeur (non déterministe) • 20 objectifs de test atteints pour 100 pas de test effectués Start Start Target Close Close • 80 objectifs de test atteints pour 100 pas de test effectués

17. Approche en profondeur Approche en largeur Approche de couverture Start Start Start Close Close Close Stratégie de test • Pour valider un logiciel, il est efficace d’alterner des phases de focalisation (en profondeur ou sur la couverture), et des approches en largeur, qui explorent les différentes combinaisons d’enchaînement des fonctions

18. MATELO TESTOR : Génération de tests • Matelo génère automatiquement l’ensemble des scénarios de test nécessaire à la validation de vos systèmes : • Tests de début de validation • Tests d’usage • Tests de couverture • Tests aux limites • Matelo permet une exécution des tests manuelle (HTML) ou automatique via les automates du marché (type TestStand, TTCN3 ou autres via l’export XML) • Matelo génère une analyse de la campagne de test (couverture fonctionnelle, MTTF)

19. MATELO TESTOR :Cas de test HTML

20. MATELO TESTOR Qualimétrie de la campagne de test • Enregistrement des résultats de test • Mise en place des critères d’arrêt des tests • Analyse de la campagne de test

21. Mesure de performance (Retour d’expérience sur une base de 60 projets de 2 à 200 KLOC) En moyenne, la validation avec MATELO ne nécessite que 4 jours par KLOC avec une fiabilité de 110 défauts résiduels par million de loc : 1,5 jour de modélisation Matelo / 1,5 jour d’exécution / 1 jour de correction

22. CARACTERISTIQUES -AVANTAGES Travail croisé entre les spécificateurs et les valideurs Dès la spécification, 5 à 20 défauts, par futures Kloc, sont trouvés Matelo atteint plus d’objectifs de tests qu’une méthode traditionnelle Génération de tests non intuitifs et très variables Automatisation de l’exécution des Tests Matelo fournit des métriques : critère d’arrêt des tests, MTTF Campagne de tests facile à regénérer SYNTHESE • + de spécifications : 0,5 à 3 jours par KLOC pour la réalisation du modèle d’usage Matelo . • Génération de cas de test optimisés • Création d’un reporting • Modèle facile à maintenir

23. CONCLUSION : LES BENEFICES Des résultats très significatifs et rapides : • Matelo permet d’économiser jusqu’à 40 % du temps de la validation et 20 % du projet total. • Le ROI moyen chez nos clients est de 6 mois

24. OFFRE COMMERCIALE • Validation d’un projet au forfait • Un pack licence, formation, accompagnement Et en complément, l’offre de la première société de service évaluée CMM4 en Europe… Contact Technique : matelo@all4tec.net Contact commercial : christophe.guittet@all4tec.net - 06 08 06 48 98