Métrologie du logiciel

1. Métrologie du logiciel Mise en œuvre du processus ‘Mesures et Analyses’ du CMMI et analyses d’aptitude

2. Agenda • Présentation de Asetechs Conseil 5mn • Le besoin 10 mn • Service ‘Mesures et Analyses’ proposé 10 mn • Système de mesures (norme ISO/IEC 15939) 10 mn • Démonstration 30 mn • Offre 10 mn • Questions et réponses 15 mn

3. Asetechs : Conseil ‘Qualité Processus Logiciel’ et Editeur ‘Métrologie’ • Deuxactivités • Conseils: • Assistance Maîtrise d’Ouvrage • Conception et mise en œuvre de processus Mesures et Analyses des logiciels • Aide à la sélection des mesures, indicateurs et système de diagnostics pour le contrôle qualité du logiciel • Maîtrise d’Oeuvre • Réalisation d’audits métrologiques • Mise en œuvre et exploitation Bases ‘Mesures & Analyses’ • Ingéniérie : développement de solutions pour les mesures et les rénovations • Logiciels : Cartographie, Inspection et Métrologie • KRISREpository, • KRISCode Reviewer/Normalizer • KRISAudit Expert • Asetechs Conseil (Europe), TPME de haute technologie • Créée en 2001. • 8 personnes dont 4 PhD (coopération depuis 1985). • Anciens chercheurs du Watson Research Center (Usa) et du GMD (De) • analyse statique des codes et analyse sémantique • Métrologie SEI et détection de défauts des logiciels • Concepteur et éditeur du ‘Compiler Generator Kit’ (1985-2007) • De la suite logiciel KRIS (voir ci-contre) • Une clientèle composée de grands comptes : • Caisse Epargne (Arpège), Air France, AXA France, PMU, Y.Rocher, UBS, Dresdner Bank, Siemens, France Telecom, CapGemini, Thalès, Unilog, …

4. 2 exemples d’opérations de métrologie Client : Arpège (2006) Client : PMU (2005, 2006, 2007) Problématique Conception et mise en œuvre d’un processus automatisé de contrôle de la qualité des codes et de normalisation Démarche Assistance à la conception et à la mise en œuvre de la solution logiciel ‘Revue de Codes PMU’ (MVS) Normalisation automatisée (Cobol, Sql et C) Résultats Base de connaissances ‘Métrologie’ : corpus de règles de conformité PMU, mesures inspection et qualité Amélioration de la qualité (fiabilité) mesurée (ROI) Généralisation de la démarche à tout le parc • Problématique • Recherche exhaustive du Code Caisse pour normalisation • Démarche • Analyse sémantique des codes sources • Modélisationdes critères de reconnaissances • Prospection par propagation système • Résultats • Base de connaissances Métrologique constituée • Pertinence mesures : 96% selon contre-mesures manuelles • Normalisation (Transformations) in PacBase démontrée • Aide à la budgétisation/planification démontrée

5. Le besoin : ‘améliorer la qualité, réduire les défauts, accroître la productivité et baisser les coûts’ • CMMI : L’activité de mesure consiste à collecter, analyser et communiquer les données décrivant les produits développés et les processus mis en œuvre pour améliorer l’efficacité du travail de management et démontrer quantitativement la qualité des produits. • Démarrer le processus Mesures et Analyses (MA) • Mesurer pour comprendre, contrôler et anticiper • Mesurer pour agir : réduire les défauts, au plus tôt dans le cycle de développement • Mesurer pour améliorer durablement la qualité et la productivité • Mise en place d’une pratique nouvelle : ‘Processus Mesures et Analyses du logiciel’ • Conception et déploiement du processus et de ses procédés • Assurer l’acceptation de ce processus ‘MA’ et son intégration dans le processus logiciel existant

6. Service équipé ‘Mesures et Analyses’ proposé Outillé Automatisée Automatisée Automatisée Evolutif Progressivement Systématiquement • Mise en place d’un processus MA équipé …………. • Analyse sémantique des codes sources ……………………….. • Génération de Base de Connaissances métrologique ……. • Production de rapports et de tableaux de bords ……………. • IHM (applet) : système Auditeur Expert ………………………… • Concevoir/Sélectionner les mesures pertinentes……….. • Concevoir/Valider les ‘Résultats’ (ROI) et leur acceptation ….. • Administration du processus MA • Engagement sur la Qualité du service et des résultats produits (mesures de la performance du processus MA) • Mise en place et utilisation de méthodes simples mais robustes et éprouvées (6 Sigma, Lean, CMMI-MA) • Communications et promotion des résultats à tous les acteurs du processus logiciel • Traitements permanents • Ordonnancement des audits, récupération des codes sources, exécuter les outils de métrologie, normaliser les résultats, peupler la base de connaissances Métrologie, interpréter et diagnostiquer, conseiller et recommander, distribuer/diffuser les résultats

7. Processus Mesures et Analyses • Pratique centrée sur les Mesures • du produit : le logiciel est mesuré • du processus : le processus logiciel est mesuré • Collecte et enregistrement des données de l’inspection : Analyses Sémantiques des codes sources (mais pas exclusivement) • Interprétations fondée sur : les pratiques et outils de la méthode Six Sigma (DMAIC : Define Measure Analyze Improve Control) • Mesures centrées sur la détection des défauts … au plus tôt dans le cycle de développement • Automatisation complète de l’inspection des codes sources • Historicisation des mesures et exploration statistiques de celles ci  utilisation des «cartes de contrôles» (charts) • Consolidation des mesures dans une Base de Connaissances MA • Au niveau de l’entreprise et non pas au niveau des codes • Accessible et intelligible par tous les acteurs du processus logiciels • Protocoles d’interprétation standardisés

8. Processus Mesures et Analyses Périmètre Du Service Equipé « Processus Mesures et Analyses pour le logiciel »

9. Système de mesures normalisé ISO/IEC 15939 • Indicateurs Asetechs Conseil: • Densité de défauts : évolution dans le temps • Quality Metrics : LSI= 0 et LSS=200 • Productivity Index : évolution dans le temps • Effort(Halstead E) : évolution dans le temps • Difficulté(Halstead D) : évolution dans le temps • Complexité(Cyclomatic Complexity McCabe) : < 10. • Fonction de Perte : pour la prédiction et la mesure des améliorations • Mesures élémentaires (base measures) Asetechs Conseil: • 49 pour Cobol, 23 pour Java/J2EE • Règles de conformité(+120) extensibles • Interprétations Métrologiques • Expertise Asetechs Conseil

10. Inspection, Mesures et Analyses Toutes les étapes sont intégrées: • Service évolutif : • Plusieurs analyseurs sémantiques ‘spécialisés’ sont associés selon le besoin • KRIS (Cobol, SQL, CICS, IMS, Java), Coverity (C/C++, Java), etc.. • La base de connaissances ‘MA’ est multi-langages et extensible • Les rapports, les diagnostics et les requêtes prédéfinies sont extensibles et la base de connaissances MA permet de partager cette expertise à toute l’entreprise. En mode interactif (dans le cycle de compilation) ou En mode batch (traitement de masse) • 1. Capture des ‘inputs’ et analyses grammaticales • Construction des structures sémantiques à auditer • Validation de la cohérence des inventaires Kris Audit Expert (reporting) (4) (1) • 2. Analyse sémantique étendue • Extension de l’analyse au système • Audit des structures sémantiques Metrics and Quality Knowledge Base Control Flow Graphs Call Graphs Abstract Syntax Tree • 3. Audit métrologique • Détection des défauts • Calculs des mesures qualité et inspection Kris understanding • 4. Base de Connaissances Métrologie • Production du contenu Qualimétrique • Production des rapports standards Kris auditing (Metrics, Rule checking, Data flow analysis, Quality Knowledge Repository) (3) (2) Interprocedural Functional model Anomalies detection Dead code pruning

11. Approche Six Sigma : D M A I C

12. Cartes de contrôle (control charts) 6 raisons pour expliquer leur succès (Montgomery 96 , introduction to statistical quality control:) • Les cartes de contrôles forment une technique éprouvée pour l’amélioration de la productivité • Les cartes de contrôles sont efficaces pour la prévention des défauts • Les cartes de contrôles évitent les ajustements de processus inutiles (distinction entre bruit et variations anormales) • Les cartes de contrôles fournissent une information pour le diagnostic • Les cartes de contrôles fournissent une information à propos de la ‘capability’ du processus (predictability) • Intelligibles par tous les acteurs du processus CL + 3 sigma Upper contril limit CL Center line CL - 3 sigma lower contril limit Temps ou séquence 3 sigma = standard déviation de l’échantillon mesuré

13. Démonstration : 30 mn • Analyse de codes sources • 2 échantillons : identiques mais produits à T1 et T1+3mois • Environ 100 composants (x 2) • Peuplement de la Base de Connaissances • Calculs des mesures qualités (49 mesures et 6 indicateurs) • Calculs des mesures d’inspection (72 règles de conformités) • Prise en comptes des paramètres propres au projet/client • Exploration de la Base de Connaissances • Utilisation de KRIS Audit Expert et de quelques requêtes prédéfinies • Production de rapports et interprétation En mode interactif (dans le cycle de compilation) ou En mode batch (traitement de masse) (4) Kris Audit Expert (reporting) (1) Metrics and Quality Knowledge Base Abstract Syntax Tree Control Flow Graphs Call Graphs (3) Kris understanding Kris auditing (Metrics, Rule checking, Data flow analysis, Quality Knowledge Repository) (2) Interprocedural Functional model Anomalies detection Dead code pruning

14. Suitability Kris Code Reviewer Règles d’Inspection, 95 Pour Cobol 121 pour Java/J2EE Corpus complet et évolutif Accuracy Functionality Security Interoperability Compliance Maturity Reliability Fault Tolerance Recoverability Time Behavior Compliance Resource Behavior Efficiency Compliance Analyzability Kris Code Reviewer Qualité Cobol : 47 mesures Java/J2EE :23 mesures Maintainability Change-ability QUALITY ISO/EC 9126 Stability Testability Adaptability Compliance Install-ability Portability Co-existence Kris Code Reviewer Cobol et Java/J2EE Complexity measures Replace-ability Compliance Understandability Learn-ability Usability Operability Attractiveness Compliance 6 facteurs qualité 27 critères qualité Architecture du système qualité supporté par KRIS CR Maj du référentiel Qualimétrie Kris RE Référentiel d’Entreprise SGDB Relationnel (DB2, Oracle ou MySql) KRIS Code Reviewer et KRIS Code Normalizer MVS Linux Ou Unix Ou Windows Génération des listing/alertes postes de travail KRIS «PQS» AUDIT EXPERT Client du Référentiel Application (ou Applet) Java Fonctionne avec la VM Java. KRIS : Couverture fonctionnelle Métrologie du logiciel

15. Offre : Phase I – «déploiement du Processus MA» • Une preuve du procédé MA : projet pilote • Mission: • Conception du Plan de mesures pertinentes • Premier déploiement du processus MA et premières collectes et analyses • Durée: 6 mois • Conseil : • Assistance à la mise en œuvre des logiciels et aux paramétrages requis pour ce projet • Assistance à la sélection des mesures, cartes de contrôles et diagnostics pertinents • Résultats acquis: • Procédé MA initial opérationnel, ré-utilisable et … permanent • Base de Connaissances MA créée • Premières Cartes de Contrôles et Diagnostics initiaux opérationnels • Budget Forfaitaire • Les logiciels KRIS sont mis à la disposition du processus gratuitement

16. Phase II : «Processus MA étendu» • Si projet prototype ‘Probant’ Asetechs Conseil assistera le client sur les points suivants: • Conseil méthodologique (assistance à maîtrise d’ouvrage) • Transfert de compétence pour la maîtrise d’un procédé métrologique (processus MA) • Transfert de technologie : formation démarche, méthode et exploitation du système de métrologie. • Service d’exploitation de la Base de Connaissances Inspection (assistance à maîtrise d’œuvre) • Mise en œuvre du procesus MA • Gestion de la production de la base MA : capture des mesures, exploitation de la base de connaissances, production des rapports, interprétations et diagnostics • Développements : • Intégration (si besoin) nouveaux «Analyseurs Sémantiques» • Mise en œuvre de nouveau outils de collecte ou de nouvelles mesures/indicateurs

17. Questions et réponses … MERCI DE VOTRE ATTENTION Software Quality Measurements, cmu/sei 1992