Batelco : Bilan Technique Qualit é Logiciel

1. Batelco : Bilan Technique QualitéLogiciel Alain A April ip3@btc.com.bh Compagnie Télécommunications Bahreïn ETS 27 Mars 2001

2. AApril • Directeur Amélioration des processus BATELCO-IS – 1998 • Ingénieur Qualité et Achats Bell Canada – 1993-1998 • Ingénieur Télécommunications 1992-1993 • Chef de projet développement logiciel 1986-92 • Développeur & DBA – Caisse Populaire 1982-1986 • Spécialiste Télécommunication – Sureté du Québec 1981-82 • 10 publications – domaine de la qualité • Travaux ISO-JTC1-SC7 sur ISO9126 (co-editeur)

3. Batelco بتلكو • Bahreïn Télécommunications • 200,000 lignes, 170,000 Mobiles • Services Internet • 84% Satisfaction Clientèle • Propriétaires: Kuwait (QualityNet) et Arabie Saoudite (Atheer) • Réduction majeures des tarifs des appels internationaux (quatre fois en trois ans) • 225 positions en informatique

4. BESOINS TECH&QU • Facilité à tester • fiabilité • Maintenabilité • Adhérence au Standards • Portabilité BT requis pour contrats majeurs Adaptation, Interfaces et Validation Gestion de Compte Investigation Initiale Intégration & Essais Opération & Fermeture Faisabilité & Choix fournisseur ÉVALUE Revues Fonc & Arch. Don. Arch. Platforme Contrat, S.O.W Specs and P.Q. Produits Gestion Produits Techn. Accept. Fonc Accept. Tech. Gate 1 Gate 2 Gate 3 Gate 4

5. Règles de sélection - Achats La démarche doit garantir que le Bilan technique est conduit selon des règles qui confèrent à l’évaluation les propriétés suivantes :

6. Obligations d’évaluation BT 1 Définir de façon formelle les réels besoins techniques et qualité attendus du produit logiciel. 2 Ne pas évaluer un logiciel sans connaître au préalable son niveau de criticité. 3 Bâtir le diagnostic sur des faits constatés et incontestables.

7. Besoins Qualité Logiciel 1 MAINTENABILITÉ FIABILITÉ Effort nécessaire pour diagnostiquer les déficiences ou les causes de défaillances ou pour identifier les parties à modifier. Aptitude du logiciel à maintenir son niveau de service dans des conditions précises et pendant une période déterminée. RENDEMENT CAPA. FONCT. NF ISO/CEI 9126 STANDARD INTERNATIONALEMENT RECONNU Rapport existant entre le niveau de service d’un logiciel et la quantité de ressources utilisées, dans des conditions déterminées. Existence d’un ensemble de fonctions et leurs propriétés données. Les fonctions sont celles qui satisfont aux besoins exprimés et implicites pour des tâches données. FACIL. D’UTIL. PORTABILITÉ Effort nécessaire pour l’utilisation et sur l’évaluation individuelle de cette utilisation par un ensemble défini ou implicite d’utilisateurs. Aptitude du logiciel a être transféré d’un environnement à l’autre.

8. Besoins Qualité Logiciel Détaillés PORTABILITE RENDEMENT • Facilité d’adaptation • Comportement temps FACILITE D’UTILISATION FIABILITE CAPACITE FONCTIONNELLE • Facilité d’installation • Maturité • Comportement ressources MAINTENABILITE • Tolérance aux fautes • Aptitude • Conformité aux règles FACILITÉ D’UTILISATION • Possibilités de récupération • Exactitude MAINTENABILITÉ • Interchangeabilité • Interopérabilité • Facilité d’analyse • Conformité règlementaire • Facilité de compréhension Effort nécessaire pour diagnostiquer les déficiences ou les causes de défaillances ou pour identifier les parties à modifier. Effort que doit faire l’utilisateur pour reconnaître la logique et sa mise en oeuvre. • Sécurité • Facilité de modification • Facilité d’apprentissage Effort nécessaire pour modifier, remédier aux défauts ou changer d’environnement. Effort que doit faire l’utilisateur pour apprendre son application. • Stabilité • Facilité d’exploitation Risque des effets inattendus des modifications. Effort que doit faire l’utilisateur pour exploiter et contrôler son application. • Facilité de validation Effort nécessaire pour valider le logiciel modifié.

9. Identifie les caractéristiques 1 Utilisation Mémoire Facilité de modification Stabilité opérationnelle Facilité de validation Facilité de modification Facilité de l’installation Conf. règles de portage Interchangeabilité/Portabilité Comport. / Temps Comport. / Ressources Maturité Tolérance aux fautes Facililité de récupération Facilité de compréhension Facilité d’apprentissage Facilité d’exploitation Aptitude à traiter BDH Exactitude Interopérabilité Conformité règlementaire Sécurité

10. NIVEAU A Utilisation continue (24h / 24h) Dommages irréversibles sur l’environnement Pertes de vies humaines Pertes économiques désastreuses NIVEAU B Utilisation continue (interruption pour changement de versions) Dommages sur l’environnement Menaces sur les vies humaines Pertes économiques importantes A NIVEAU C Utilisation continue avec périodes fixes d’interruption Dommages sur la propriété Peu de vies humaines touchées Pertes économiques significatives B C D NIVEAU D Utilisation ponctuelle Faibles dommages sur la propriété Pas de risque pour les vies humaines Pertes économiques négligeables La Criticité du Logiciel 2

11. Level D Level C Level B Level A Technical review Functional testing Component testing Formal verification + + + Functionnality Process evidence Users survey Fault tolerance analysis Reliability cross modelling Formal verification + + + Reliability Laboratory testing Users survey Conformity to interface standard User interface inspection User model based evaluation + + + Usability Algorithmic complexity analysis Execution time measurement Benchmark testing Performance profiling analysis + + + Efficiency Langage conformity checking Inspection of documents Traceability evaluation + + + Maintainability Static analysis Langage conformity checking Environ. constraints evaluation Installation analysis Program design evaluation + Portability + + Choix des techniques d’évaluation 2 « Extrait deSOFTWARE EVALUATION FOR CERTIFICATION(International Software Quality Assurance Series) »

12. Mesures Peu Contestables 3 AZUMA SCOPE Singh 2000 IEC 50(191) Ferrante Mesures Objets 1990 MCCALL Weiser Ryder 1987 Outils de Mesure Commerciaux Rocacher Halstead Zolnowski 1980 Albrecht Schneiderwind Rubey,Hartwick 1974 Elshoff McCabe Baker Dijkstra 1968

13. Exemple Facturation IP Utilisation Mémoire Corruption Mémoire Insure ++ `Leak` Mémoire Chaines récursives Couplage des données Efficacité Entrées-Sorties Insure ++ Logiscope Complexité des essais Complexité Logiciel Temps Réponse Oracle level performance Disk Access & File Org. Couplage des Routines Présence de Clones Logiscope Documentation Interne Facilité d`apprentissage Ergonomie des interfaces Visual Inspection Opérabilité Inter operabilité Portabilité ANSI C Conformité Batelco-Koenig Codecheck Visual Inspection Sécurité ( important areas as identified by the Contract Working Group)

14. AUTOMATISE • Facilité à tester • Fiabilité • Maintenabilité • Adhérenceaux Standards • Portabilité Calibration et Analyse Logicielle Accède le code source du logiciel Utilise les outils en mode calibration Calibration des intervalles Évaluation complète - calibrée Logiscope Insure ++ Codecheck

15. Ex: Calibration Logiscope Lo Hi

16. Mesures hors intervalle Avec l’outil Vérifie les intervalles par défauts Recalibre à chaque fois Questionne les standards Mesures peu contestables Cas clairs seulement Inspections de produit Lister chaque cas identifié Inspecter le système/doc. Discuter la rationnelle Juger l’importance du problème Classer par ordre d’importance Code récursif Structures Complexes Code non standard Documentation du code

17. Logiciel Facturation IP UNIX C, C++, 900modules, 417 045 LOC

18. Un rapport haut niveau OBJECTIF VISE OBJECTIF ATTEINT Excellent Bon Moyen Mauvais Mauvais Moyen Bon Excellent Facilité d’analyse Facilité de modification Stabilité Facilité de test Facilité d’adaptation Facilité de l’installation Conf. règles de portage Interchangeabilité Comport. / Temps Comport. / Ressources Maturité Tolérance aux fautes Possibilités de récupération Facilité de compréhension Facilité d’apprentissage Facilité d’exploitation Aptitude Exactitude Intéropérabilité Conformité règlementaire Sécurité SUR QUALITE CONFORME RISQUE INACCEPTABLE

19. Utilité pour les achats License • Doc. Interne • Code source • Facilité des essais • Portabilité Contrat Maintenance et Support • Position de négotiation • Liste d’améliorations immédiates Clauses Qualité • Standards (Port., Progr. et docum.) • Clause améliorations et plan d`action

20. Intérêts Enseignement & Recherche • Transfert de connaissance (processus et technique); • Enseignement Uqàm • Enseignement en entreprise • Entreprise vs. classe et projet de recherches • Aide à superviser 2 étudiants de maîtrise • 1 Publications par an depuis 1994 • Débuté Doctorat – Polytechnique de Montréal • Développement de normes ISO , 1993-1997