1 / 53

Nicolas Sannier 1, 2 Sous la direction de Benoit Baudry 2 , Thuy Nguyen 1 , Laurence Picci 1

Triskell Team. INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de sûreté. Nicolas Sannier 1, 2 Sous la direction de Benoit Baudry 2 , Thuy Nguyen 1 , Laurence Picci 1 1 EDF R&D - STEP P1A 2 Inria Rennes Bretagne Atlantique – Triskell.

ilana
Download Presentation

Nicolas Sannier 1, 2 Sous la direction de Benoit Baudry 2 , Thuy Nguyen 1 , Laurence Picci 1

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Triskell Team INCREMENT Une approche pour modéliser et analyser dans le large les exigences réglementaires de sûreté Nicolas Sannier1, 2 Sous la direction de Benoit Baudry 2, Thuy Nguyen1, Laurence Picci1 1 EDF R&D - STEP P1A2 Inria Rennes Bretagne Atlantique – Triskell

  2. A propos …Du contrôle-commande et de ses exigences • Le contrôle-commande nucléaire : • Permet de mesurer et de piloter l’activité de la centrale • Va des capteurs aux interfaces Homme-Système • Doit répondre à différentes exigences • Les exigences fonctionnelles et de performance

  3. A propos …Des systèmes classés de sûreté • Systèmes importants pour la sûreté • Systèmes dont la défaillance (erreurs, perte) entraînerait la perte ou des dommages importants aux personnes, installations, à l’environnement • Exigences de sûreté

  4. A propos …des exigences de sûreté de fonctionnement • Les exigences de sûreté de fonctionnement au regard de la raison d’être du système • Déterminées par le maître d’ouvrage • Risques , fiabilité, disponibilité, maintenabilité, … • Les exigences réglementaires de sûreté • Imposées au maître d’ouvrage par les pouvoirs publics • Pour la protection des personnes et de l’environnement • Sont ambigües, non vérifiables, non atomiques, … • Hétérogénéité des sources, • Domaine en forte évolution et complexe

  5. A propos …Les différentes sources d’exigences réglementaires • Les textes réglementaires • de haut niveau, fixent des objectifs globaux • Les guides réglementaires • pratiques jugées acceptables par une autorité réglementaire • Les normes nationales et internationales • Sont parfois imposées, sinon d’application volontaire • Les pratiques • Pratiques acceptées sur des projets « récents »

  6. A propos …Dimensions des évolutions récentes des exigences réglementaires • Une dimension temporelle • Multiplication des normes avec l’arrivée de nouvelles technologies • Aspects logiciels pour les systèmes de CC en France : • 1 norme à appliquer en 1986 • 100+ en 2013 • Une dimension « internationale » • différentes cultures de sûreté [4] Sannier, Baudry & Nguyen – MODRE’ 2011

  7. A propos …de l’organisation du domaine et de la traçabilité des exigences Quelles sont les exigences Relatives à … ? [*] Sannier & Baudry – RELAW' 2012

  8. Questions de recherche • Objectifs industriels • Formaliser et organiserdans le large et à haut niveau la connaissance métier d’une façon pertinente du point de vue d’un ingénieur nucléaire • Acquisition, navigation, manipulation dans le modèle • Verrous scientifiques • Adéquation des techniques de modélisation et de traçabilité de l’état de l’art pour ces objectifs et ce domaine ? • Comment analyser de tels modèles, comment aider la traçabilité de ces exigences réglementaires ?

  9. Etat de l’art “There are known knowns. These are things we know that we know. There are known unknowns. That is to say, there are things that we know we don’t know. But there are also unknown unknowns. There are things we don’t know we don’t know.”Donald Rumsfeld, cited in Sawyer et al., RE’ 2011

  10. Etat de l’artUne problématique multi-domaines • 3 domaines • Ingénierie des exigences • Ingénierie dirigée par les modèles • Recherche d’information • 4 préoccupations • La définition / formalisation d’exigences • La prise en compte des exigences réglementaires • La traçabilité • Dans le large

  11. Etat de l’artUne problématique multi-domaines Ingénierie des exigences Spécification des exigences Ingénierie (des exigences) dirigée par les modèles exigences légales et réglementation UML, SysML KAOS, i* GRL Cresco SafetyMet … Techniques de recherche d’information Traçabilité des exigences Traçabilité des exigences recherche d’information

  12. Etat de l’artSynthèse et limites courantes

  13. INCREMENT : une approche hybride pour modéliser et analyser dans le large les exigences réglementaires de sûreté

  14. Contributions de la thèse • Comment formaliser et organiser la connaissance métier d’une façon pertinente du point de vue d’un ingénieur nucléaire ? • Un métamodèle du domaine (Connexion) • Une fois les concepts formalisés, comment acquérir, naviguer et manipuler des modèles ? • Une base outillée pour l’acquisition, la manipulation et la navigation (IncrementParser, IncrementGUI) • Comment analyser de tels modèles, comment aider la traçabilité de ces exigences réglementaires ? • Des outils d’indexation et de recherche d’information branchés sur les modèles (IncrementTools, IncrementIndex)

  15. INCREMENTUne approche hybride pour un problème hybride Ingénierie des exigences Spécification des exigences Ingénierie (des exigences) dirigée par les modèles exigences légales et réglementation UML, SysML KAOS, i* GRL Cresco SafetyMet …. Techniques de recherche d’information INCREMENT Traçabilité des exigences Traçabilité des exigences recherche d’information

  16. INCREMENTUne approche hybride pour un problème hybride • Instrumentation aNd Control REquirements Modeling environmENT • INCREMENT-MDE • IDM pour formaliser et capitaliser sur le domaine • INCREMENT-IR • Recherche d’information (RI) pour l’analyse des contenus textuels • INCREMENT-Hybrid • Hybridation IDM/RI dans un même environnement [*] Sannier & Baudry - submitted to REFSQ' 2014

  17. INCREMENT-MDE : une approche d’Ingénierie Dirigée par les Modèles

  18. INCREMENT-MDE : une approche d’IDMConstruction d’un métamodèle Etat de l’artacadémique Métamodèles Données métier Experts métier IncrementGUI IncrementTools IncrementParser * Plus de détails dans la thèse ou sur htpp://nicolassannier.wordpress.com

  19. INCREMENT-MDE : une approche d’IDMConcepts du métamodèle

  20. INCREMENT-MDE : une approche d’IDM3- Un environnement support à la modélisation : IncrementGUI Liste des regroupements Corpora, topics, projets, Règles de design, interactions … Liste des éléments et verbatims propriétés

  21. INCREMENT-MDE : une approche d’IDMDes briques supports à l’acquisition, la manipulation et l’analyse • Un ensemble de briques pour l’acquisition et l’analyse des modèles • IncrementParser : un analyseur configurable pour l’acquisition • IncrementGUI : un environnement de modélisation • IncrementTools : ensemble de règles et de méthodes sur les modèles • Acquisition automatique de 8 normes CEI, plus de 8000 éléments • + normes IEEE, AIEA • Un extracteur depuis la base de données CONNEXION (800 exi.) • Génération de collections génériques éditables

  22. INCREMENTLimites d’une approche IDM 10CFR50–A.3:Section name: 10CFR50–A.3 title: III. Protection and Reactivity Control Systems verbatim: III. Protection and Reactivity Control Systems \n Criterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable … 10CFR50: RegulatoryDocument name: 10CFR50 title: 10CFR50 - Appendix A fragments corpus: Corpus fragments name: corpus tf22:TextFragment name: tf22 id: 10CFR50 – Appendix A III - Criterion 22 verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ... fromDocuments fragments 10CFR50-A3.22:RegulatoryRequirement analyzedAs id:10CFR50-A3.22 name: 10CFR50-A3.22 verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on … classification: IEEE 1E IEEE non-1E inputAuthor: AREVA date: 2013 systemTarget: Protection system: RTS, ESFAS, DCS : TypedElementCorpus elements corpus

  23. INCREMENTLimites d’une approche IDM 10CFR50–A.3: Section name: 10CFR50–A.3 title: III. Protection and Reactivity Control Systems verbatim: III. Protection and Reactivity Control Systems \n Criterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable … 10CFR50: RegulatoryDocument name: 10CFR50 title: 10CFR50 - Appendix A fragments corpus: Corpus fragments name: corpus tf22: TextFragment name: tf22 id: 10CFR50 – Appendix A III - Criterion 22 verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ... fromDocuments fragments 10CFR50-A3.22: RegulatoryRequirement analyzedAs id:10CFR50-A3.22 name: 10CFR50-A3.22 verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on … classification: IEEE 1E IEEE non-1E inputAuthor: AREVA date: 2013 systemTarget: Protection system: RTS, ESFAS, DCS : TypedElementCorpus elements corpus

  24. INCREMENTLimites d’une approche IDM 10CFR50–A.3:Section name: 10CFR50–A.3 title: III. Protection and Reactivity Control Systems verbatim: III. Protection and Reactivity Control Systems \n Criterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable … 10CFR50: RegulatoryDocument name: 10CFR50 title: 10CFR50 - Appendix A fragments corpus: Corpus fragments name: corpus tf22:TextFragment name: tf22 id: 10CFR50 – Appendix A III - Criterion 22 verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ... fromDocuments fragments 10CFR50-A3.22:RegulatoryRequirement analyzedAs id:10CFR50-A3.22 name: 10CFR50-A3.22 verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on … classification: IEEE 1E IEEE non-1E inputAuthor: AREVA date: 2013 systemTarget: Protection system: RTS, ESFAS, DCS : TypedElementCorpus elements corpus

  25. INCREMENTLimites d’une approche IDM 10CFR50–A.3:Section name: 10CFR50–A.3 title: III. Protection and Reactivity Control Systems verbatim: III. Protection and Reactivity Control Systems \n Criterion 20—Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable … 10CFR50: RegulatoryDocument name: 10CFR50 title: 10CFR50 - Appendix A fragments corpus: Corpus fragments name: corpus tf22:TextFragment name: tf22 id: 10CFR50 – Appendix A III - Criterion 22 verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ... fromDocuments fragments 10CFR50-A3.22:RegulatoryRequirement analyzedAs id:10CFR50-A3.22 name: 10CFR50-A3.22 verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on … classification: IEEE 1E IEEE non-1E inputAuthor: AREVA date: 2013 systemTarget: Protection system: RTS, ESFAS, DCS : TypedElementCorpus elements corpus

  26. INCREMENTVers une approche de recherche d’information • Un modèle d’exigences : • De taille importante (plusieurs milliers d’éléments) • Contenu est essentiellement textuel, de haut niveau et ambigu • Limitations du nombre d’opérations sur les modèles • Définition de plusieurs types de lien de traçabilité • Pas d’éléments pour calculer et mettre en œuvre la traçabilité • Traçabilité des exigences avec la recherche d’information

  27. INCREMENTIndexation et de recherche d’information (TF-IDF) • Indexation pour stocker, trier les informations d’un document (unité de traitement) dans des champs • Un document est un fragment de texte (taille et forme indifférente) • Un calcul de similarité entre une requête portant sur un ou plusieurs champs des documents de l’index • Term frequency (TF) : plus le ou les termes apparaissent dans le document, plus le score est haut • Inverse document frequency (IDF) : Plus le terme apparait dans les documents, plus il est commun, moins il est important • Score TF-IDF : plus les documents contiennent les termes de la requête plus le score est haut

  28. INCREMENTLimites d’une approche recherche d’information • Forte génération de faux positif avec les scores TF-IDF • Traçabilité = favorisation du rappel au détriment de la précision • D’autant plus forte que tout le contenu des documents est conservé • Maîtriser la génération de faux-positif dans l’état de l’art • Valeur de coupure arbitraire • Regroupements entre « bonnes » et « mauvaises » exigences

  29. INCREMENT-Hybrid : une hybridation IDM / Recherche d’information

  30. INCREMENT-HybridHybrider l’IDM et la recherche d’information • Un modèle d’exigences • Acquis de manière semi-automatique • Riche en informations • peu exploitable pour des analyses automatiques sur les verbatims • Un index • Acquis manuellement • De taille raisonnable (> 8000 documents pour 8 normes) : • à plat, sans typologie, avec peu d’informations sinon les textes • Mettre à disposition automatiquement et prendre en compte les informations du modèle pour l’indexation et la recherche d’information

  31. INCREMENT-HybridQuestions de recherche • Comment indexer les propriétés d’un modèle d’exigences ? • Une analyse de la synchronisation modèle – index sur le patron CRUD • Un mécanisme d’indexation automatique des éléments de modèle • Quelle efficacité de l’utilisation des propriétés du modèle pour la maîtrise des faux positifs ? • Une étude sur l’impact de l’utilisation du typage pour améliorer la recherche d’information

  32. INCREMENT-HybridIndexer les propriétés d’un modèle ? [2] Sannier& Baudry – MODRE’ 2012

  33. INCREMENT-HybridMécanisme de synchronisation • Un mécanisme de synchronisation modèle - index • Un sens de synchronisation : modèle  index • Deux modes de synchronisation • À la demande (chargement/sauvegarde du modèle dans l’outil) • Implémenté dans l’outil • À la volée : à chaque modification du modèle [2] Sannier & Baudry – MODRE’ 2012

  34. INCREMENT-HybridEfficacité de l’hybridation • Maîtriser la génération de faux positifs • MISC : Modeling - Indexing - Searching - Comparing Document specific reading rules ConnexionMetamodel conforms to Determining reading rules automatic extraction with reading rules indexing Candidate links Model-based Index {related documents} Model INCREMENT querying Relative Comparison Plain text standards Standards Preprocessing documents Standard querying Manual extraction indexing Standard Index {related documents} Candidate links {documents} [*] Sannier & Baudry - submitted to REFSQ' 2014

  35. INCREMENT-HybridBénéfices de l’hybridation [*] Sannier & Baudry - submitted to REFSQ' 2014

  36. INCREMENT-HybridBénéfices de l’hybridation • Réduction des espaces de candidats en moyenne de 65% • Sans avoir besoin d’une valeur de coupure • Ensembles plus petits et plus pertinents pour l’analyse • Contribution en traçabilité des exigences : • Recherche d’information  fort rappel, très faible précision • Amélioration par construction de la précision • Hypothèse : Maintien du rappel (aucune « exigence » perdue) [*] Sannier & Baudry - submitted to REFSQ' 2014

  37. 3. Conclusion et perspectives

  38. INCREMENTSynthèse Documents du domaine Ingénieurs CC IncrementGUI IncrementParser IncrementIndex Conforms with Synchronized with • Instrumentation aNd Control REquirements Modeling environmENT • IDM pour formaliser et capitaliser sur le domaine • Recherche d’information (RI) pour l’analyse des contenus textuels • Hybridation IDM/RI dans un même environnement ConnexionMetamodel RR Model RR Index [*] Sannier & Baudry - submitted to REFSQ' 2014

  39. Résumé des contributions • 1 contribution méthodologique • La description du domaine, de ses exigences et de leur évolution • 3 contributions techniques dans INCREMENT Utilisées par les partenaires CONNEXION dans le cadre du projet • La formalisation du domaine des exigences réglementaires • Un Métamodèle et une démarche outillée l’accompagnant • Une analyse de différentes techniques de recherche d’information pour la traçabilité • Statistiques, Clustering, Topic detection (LDA), Scores TF-IDF

  40. Résumé des contributions • L’hybridation entre le métamodèle et les techniques d’indexation • Indexation automatique des modèles d’exigences • Système de recherche dans Increment-GUI

  41. Perspectives pour INCREMENTR&D • Dans le cadre R&D du projet CONNEXION • Maturation du métamodèle et de ses outils chez les partenaires • Prise en compte de la variabilité des exigences • (thèse S. Ben Nasr) • Meilleures définitions des règles de design, de la justification • En dehors de CONNEXION • Passage hors du monde nucléaire avec une expérimentation sur des normes de performance électrique des bâtiments • (collaboration avec Martin Monperrus – Univ. Lille) • Evaluation de la réduction de l’espace de recherche en dehors du typage [*] Sannier & Baudry - submitted to REFSQ' 2014

  42. Perspectives pour INCREMENTRecherche académique • Pour le domaine de l’ingénierie des exigences réglementaires • Métamodèle Connexion = Structuration organique des exigences • Prendre en compte la « nature » des exigences • Exigences d’objectifs, de moyens, de processus, autre ? • Définir des environnements pour la certification • Plus génériques que les actuels (Connexion, Cresco, SafetyMet, etc.) • S’organisant autour des « natures » / « contrats » • Collaboration avec Simula en réflexion

  43. Publications liées à la thèse *. INCREMENT: A Mixed MDE-IR Approach for Regulatory Requirements Modeling and Analysis, Nicolas Sannier, and Benoit Baudry, submitted to (REFSQ’2014), 2014 • Defining and Retrieving Themes in Nuclear Regulations, Nicolas Sannier, and Benoit Baudry, in (RELAW’2012), pp 33-41, Chicago, Ill., USA, 25th of September 2012 • Toward Multilevel Textual Requirements Traceability using Model-driven Engineering and Information Retrieval, Nicolas Sannier, and Benoit Baudry, in (MoDRE’2012), pp 29-38, Chicago, Ill., USA, 24th of september 2012. • Ingénierie dirigée par les modèles pour structurer et partager un référentiel d’exigences de sûreté dans la durée, Nicolas Sannier, in 4èmes Journées nationales du GRD-GPL 2012, p 203, Rennes, France, 20-22 June 2012. • Formalizing standards and regulations variability in longlife projects. A challenge for model-driven engineering, Nicolas Sannier, Benoit Baudry, and Thuy Nguyen, in 1st International Workshop  Model-Driven Requirements Engineering (MoDRE’2011), pp 64-73, Trento, Italy, 29th of august 2011. • Défis pour la variabilité et la traçabilité des exigences en ingénierie système, Nicolas Sannier, and Benoit Baudry, in INFORSID’2011, Lille, France, 24-26 may 2011

  44. Publications non liées à la thèse • Comparing or Configuring Products: Are We Getting the Right Ones? Nicolas Sannier, Guillaume Bécan, Mathieu Acher, Sana Ben Nasr, and Benoit Baudry, in (VAMOS’2014), Nice, France, to appear. • On Product Comparison Matrices and Variability Models from a Product Comparison/Configuration Perspective, Nicolas Sannier, Guillaume Bécan, Sana Ben Nasr, Benoit Baudry, in (JLDP’2013), Paris, France, November 29, 2013. • From Comparison Matrix to Variability Model: The Wikipedia Case study, Nicolas Sannier, Mathieu Acher, and Benoit Baudry, in (ASE’2013), pp 580-585, Palo Alto, California, November 11 – 15, 2013.

  45. Les diapositives Bonus

  46. A propos …Des systèmes numériques de contrôle-commande (CC) des centrales • Le contrôle-commande : Réalisation de fonctions importantes pour la sûreté • 1985 : premier système de protection réacteur numérique • Nécessité d’utiliser des technologies numériques • Raréfaction des systèmes non numériques • Utilisation de produits de moins en moins dédiés • Suspicion universelle vis-à-vis du logiciel • Ariane, Ping of Death, régulateurs de vitesse défectueux, Louvois … • On ne sait pas démontrer l’absence d’erreur • Risques de défaillance de cause commune [4] In Sannier, Baudry & Nguyen - MODRE' 2011

  47. Conséquences de la complexité du domaineUn peu d’histoire récente du CC nucléaire • Un projet EPR certifié pour la France par les autorités de sûreté • Deux projets en Chine, acceptés sur le modèle français • Un projet en Finlande, accepté en Finlande après modification • Un projet en Grande-Bretagne et aux Etats-Unis (en cours d’évaluation) • 1 EPR, 5 Projets mais : • 4 architectures de contrôle commande différentes, • 4 processus de certifications différents • 2 « échecs » de certification (Grande Bretagne, Etats-Unis) [*] Sannier & Baudry - submitted to REFSQ' 2014

  48. Etat de l’artExigences réglementaires • Travaux et communauté essentiellement dans le secteur médical et aux US • Conformité par rapport à des préoccupations très particulières • Exigences réglementaires in the small • Travaux autour de la certification et conformité aux normes • Travaux sur les «  grandes » normes (DO-178, CEI 61508) • Travaux spécifiques à une norme • Une approche récente pour de la conformité multi normes, multi domaines (OPENCOSS) • Toutes des spécialisations de la CEI 61508 [*] Sannier & Baudry - submitted to REFSQ' 2014

  49. Etat de l’artFormalisation et modélisation des exigences • Formalisation par patrons de spécification • Dwyer, Konrad et Cheng, Volere shells, EARS, etc. • Valable pour les exigences de plus bas niveau • « Formalisation » par la modélisation • Approches orientées buts (KAOS, i*) : pour l’élucidation d’exigences • UML : valable pour les exigences traditionnelles, pas normatives • SysML (diagramme d’exigences) : expressivité faible tel quel • DSLs : spécifiques à une préoccupation sur les exigences • Spécification, versions de modèles, propriétés particulières [*] Sannier & Baudry - submitted to REFSQ' 2014

  50. Etat de l’artTraçabilité des exigences • Sémantique de la traçabilité • Liens simples entre n éléments • Liens plus riches (derive, satisfy, contain, reference, require, etc.) • Représentation de la traçabilité • Matrices, références, liens hypertextes, associations, etc. • Moyens de mise en œuvre • Traçabilité manuelle ou semi-automatisée • Analyse de la langue naturelle • Recherche d’information pour la traçabilité des exigences [*] Sannier & Baudry - submitted to REFSQ' 2014

More Related