100 likes | 275 Views
Intégration de données / ETL (Talend Open Studio) Séminaire CATI Ecoinformatique. Plan. Intégration de données Définition Pourquoi ? Les outils . L’ETL TOS : Qu’est-ce ? Pourquoi ? Travaux dirigés Découverte. Intégration de données. Définition
E N D
Intégration de données / ETL (Talend Open Studio) Séminaire CATI Ecoinformatique
Plan • Intégration de données • Définition • Pourquoi ? • Les outils. • L’ETL TOS : • Qu’est-ce ? • Pourquoi ? • Travaux dirigés • Découverte
Intégration de données • Définition • Ensemble des processus par lesquels les données provenant de différentes parties du système d'information sont déplacées, combinées et consolidées. • Ces processus consistent habituellement à extraire des données de différentes sources (bases de données, fichiers, applications, Services Web, emails, etc.), à leur appliquer des transformations (jointures, lookups, déduplication, calculs, etc.), et à envoyer les données résultantes vers les systèmes cibles
Intégration de données • Pourquoi ? • Synchronisation de différents SI : • Alimentation de bases par des fichiers à plat • Alimentation d’entrepôts de données. • Systèmes répliqués. • Migration de S.I
Intégration de données • Outils • Développement spécifiques (moulinettes) • Difficulté de maintenance. • Manque de cohérence. • Peu de documentation. • Outils dédiés (ETL : Extract – Transform – Load) • Facilité de maintenance. • Meilleure productivité.
ETL TOS Qu’est-ce que c’est ? • Atelier de développement : • Une interface graphique • Des composants spécialisés (plusieurs centaines) prêt à l’emploi. • Facilité de documentation • Générateur de programme (Java et Perl) • Basé sur Eclipse : • Multiplateforme
ETL TOS Pourquoi ? • Solution libre dans la version de base : • Communauté grandissante. • Une démarche non isolée (URGI – ISIE – DSI …) • Un outil accessible même aux non informaticiens
Travaux dirigés TD1 : Alimentation fichier CSV • Création d’un Job • Création d’un schéma (métadonnées) • Création / Liaison / Configuration de composants • Exécution du job • Génération du programme indépendant • Génération de la documentation
Travaux dirigés TD1 : Scénario Tableau enrichi
Fin • Intégration de données • Définition • Pourquoi ? • Les outils. • L’ETL TOS : • Qu’est-ce ? • Pourquoi ? • Travaux dirigés • Découverte Merci de votre attention