INSTRUMENTE UTILIZATE PENTRU INTEGRAREA DATELOR

1. INSTRUMENTE UTILIZATE PENTRU INTEGRAREA DATELOR Cursul 6

2. Agenda • Sisteme de gestiune a bazelor de date • Sisteme de gestiune a depozitelor de date • Instrumente pentru federalizarea datelor • Instrumente pentru migrarea datelor

3. 1. SGBD • un ansamblu complex de programe care asigură interfaţa între o bază de date şi utilizatorii acesteia. • Rolulunui SGBD • a defini şi descrie structura BD, printr-un limbaj propriu specific, conform unui anumit model de date; • aîncărca/valida datele în BD respectând restricţiile de integritate impuse de modelul de date utilizat; • a realiza accesul la date pentru diferite operaţii (consultare, interogare, actualizare, editare situaţii de ieşire), utilizând operatorii modelului de date; • aîntreţine BD cu ajutorul unor instrumente specializate (editoare, utilitare (shells), navigatoare, convertoare etc.); • a asiguraprotecţia BD sub aspectul securităţii şi integrităţii datelor.

4. Exemple de SGBD • Oracle • DB2 • Informix • Paradox • MySQL • Progress • SQL Server • Ingress II • MS Access • Visual FoxPro

5. 2. Instrumente de gestiune DW • Oracle Hyperion • Oracle Data Integrator • SAP BI

6. Cognos Actuate Arcplan Board International Business Objects Cognos Information Builders Microsoft MicroStrategy Oracle Panorama Software QlikTech SAP SAS Institute Tibco Spotfire Business Objects Hyperion 6

7. Piatainstrumentelor BI

8. Hyperion BPM • Hyperion Business Performance Management (BPM) – suita modulara de aplicatii care ofera suport pentru intreg ciclul de dezvoltare: • stabilirea obiectivelor • modelare • planificare • monitorizare • analiza • raportare

9. Hyperion Business Performance Management (BPM) • managementul resurselor +business intelligence • a reorientat semnificativ suita Oracle BI -> surse multiple (Oracle cat si non-Oracle) • produse complementare la BI • un sistem de planificare, • produse de consolidare financiara • un server multisursa OLAP puternic

10. Hyperion Performance Management • Hyperion Financial Performance Management • Oracle Hyperion Financial Management • Oracle Hyperion Planning • Oracle Hyperion Performance Scorecard • Oracle Hyperion Strategic Finance • Oracle Hyperion Capital Asset Planning • Oracle Hyperion Workforce Planning • Oracle Hyperion Financial Data Quality Management • Oracle Essbase • Oracle Hyperion Data Relationship Management • Hyperion Reporting Tools

11. Produse Hyperion

12. ESSBASE - Extended SpreadSheetdataBASE Motor MOLAP cu capacitati de procesare analitica sporita Drill, pivot, select, comparare, ordonare, sortare, filtrare, calcule, adnotari si write back Realizare de rapoarte cu viteza sporita Un motor de calcul avansat – reorganizarea datelor in functie de frecventa si ordinea de acces

13. ESSBASE – analizamultidimensionala Cuburi multidimensionale - dimensiuni, ierarhii, fapte capabilitati de analiza si calcul, filtre de securitate, API Scripturi de calcul - MDX Multidimensional Expresion - functii de calcul si aplicatii de suport multicub. instrument foarte rapid de interogare pentru un numar mare de utilizatori, pentru un setfoarte mare de date si modele de business foarte complexe

14. Putere de calcul Agregari Alocari Planificare de scenarii Logica automata de business / Business rules 350 functii Se pot urmari variatiile rapoartelor de cheltuieli Serii dinamice de timp

15. Hyperion Foundation Services • Un set de instrumente si servicii BI care permit realizarea EPM • Ofera suport atat pentru BI cat si pentru EPM • BI Foundation include un model unificat al metadatelor Common Enterprise Information Model, accesat de toate instrumentele end-user • Hyperion Analytic services - server OLAP • BI Foundation e folosit si de Oracle Real-Time Decisions – platforma bazata pe reguli de analiza si previzionare care permit luarea deciziilor in timp real • Functionalitati: • Provisionarea userilor • Definirea autentificarii externe • Sincronizarea metadatelor si a datelor • Managementul taskurilor

16. Componente Hyperion Essbase • Analytic Services – stocheaza cubul de date; serverul functioneaza ca o resursa partajata gestionand stocarea, calculele, sortarea • Analytic Administration Services – baza de date si interfata administrativa a Analiytic Service= punct de acces unic la mai multe Analytic Server. Aici se pot proiecta, dezvolta, intretine aplicatii si baze de date pe Analytic Server. • Analytic Integration Services – foloseste ODBC pt conectare la diferite surse de date Oracle, DB2, SQL Server, etc. Optiune de drill-down din depozitul de date (multidimensional) in baza de date relationala. • Analytic Provider Services – asigura clusterizarea bazei de date multidimensionale pe mai multe masini

18. Hyperion Data Integration Management • Platforma de integrare a datelor care permitecompaniilorsaacceseze, integreze, transformesi mute date intre Hyperion siteoreticorice alt sistem, cu oricefrecventasi in orice format • Arhitecturascalabilabazatapemetadateoferasuportpentrucelemaicomplexeprocese de integrare a datelor • OferaserviciiETL pt. Hyperion Essbase, Planning, Financial Management • Componente: • InformaticaPowerCenter Client • InformaticaPowerCenter Server • InformaticaPowerCenter Repository Server • Adaptori care permit incarcarea de date din Informatica • Hyperion Enterprise • Hyperion Essbase • Hyperion Planning • Hyperion Financial Management • Hyperion Translation Manager

19. Oracle Data Integrator

20. Oracle Data Integrator ODI Oracle Data Integrator ofera o tehnologie Extract Load and Transform (ELT) care imbunatateste performanta si reduce costurile de integrare a datelor. instrument performant de transfer, transformare si sincronizare a datelor intre sisteme informatice prin programe in timp real, in mod sicron si asincron; design modularizat, inovativ, conectivitate cu toate marile baze de date, aplicatii datawarehouse si aplicatii analitice

22. Knowledge Modules • componente ale tehnologiei Oracle Data Integrator Open Connector instruite sa proceseze un anumit set de task-uri pe o anumita tehnologie sau set de tehnologii • RKM (Reverse Knowledge Modules) – pentru reverse engineering al modelelor de date pentru o anumita tehnologie • LKM (Loading Knowledge Modules) – pentru a extrage date din tabelele sursa ale bazei de date si alte sisteme( fisiere, middleware, mainframe) • JKM (Journalizing Knowledge Modules) – folosite pentru a crea un log al modificarilor de date (insert, update si delete) a bazelor de date sursa pentru a contoriza modificarile • IKM (Integration Knowledge Modules)) – pentru a incarca date in tabelele tinta • CKM (Check Knowledge Modules) – pentru a verifica integritatea constrangerilor • SKM (Service Knowledge Modules) – pentru a genera cosul necesar pentru crearea serviciilor de date

23. Mod de functionare • In faza de design: se va alege o interfata si pentru fiecare dintre etapele ei (incarcare, verificare, etc) se vor specifica regulile functionale (mapari, constrangeri, etc.) si modulele de cunoastere care se vor folosi. • In faza de RUN : ODI va folosi regulile functionale, KM-urile, optiunile KM-urilor si metadate continute in Repository(modele, topologii) pentru a genera automat un set de taskuri pentru a procesa jobul definit. Taskurile includ conexiune, managementul tranzactiei si codul adecvat pt task

24. SAP BI

25. SAP Netweaver

26. SAP BI (Business Information Warehouse) • Business Content = container ce cuprinde • Infocuburi (peste 420), • Query-uri (peste 1700), • Rapoarte si • Roluri utilizator cu specific industrial si functional= solutii preconfigurate pentru diferite industrii • Extractori („plug-in“) - extragerea datelor din SAP ERP si incarcarea in SAP BW • complet (full extraction) sau • partial (delta extraction).

27. SAP Bi arhitectura pe 3 nivele • Business Explorer:destinat interacţiunii cu utilizatorii de cunoştinţe, prin interfata de raportare şi analiză (Business Explorer) • BEx Browser (organizarea foilor de calcul în canale şi clustere) • BEx Analyzer (crearea de rapoarte standard, personalizate şi ad hoc). • Business Information Warehouse Server: • Administrator Workbench: managementul SAP BW. • Meta Data Repository (Depozitul de metadate): metadate economice dar şi tehnice. • Staging Engine (Motorul pentru scenarii): maparea datelor, coordonează procesul de transpunere în metadate. • InfoCube (Infocubul): depozitul central de date, unde sunt gestionate caracteristicile şi indicatorii. • Operaţional Data Store (ODS): depozitul central temporar al datelor interogate în cadrul sistemului BW. • Procesorul OLAP : analizează datele OLTP agregate. • Source Systems: include sursele de date diverse: SAP ERP, sisteme non-SAP, fişiere de date, dar şi sistemul BW

28. Arhitectura SAP Business Intelligence

29. Integrareadatelor • Integrare prin interfete: fisiere text, DB-Link & API. • Procesul ETL in BW este greoi, dificil • Adesea se prefera alte instrumente ETL • IBM DataStage • IBM Cognos

30. 3. Instrumente de federalizare a datelor Cele mai populare • SAP BusinessObjects Data Federator; • Sybase Data Federation; • IBM InfoSphere Federation Server; • Oracle Data Service Integrator; • SAS Enterprise Data Integration Server.

31. Cele de varf …(Ian 2012, Forrester Report)

32. Metode de federalizare • federated views - view-uri create pe mai multe tabele sau surse de date cu ajutorul unor API; utilizate de aplicatii BI sau portaluri (folosind standarde JDBC, ODBC, ADO.NET) • data services – ofera posibilitatea de federalizare atat pentru aplicatii SOA, cat si non-SOA • data mashups – combinarea virtuala a datelor din diferite surse (rapoarte, dashboard, cuburi, structuri de date) si prezentarea rezultatelor ca obiecte reutilizabile afisate in mod interactiv intr-un browser (standarde deschise REST, SOAP OVER HTTP, JMS ETC). • caches – patrare in memoria cache a rezultatelor interogarilor frecvente pt o viteza m. buna; pot fi sincronizate automat periodic • virtual data marts – care folosesc abstractizarea pentru a obtine din depozitul de date exact datele pentru care ar fi fost construit un data mart fizic; …

33. 4. Instrumentepentrumigrareadatelor • Oracle Migration Workbench • Oracle SQL*Loader şi Import/Export • Ispirer SQLWays • Embarcadero DT/Studio • Microsoft DTS

34. Oracle Migration Workbench

35. Oracle SQL*Loader şi Import/Export