370 likes | 532 Views
Porovnání integračních technologií RNDr. Ondřej Zýka ondrej.zyka@profinit. eu. Obsah. Integrační technologie Replikace ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration Porovnání Rychlost Konzistence Reakce na chyby
E N D
Porovnání integračních technologií RNDr. Ondřej Zýka ondrej.zyka@profinit.eu
Obsah • Integrační technologie • Replikace • ETL – Extract/Transform/Load • EAI – Enterprise Application Integration • EII – Enterprise Information Integration • Porovnání • Rychlost • Konzistence • Reakce na chyby • Úroveň abstrakce • Architektura • Bezpečnost • Dostupnost
Integrační technologie • Replikace – 70 léta • ETL – 80 léta • EAI – 90 léta • EII – dnes • Vývoj kopíruje • schopnosti techniky • požadavky praxe • rozhled a schopnosti uživatelů
Další termíny • MDM Master Data Management • EIM Enterprise Information Management • CDI Customer Data Integration • PIM Product Information Management • SOA Service Oriented Architecture • ESA Enterprise Service Architecture • EDQ Enterprise Data Quality
Replikace • Synchronizace vícenásobného uložení dat • databáze • souborové systémy • Pracuje se nejčastěji na úrovni tabulek (nebo databází, souborů, adresářů) • Replikace podmnožiny sloupců, řádků, replikování procedur • Konsistence na úrovni transakcí
Technologie • Asynchronní × Synchronní zpracování • Dvojfázový commit ?? • Snapshots × Transakce • kdy načítat snapshot • čtení transakčního logu • použití triggerů • Publisher-subscriber × Point-to-point • kdy považovat transakci za doručenou
Replikace • Cíle • Zvládnout velké tabulky, velké objemy dat • Nízké nároky na komunikace • Jednoduché nastavení • Jednoduchá správa • Slabiny • Malá možnost transformace dat • Malá možnost podmíněných transformací nebo složitějších konstrukcí
Replikace - administrace Sybase replication server - sledování a administrace replikačního systému
ETL • Přenos dat mezi jednotlivými úložišti (souborové systémy, databáze) • Konsolidace dat, úpravy dat, čištění dat • Zdroje na úrovni tabulek (datasetů) • Zpracování v dávkách, nástroje na správu dávek • Řešení chybových stavů
ETL • Cíle • Vytváření a správa složitých transformačních pravidel • Použití metadat • Zvládnutí velikých objemů dat • Zvládnutí složitých plánovacích a transformačních schémat • Slabé stránky • Malá možnost reakce na události • Určeno pro dávkové zpracování (datové sklady) • Zdroje jsou zejména tabulky
ETL – návrh transformací Informatika PowerCenter – design transformace
ETL – dohled zpracování Informatika PowerCenter – dohled zpracování
Enterprise Application Integration Analýza jednotlivých transformací mezi dvěma systémy
Enterprise Application Integration • Propojení systémů na vyšší abstraktní úrovni • Maximální nezávislost (aplikací, operačních systémů, dodavatelů,…) • Cíle • Vytvořit univerzální koncepty (J2EE) • Vytvořit univerzální protokoly (XML, JDBS, JMS, CORBA, COM, SOAP, WSDL, BPEL) • Vytvořit univerzální prostředí (J2EE servery, BizTalk, Commerce Server 2000)
Enterprise Application Integration • „Slabá“ stránka – komplikovanost • Snaha vyřešit vše • Integrace na úrovni dat • Integrace uživatelského prostředí • Integrace aplikací • Sjednocení metodologie integrace • Vazba na obchodní procesy • Identifying sources of data • Building the enterprise metadata model • Process integration • Identifying application interfaces • Mapping information movement • Selecting and applying the technologies • Testing • Maintenance
Enterprise Application Integration Vytváření transformačních schémat v BizTalk Serveru
SOAP • SOAP (Simple Object Access Protocol, 1998) zpráva je XML dokument, který obsahuje následující elementy: • Obálku (Envelope) element, která identifikuje XML dokument jako SOAP zprávu - povinný • Hlavičku (Header) element, který obsahuje popis - nepovinný • Tělo (Body), které obsahuje informace požadavku nebo odpovědi - povinné • Chybový (Fault) element, který obsahuje informace o chybých při zpracování • Některá pravidla syntaxe • SOAP zpráva musí být XML • SOAP zpráva musí použít SOAP Envelope jmenný prostor • SOAP zpráva musí použít SOAP Encoding jmenný prostor • SOAP zpráva nesmí obsahovat DTD • SOAP zpráva nesmí obsahovat XML Procesní instrukce
WSDL • WSDL (Web Services Description Language, 2001) je specifikace jak popsat web servisy společnou XML gramatikou. Popisuje čtyři základní části dat: • Informace o interface popisuje veřejně dostupné funkce. • Informace o datech pro všechny požadavky a odpovědi. • Transportní informace o použitých protokolech. • Adresní informace pro nalezení specifikovaných služeb
BPEL • BPEL (Business Process Execution Language, 2003) je jazyk umožňující organizovat činnost systémů nabízející vebové služby. • Používá XML • Používá webové služby jako základní prvky • Definuje (popisuje) podnikové procesy • Definuje množinu operací protojující web servisy • Podporuje operace s datovými prvky • Podoruje definici instancí procesů • Podporuje životní cyklus instancí procesů • Podporuje transakční model • Nedefinuje grafickou reprezentaci, neobsahuje metodologii
BPEL příklad <assign> <copy> <from variable="c1"/> <to variable="c2"/> </copy> <copy> <from variable="c1" part = "address"/> <to variable="c3"/> </copy> </assign>
Příklady produktů pro EAI • Sun: • Java Composite Application Platform Suite (SeeBeyond) • Messaging Server • Tibco • DataExchange • Rendezvous • Enterprise servis bus • Oracle • BPEL Process Manager • IBM • WebSphere Enterprise Service Bus • WebSphere MQ
Enterprise Information Integration • Provázanost koncových uživatelů s aktuálními a integrovanými daty • Distribuce jednotných pohledů na data v celém podniku • Cíle • Vytvořit jednotné prostředí pro práci s daty z mnoha systémů • Zapojení mnoha prostředí pro práci s daty • Přístup k strukturovaným (databáze), semistrukturovaným (email, XML, spreadsheed) a nestrukturovaným (dokumenty, content management systems) datům • Umožnit měnit některá data
Enterprise Information Integration • Důvody • zvýšení typů koncových uživatelů • mobilita koncových uživatelů • Slabiny • Extrémní komplikovanost • Málo zkušeností • Nutnost reagovat na vývoj technologií
Enterprise Information Integration Architektura EII podle IPEDO. Inc
Architektura řešení Pattern Point-to-point Jednoúčelové aplikace Podle Sun - J2EE
Architektura řešení Pattern Systém hub Založeno na midleware
Architektura řešení Pattern Spoke-hub Centralizované řešení
Jádro Schopnosti Obsah vlastního katalogu Abstrakce dat Robustnost Škálovatelnost Propustnost Administrovatelnost Konektory Typy Množství Připravenost Složitost nastavení, konfigurovatelnost Upravovatelnost Možnost vlastního vývoje Architektura integračních technologií
Porovnání • Rychlost • Konzistence dat • Chování v případě výpadků • Dostupnost, bezpečnost
Rychlost • Synchronní přenos • Dvoufázový commit • Distribuované transakce • Asynchronní přenos • Okamžitě • Jak rychle infrastruktura dovolí • Dávkově • Na vyžádání • Další faktory • Jak zatížíme zdrojové systémy • Jak zatížíme komunikaci • Jak zatížíme cílové systémy
Konzistence dat • Konzistence • Na úrovni transakcí • Na úrovni aplikací • Na úrovni podniku • Otázky • Jak zajistit konzistenci • Jak zjistit, že je porušena • Jak reagovat, když zjistíme, že je porušena
Chování v případě výpadků • Výpadky provozních systémů • Výpadky integračních technologií • Schopnost zálohovat konfiguraci • Schopnost automatického zotavení po výpadku • Schopnost technologií • Uchovávat přenášená data • Vypořádat se s duplicitou dat • Zjistit výpadek v datech
Dostupnost • Závislost jednotlivých komponent na dostupnost ostatních komponent • Zvýšení nároků na dostupnost pro adresářové služby a služby autentizace • Zvýšení nároků na dohled background systémů • Zvýšení nároků na dostupnost pro všechny systémy
Bezpečnost • Formát přenosu mezi systémy • Napadnutelnost, oprávněnost přístupu • Důvěryhodnost middleware • Jednotný systém ověření a práv
Závěr • Dotazy • Komentáře • Připomínky • Upřesnění Děkuji za pozornost