1 / 18

OGSA DAI Systém pre prístup ku dátam a dátovú integráciu

OGSA DAI Systém pre prístup ku dátam a dátovú integráciu. Marek Ciglan Ústav informatiky, Slovenská akadémia vied. Motivácia. Rôzny užívatelia/aplikácie používajú rôzne frmáty pre uchovávanie dát Jednoduché textové súbory XML databázy Relačné databázy PostgreSQL Oracle DB2 MySql

wilbur
Download Presentation

OGSA DAI Systém pre prístup ku dátam a dátovú integráciu

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. OGSA DAISystém pre prístup ku dátam a dátovú integráciu Marek Ciglan Ústav informatiky, Slovenská akadémia vied

  2. Motivácia • Rôzny užívatelia/aplikácie používajú rôzne frmáty pre uchovávanie dát • Jednoduché textové súbory • XML databázy • Relačné databázy • PostgreSQL • Oracle • DB2 • MySql • Zložité pracovať s veľkým počtom rôznorodých dátových formátov • Zložité integrovať dáta z rôznych, heterogénnych zdrojov

  3. OGSA DAI - Prehľad • Podporuje rôzne typy dátových modelov • Súvory • Relačné databázy • XML databázy • Prístup k dátam cez jednotné interfacy • Rozširovateľný systém pre integráciu dátových zdrojov v gridovom prostredí • Poskytuje metadáta o dátových zdrojoch, ktoré sprostredkuváva • Zjednodušuje integráciu dát z rôznych dátových zdrojov

  4. Architektúra

  5. Aktivity nad dátovými zdrojmi • Aktivity nad relačnými databázami • Vykonanie SQL dotazu • Vykonanie SQL update príkazu • … • Aktivity nad XML databázami • Vykonanie XPath dotazu na XML dtabázov • Vykonanie XUpdate príkazu na XML dtabázov • … • Aktivity nad súbormi • Prístup k adresárom • Čítanie dát zo súboru • Manipulácia so súbormi v adresári • Zápis do súboru

  6. Aktivity doručovania dát • Získanie dát z URL • Dodanie dát na URL • Doručenie dát na GridFTP server • Získanie dát z GridFTP servera • Doručenie výsledkov aktivít do streamov • …

  7. Transformačné aktivity • ZIP kompresia dát • GNU-ZIP kompresia dát • GNU-ZIP dekompresia dát • XSLT transformácia dát • Rozloženie jediného bloku na viacero na základe separátorov • Agregovanie viacerých blokov do jedného

  8. Dátová Integrácia MySql XML database PostgreSQL Text File Oracle Data Warehouse

  9. Dátová Integrácia MySql XML database PostgreSQL Text File Ako previesť integráciu z týchto heterogénnych dátových zdrojov do centrálneho dátového skladu ? Oracle Data Warehouse

  10. Dátová Integrácia OGSA - DAI MySql XML database PostgreSQL Text File Oracle Data Warehouse

  11. Dátová Integrácia OGSA - DAI MySql XML database PostgreSQL Text File Select data Write data into file Compress file Transfer zip file Oracle Data Warehouse

  12. Dátová Integrácia OGSA - DAI MySql XML database PostgreSQL Text File Select data Read subset of file Write data into file Transform Compress file Compress file Transfer zip file Transfer zip file Oracle Data Warehouse

  13. Dátová Integrácia OGSA - DAI MySql XML database PostgreSQL Text File Select data Read subset of file Select data Read subset of file Write data into file XLST Transform Write data into file Transform Compress file Compress file Compress file Compress file Transfer zip file Transfer zip file Transfer zip file Transfer zip file Oracle Data Warehouse

  14. Dátová Integrácia • Ako vykonávať dátovú integráciu ? • Pripraviť špecializovanú JAVA aplikáciu napojenú na OGSA-DAI. • Použiť OGSA-DAI perform dokumenty • Perform Dokumenty • XML dokumenty • Popisujú operácie ktoré si prajeme vykonať nad dátovými zdrojmi <sqlQueryStatement name="myQuery"> <expression> select * from littleblackbook where id=10 </expression> <webRowSetStream name="myQueryOutput"/> </sqlQueryStatement>

  15. Perform dokumenty • Integrácia aktivít v perform dokumente <sqlQueryStatement name="myQuery"> <expression> select * from littleblackbook where id<100 </expression> <webRowSetStream name="myQueryOutput"/> </sqlQueryStatement> <deliverToGDT name="deliverQueryResults"> <fromLocal from="myQueryOutput"/> <toGDT streamId="otherServiceInput" mode="full"> http://localhost:8080/ogsa/services/ogsadai/SomeDAIService </toGDT> </deliverToGDT>

  16. Dátová bezpečnosť • Mapovanie rolí – proces autorizácie klientskej požiadavky pre prístup k dátovému zdroju • Dvojfázový proces: • Kontrola, či je užívateľ oprávnený pristupovať k dátovému zdroju • Získanie užívateľského mena a hesla (role) ktoré bude použité na prístup k dátovému zdroju • role map dokument obsahuje informácie potrebné pre tento proces

  17. Dátová bezpečnosť • Jednoduchý OGSA-DAI Role Map dokument <DatabaseRoles> <Database name="jdbc:mysql://host:6502/otherData"> <User dn="No Certificate Provided" userid="myUser" password="123"/> <User dn="/C=UK/O=eScience/OU=Aspatria/L=AeSC/CN=tom“ userid="superUser" password="myPassword"/> </Database> </DatabaseRoles>

  18. Záver Vďaka za pozornosť http://www.ogsadai.org.uk http://www-unix.globus.org/toolkit/docs/development/3.9.5/techpreview/ogsadai/

More Related