690 likes | 883 Views
Dátové sklady. Pokročilé dátové technológie Genči. Obsah. Literatúra Pojem INFORMÁCIA Motivácia pre DWH Bližší pohľad na DWH Š tr uktúra DWH Metadata Komponenty DWH Nástroje (Tools). Literatúra.
E N D
Dátové sklady Pokročilé dátové technológie Genči
Obsah • Literatúra • Pojem INFORMÁCIA • Motivácia pre DWH • Bližší pohľad na DWH • Štruktúra DWH • Metadata • Komponenty DWH • Nástroje (Tools)
Literatúra [1] Lacko L.: Datové sklady, analýza OLAP a dolování dát s příklady … . Computer Press. Brno. 2003 [2] Paulraj Ponniah: Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals. 2001. John Wiley & Sons, Inc.ISBNs: 0-471-41254-6 (Hardback); 0-471-22162-7 (Electronic)
Literatúra (pokr.) [3] Ralph Kimball, Margy Ross: The Data Warehouse Toolkit. Second Edition. 2002. Wiley Computer Publishing. [4] W. H. Inmon: Building theData WarehouseThird Edition. 2002. John Wiley & Sons, Inc.
Pojem INFORMÁCIA[1] • Údaje sa stávajú informáciami, ak • máme údaje; • vieme, že máme údaje; • vieme, kde máme tieto údaje; • máme k nim prístup; • zdroju údajov môžeme dôverovať.
Hierarchia informačných úrovní Múdrosť Znalosti Informácie Údaje
Motivácia pre DWH • Exekutíva potrebuje informácie (napr.) kvôli rozhodnutiu: • kde postaviť ďalší sklad; • ktorú produktovú líniu rozvíjať; • ktorý tržný segment by mal byť posilnený • t.j. potrebuje realizovať strategické rozhodnutia a pre ne potrebuje strategickú informáciu
Strategická informácia • Nemôžu ju poskytnúť OLTP systémy • Neslúži pre denno-denné riadenie spoločnosti
Vyplývajúce protirečenia • Organizácie majú veľké množstvo dát ale • IT zdroje a systémy nie sú schopné efektívnym spôsobom toto množstvo dát premeniť na strategickú informáciu
Informačná kríza • Nie kvôli nedostatku dát, ale preto, že dáta nie sú použiteľné pre strategické rozhodovanie • Dôvody: • Údaje sú v spoločnostiach rozložené naprieč mnohými typmi nekompatibilných štruktúr a systémov
Prevádzkové systémy (spracovanie objednávok, skladová evidencia, fakturácia, ...)nie sú navrhované pre poskytovanie strategickej informácie. • Ak potrebujeme poskytovať strategickú informáciu, musíme spracovať dáta uložené v rôznych typoch systémov. • Iba špeciálne navrhnuté DSS alebo IS môžu poskytovať strategickú informáciu.
Koncepcia dátového skladu • Vezmite všetky dáta ktoré máte v organizácii, vyčistite a transformujte ich a následne poskytujte užitočnú strategickú informáciu
Inmonová definícia DWH William (Bill?) Inmon, považovaný za otca dátových skladov, definoval DWH takto: • “A Data Warehouse is a subject oriented, integrated, nonvolatile, and time variant collection of data in support of management’s decisions.”
Časovo závislé (time-variant) dáta • Prevádzkové systémy – aktuálne hodnoty dát. • Dáta v dátovom sklade sú určené na analýzy a podporu rozhodovania. • Dátový sklad, vo svojej podstate, musí obsahovať historické dáta a nielen aktuálne hodnoty. Dáta sú ukladané ako obrazy (momentky, fotky; z angl. snapshots) minulých a súčasných období. • Každá dátová štruktúra v dátovom sklade obsahuje element času.
Zdrojové dáta • Produkčné systémy • Interné dáta (spreadsheets) • Archívné dáta (pásky) • Externé dáta (akcie, úroky, kurzy …)
Dočasné úložisko (data staging) • Extrakcia (Data Extraction) • Transformácia (Data Transformation) • Prenos dát (Data Loading)
Dôležitosť METADÁT Users to compose and run the query can have several important questions: • Are there any predefined queries I can look at? • What are the various elements of data in the warehouse? • Is there information about unit sales and unit costs by product? • How can I browse and see what is available? • From where did they get the data for the warehouse? From which source systems? • How did they merge the data from the telephone orders system and the mail orders system? • How old is the data in the warehouse? • When was the last time fresh data was brought in? • Are there any summaries by month and product?
Metadata v dátovom sklade obsahujú odpovede na otázky ohľadom dát v dátovom sklade
Metadata v OLTP • V prevádzkových systémoch nepotrebujeme poznať „podstatu“ uložených dát. • Neexistuje požiadavka „user-friendly interfejsu„ na prístup k obsahu databázy. • „Data dictionary“alebo „systémovýkatalóg“sa využíva iba pre systémové potreby (IT potreby).
Metadata v DWH • Používatelia potrebujú dostatočné podklady k tomu, aby boli schopní prezerať a „skúmať“ obsah dátového skladu. • Používatelia potrebujú poznať význam (zmysel) jednotlivých dátových položiek. • Používateľom musí byť zabránené urobiť nesprávne závery analýz potenciálne vyplývajúce z nesprávnej interpretácie sémantiky dát. • Bez adekvátnej podpory v oblasti metadát, používatelia veľkých dátových skladov sú úplne stratení!
Typy Metadát • Metadata v dátovom sklade delíme do troch kategórií: • Prevádzkové (Operational) Metadáta • Extrakčné a Transformačné (Extraction and Transformation) Metadáta • Používateľské (End-User) Metadata
Prevádzkové metadáta • Data for the data warehouse comes from several operational systems of the enterprise. • These source systems contain different data structures. • The data elements selected for the data warehouse have various field lengths and data types. • In selecting data from the source systems for the data warehouse, you split records, combine parts of records from different source files, and deal with multiple coding schemes and field lengths. • When you deliver information to the end-users, you must be able to tie that back to the original source data sets. • Operational metadata contain all of this information about the operational data sources.
Extraction and Transformation Metadata • Extraction and transformation metadata contain data about the extraction of data from the source systems, namely, the extraction frequencies, extraction methods, and business rules for the data extraction. Also, this category of metadata contains information about all the data transformations that take place in the data staging area.
End-User Metadata • The end-user metadata is the navigational map of the data warehouse. It enables the end-users to find information from the data warehouse. The end-user metadata allows the end-users to use their own business terminology and look for information in those ways in which they normally think of the business.
Data Acquisition • Dataacquisitioncovers the entire process of extracting data from the data sources, moving all the extracted data to the staging area, and preparing the data for loading into the data warehouse repository. • The two major architectural components are source data and data staging.