1 / 15

MIBŐL (NEM) lehet (várat) adattárházat építeni

MIBŐL (NEM) lehet (várat) adattárházat építeni. Kovács Zoltán Training360 Kft. z oltan.kovacs @training360.com. Az adatok természetes állapota. Nem egységes az adatszerkezet a különböző rendszerekben Az adatszerkezet változik Az adatérvényességi szabályok sokfélék, és nem állandóak

richard-jefferson
Download Presentation

MIBŐL (NEM) lehet (várat) adattárházat építeni

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. MIBŐL (NEM) lehet (várat) adattárházat építeni Kovács Zoltán Training360 Kft. zoltan.kovacs@training360.com

  2. Az adatok természetes állapota • Nem egységes az adatszerkezet a különböző rendszerekben • Az adatszerkezet változik • Az adatérvényességi szabályok sokfélék, és nem állandóak • Az adatok minősége folyamatosan romlik • A felhasználói igények, szerepek sokfélék és változnak • DQS Rendet kell tenni! • MDS Rendet kell tartani!

  3. Mit jelent a törzsadatkezelés? • Törzsadat (Master Data) • az üzleti tevékenységek szempontjából fontos központi adatok halmaza • vevők, szállítók, címek, termékek, árak, eszközök,… • Törzsadatkezelés (Master Data Management) • A törzsadatok központi kezelése • Az adatok minőségének folyamatos fenntartása • Adatmegosztás – előállítás és felhasználás • Példák • CRM – ERP objektumok megfeleltetése • Egységes címkezelés a szervezeten belül • Adattárház karbantartás

  4. MIT TUD az MDS? ÉrvényesítésÜzleti szabályok kezelése,adatkonzisztencia biztosítása ModellezésEntitások, attribútumok, hierarchiák • MDS Excel Add-In Web UI • Törzsadatkezelés Adategyeztetés(DQS integrált) Szerepkörök kezelése Tranzakciók naplózása Verziókezelés Integráció és megosztás Adatelérés SQL nézetekkel Kötegelt betöltés átmeneti táblákba Módosítás API-n keresztül Workflow és értesítések Külső (CRM, ..) DWH Excel

  5. MDS architektúra

  6. Adattárházak és MDS • Adatérvényesítési szabályok központi kezelése • Előkészített adatbetöltő infrastruktúra • Kész infrastruktúra a dimenziók, hierarchiák karbantartására • Webes és Excel felület • Szerepkör alapú biztonsági rendszer • Tranzakciók naplózása • Átmeneti táblák • Integrációs nézetek • Verziókezelés • Excel felület

  7. MDS - Ha már van adattárházunk • Hozzuk létre a megfelelő adatstruktúrát az MDS-ben • dimenziókat, • ténytáblákat, • egyéb entitások az adatérvényesítéshez. • Hozzuk létre az • üzleti szabályokat, • hierarchiákat, • integrációs nézeteket. • Állítsuk be a jogosultságokat • Módosítsuk a karbantartó eljárásokat • Átmeneti táblák -> MDS -> Integrációs nézetek

  8. DEMO Adattárház karbantartása MDS-sel MDS modell létrehozása Entitások létrehozása Excel-ben, meglévő dimenzió alapján Adatmódosítás Excel-ben Adatérvényesítés Dimenzió frissítése integrációs nézeten keresztül

  9. Tipikus adatproblémák

  10. Adatminőség megoldás komponensek Az adathibák megkeresése, korrigálása. Duplikátumok azonosítása, megkeresése. Tisztítás Párosítás Profilozás Monitorozás Az adatok elemzése, és a lehetséges problémák felderítése. Az adatminőség folyamatos figyelése, biztosítása.

  11. DQS koncepció • Tudásalapú • Tudásbázisra épül. • Szemantikus • Az adattartományok tartalmazzák a szemantikát. • Tudás-felderítés A tudás folyamatosan bővíthető a használat során. • Bővíthetőség • Felhasználói szabályokkal és külső referenciaadat-szolgáltatókkal. • Egyszerűség • Egyszerű felhasználói interfészek.

  12. DQS FOGALMAK • Tudásbázis (KnowledgeBase) • Tartomány (Domain) • Elemi vagy összetett adatdefiníció • Lehetséges értékek halmaza (szinonímákkal) • Tartományi szabályok • Referencia adatok • Egyeztetési definíció (Matching Policy) • Adategyezőségi szabályok • Tudás-felderítés (KnowledgeDiscovery) • Meglévő adatok elemzése • Adattisztítás • Adatok ellenőrzése és javítása a tudásbázis alapján (Cleansing) • Egyező adatok keresése (Matching)

  13. DQS folyamat • Tudásbázis létrehozása • Tartományok létrehozása • Adatok feltérképezése – meglévő adatokból • Szabályok definiálása • Referencia adatok megadása • Egyeztetési szabályok létrehozása • Adattisztítási feladatok létrehozása • Adattisztítási feladatok futtatása, nyomkövetése • Tudásbázis bővítése

  14. DEMO Adattisztítás DQS-sel Tudásbázis létrehozása meglévő adatokból Adatok ellenőrzése és javítása Adatbetöltés MDS-be Duplikátumok szűrése Adatok betöltése

More Related