Adattárházak

1. Adattárházak 2011.11.26. Láng András

2. Üzleti Intelligencia Cél: Jó minőségű adat Helyesen felhasznált információ + tudás + profit Üzleti Intelligencia Business Intelligence (BI)

3. Üzleti Intelligencia • Adatvagyon menedzsment Adatminőség  konszolidáció, adattisztítás Adatleltár  adatkatalógusok, metaadat-kezelés Törzsadatok  MDM, egyéb törzsadat nyilvántartások • Központi riportfejlesztés és riportmenedzsment Adattárházból  integrált, historikus forrásból Más rendszerekből  forrásrendszerből, adatbázis linken keresztül Törzsadat mulplikátumok felderítése, számuk csökkentése Adatpótlás, helyesbítés érvényes adatokkal Zajok kiszűrése Technikai és üzleti metaadatok nyilvántartása Off-line, on-line metaadat karbantartás Törzsadat-kezelés (Master Data Management) Pl. Központ Ügyféltörzs Pl. címadatszótárak, cégnyilvántartások

4. Adattárházak létjogosultsága • Egymástól elszigetelt rendszerek Lekérdezés csak az adott rendszer adataira készíthető • Operatív rendszerek Általában csak aktuális adatok Normalizált struktúrák • Adattárház Integrált Historikus Denormalizált adatszerkezet

5. Sokrétű felhasználás Komplexitás, erőforrás igény

6. Az adattárházak felhasználási területei (példák)

7. Az adattárház helye ED (TS) IS (TS) ED PS: Operatív rendszer (ProductionSystem) SS: Forrásrendszer (Source System) TS: Célrendszer (Target System) IS: Információs rendszer (Information System) ED: Elektronikus dokumentum (ElectronicDocument) IS (TS) PS (TS,SS) IS PS DWH PS ED (SS) PS (SS) PS (SS) PS (SS) PS (SS) PS ED PS (SS) PS

8. Az adattárház típusai Célrendszerek információs rendszerek adatpiac réteg transzformációs réteg háromrétegű staging réteg Adattárház adattisztítás, historizálás, struktúraváltás, kalkulációk, szűrés adatpiac réteg kétrétegű staging réteg Forrásrendszerek operatív és egyéb rendszerek

9. Az adattárház egy lehetséges felépítése Információs rendszerek … IS1 IS2 IS3 IS4 ISn Információ kinyerése Adatpiacok (ROLAP vagy MOLAP struktúrában) Kocka- generálás, Adatpiacosítás Historikus adatok (ROLAP struktúrában) Adattárház Delta-képzés (historizálás) Metaadat-kezelő rendszer Integrált előző napi adatok (ROLAP struktúrában) Struktúraváltás, tisztítás, transzformálás Forrásrendszerek előző napi lenyomata (OLTP struktúrában) Szűrés, közös platformra hozás Forrásrend-szerek … PS1 PS2 PS3 PS4 PSn

10. Az adattárházak fejlesztése Kétféle fejlesztési metódus: • Big Bang A Big Bang fejlesztés során felmérik a szervezek különböző egységeiben az aktuális és lehetséges (releváns) igényeket, majd felépítik az adattárházat, beleértve az adatpiacokat is. • Inkrementális Az inkrementális fejlesztés alkalmazásánál egy igény jelentkezése során felépítenek egy (esetleg több) adatpiacot. Az igénynek nyilvánvalóan olyannak, kell lennie, amely kielégítése adattárház igénybe vételével lenne célszerű. Az előbbi értelemszerűen hosszabb átfutási idejű ás költségesebb fejlesztést igényel, mint az utóbbi. (Természetesen a változáskövetéssel elkészülő újabb adatpiac verziók is fejlesztés révén valósulnak meg.)

11. Az adattárházak fejlesztése 1. inkremens 2. inkremens 3. inkremens Az inkrementális fejlesztés ábráján az egy nemegy adatforrást jelez, hanem a fejlesztéshez felhasznált forrásrendszerek halmazát. DM DM DM DM DM DM DWH DWH PS PS PS PS PS PS Inkrementális Big Bang PS

12. Az adattárházak fejlesztése

13. Az adattárházak fejlesztése A fejlesztés menete (mindkét esetben): • Igények felmérése, követelmények meghatározása • Logikai adatmodell elkészítése (az igények lefordítása) • Forrásadatok megkeresése, forrásrendszerek feltérképezése • Fizikai adatmodell elkészítése (platformfüggően valamennyi objektumra) • Megvalósítás • Tesztelés (felhasználói – adattartalmi, performanciális, regressziós) • Ősfeltöltés (az adattárház feltöltése a régebbi adatokkal pl. archív adatbázisokból) • Élesítés A két legalapvetőbb különbség a hagyományos és az adattárház fejlesztés között a fenti 3. és 7. pont. A 3. pont a forrásrendszerek integrálásából , a 7. pont az adatok historikus mivoltából adódik.