600 likes | 788 Views
Üzleti igények kielégítése az SQL Server 2000 Analysis (OLAP) Services segítségével Kővári Attila OLAP csoport vezető kovari @novosys.hu NOVOSYS kft. http: //www.novosys.hu. Tartalom. Alapfogalmak Mi az OLAP? Az OLAP-pal szemben támasztott követelmények
E N D
Üzletiigények kielégítése azSQL Server 2000Analysis (OLAP) ServicessegítségévelKővári AttilaOLAP csoport vezetőkovari@novosys.huNOVOSYS kft.http://www.novosys.hu
Tartalom • Alapfogalmak • Mi az OLAP? • Az OLAP-pal szemben támasztott követelmények • OLAP és DW, Adatbázis építés (elmélet) • Az Analysis (OLAP) Server felépítése • Tárolás • Felösszegzés • Adatbázis építés • Eladások elemzése • Pénzügyi modellezés • Nagy mennyiségű adatok kezelése • Elemzés az Interneten keresztül
… 10 évvel ezelőtt Valamit ki kell találni • Túl sok adat - túl kevés információ • Do while van türelmem • Kérdés • Riport End • A vezetőség a válaszokat tegnapra kéri
A megoldás:A cél: • Egy olyan technológia, vagy adatmodell kialakítása amely eleget tesz a következő követelményeknek • Gyorsaság • Felhasználó barátság • Elemzés/Döntés központúság • Új fogalom született: OLAP
Mi az OLAP?2. A szó jelentése • Betűszó: On-Line Analytical Processing • Az “On Line” kifejezés jelentése az OLAP szóban: • OLAP ≠ On Line adathozzáférés a tranzakciós rendszerekhez: • OLAP = Egy tetszőleges döntés meghozatalához szükséges információ lekérdezése nem lehet több, mint néhány másodperc
A gyorsaság megvalósítása • Ahhoz, hogy a gyorsaság megvalósuljon szakítanunk kell a meglévő adatmodellekkel, az elemzéshez szükséges információkat egy új helyen vagy modellben kell tárolni
A gyorsaság megvalósításahárom lehetőség • I. Új adatmodellek kialakítása relációs alapokon (Csillag és hópihe sémák) • II. Új tárolási struktúra kialakítása. Kialakult a többdimenziós adatbázis • III. A kettő előnyeit ötvöző új technológia kialakítása ROLAP, MOLAP(OLAP), HOLAP
A gyorsaság megvalósításaSzeparált adatbázisok Működtető rendszerek Döntés támogató (OLAP) Rendszerek Az elemzéshez Szükséges információk átemelése Egyirányú, periódikusan ismétlődő, ellenőrzött folyamat Elemi és aggregált adatok Elemi tranzakciók
Az elemzés központúság megvalósítása1. Technikai követelmények • Csak és kizárólag a döntéshozáshoz és elemzéshez szükséges információk tárolása • Aggregáltság • idősor
Az elemzés központúság megvalósítása1. Funkcionális követelmények • Többdimenziós nézet • Szeletelés • Lefúrás • Rotálás • Beágyazás Külföld Belföld Össz. Vevő Összes cikk Almaíz Narancsíz Barackíz 300330360390 150160170180 100110120130 5060 70 80 Q1 Q2 Q3 Q4
Az elemzés központúság megvalósítása2. Adatbázis Objektumok • Adatbázis • Adatkocka • Dimenziók • Hierarchiák • Mértékek Külföld Belföld Össz. Vevő Összes cikk Almaíz Narancsíz Barackíz 300330360390 150160170180 100110120130 5060 70 80 Q1 Q2 Q3 Q4
Összefoglalás1. • Az OLAP egy technológia: Lehet relációs és többdimenziós és mindkettő • A Kulcs: • Sebesség (lekérdezés sebessége): • Függ • Tárolás típusa, • Dimenzió elemeinek számától • Adatbázis méretétől dimenziók számától NEM • Elemzési képesség • Függ: • Adattartalom • Kliens
Összefoglalás2. OLAP Stratégiai döntéshozatalt Támogató többdimenziós rendszerek Lassú adatbeolvasás Könnyen és gyorsan Elkészíthető Komlex lekérdezések Működtető rendszerek (OLTP) • Napi működést támogató tranzakciós rendszerek (Mission Critical) • Gyors adatbeolvasás és hatékony tárolás • Nehezen, lassan elkészíthető komplex lekérdezések Táblázatkezelők • Kevés adat hatékony elemzése • Inkonzisztencia (hiányzó kódrendszer)
Összefoglalás3. OLAP technológiát használhatnak a következő rendszerek • Vezetői Információs Rendszerek (Management Information System), (VIR, MIS) • Döntéstámogató Rendszerek (Desision Support System, DSS) • üzleti intelligencia (Business intelligence, BI) • EIS (Executive Information System)
Tartalom • Alapfogalmak • Mi az OLAP? • Az OLAP-pal szemben támasztott követelmények • OLAP és DW, Adatbázis építés (elmélet) • Az Analysis (OLAP) Server felépítése • Tárolás • Felösszegzés • Adatbázis építés • Eladások elemzése • Pénzügyi modellezés • Nagy mennyiségű adatok kezelése • Elemzés az interneten keresztül
OLAP és Data WarehousingA folyamat Adattárház, adatraktár • Az OLAP a felhasználók eszköze OLAP OLTP adatok Transzformáció Külső adatok Felhasz- nálók
Adatbázis építés (elmélet) Relációs elemek Többdimenziós adatbázis építéséhez szükségesek a következő elemek* • Dimenzió táblák • Tény táblák • Ezek kapcsolatát leíró csillag séma vagy hópihe séma * Nem szükséges SQL srv, de célszerű
Adatbázis építés (elmélet) Dimenzió tábla • A dimenzió táblák tartalmazzák az egyes dimenzióértékek azonosítóit, megnevezéseit, tulajdonságait, és szülő-gyerek kapcsolatukat • A dimenzió táblák denormalizáltak
Adatbázis építés (elmélet) Dimenzió tábla • A dimenziót leíró információkat elhelyezhetjük egy vagy több táblában • Ha egy dimenzión több különböző szintszámú hierarchia helyezkedik el akkor célszerű külön táblában tárolni.
Adatbázis építés (Elmélet) Tény táblák Dimenziók Mértékek • Atény tábla az adatkocka relációs megfelelői
Adatbázis építés (elmélet) A csillag séma • A csillag séma tartalma • Egy központi tény tábla • dimenzió táblák • csillag • formát alkotva
Adatbázis építés (elmélet) Csillag séma Tény tábla Dimenzió tábla
Adatbázis építés (elmélet) Hópehely séma • A dimenzió hierarchiáját több dimenzió tábla írja le • Normalizáltabb, mint a csillag séma • Gyengébb teljesítmény • Nehezebben átlátható
Adatbázis építés (elmélet) Hópehely séma Dimenziótáblák Ténytábla
OLAP és Data Warehousing Adatbetöltés OLTP adatok OLE DBfor OLAP,ADO-MD DW tároló OLAP Server DTS Ügyfél alkal-mazás Külső adatok
OLAP és Data Warehousing A költségek kocka feltöltése • Az előadás végén árbevétel arányos nyereséget fogunk számítani • Költségek kocka • Értékesítés kocka • Költségek kocka felépítése • Dimenziók: Cikkek, Időszakok, mutatószámok(fix és vált ktg.) • Mértékek: Ft Demo…
Összefoglalás • OLAP helye a DW terminológiában • Csillag és hópihe sémák • Hogyan tölthetjük fel a relációs adatbázist és a kockákat
Tartalom • Alapfogalmak • Mi az OLAP? • Az OLAP-pal szemben támasztott követelmények • OLAP és DW, Adatbázis építés (elmélet) • Az Analysis (OLAP) Server felépítése • Tárolás • Felösszegzés • Adatbázis építés • Eladások elemzése • Pénzügyi modellezés • Nagy mennyiségű adatok kezelése • Elemzés az Interneten keresztül
Analysis Manager SQL Server Data Warehouse OLEDB for OLAP OLE DB for DM DSO PivotTable Service Egyéb OLE DB adatforrás TCP/IP HTTP OLAP tároló ADO MD Analysis Services felépítés Analysis Services Alkalmazás Analysis Server OLAP motor Data Mining motor Feldolgozás Lekérdezés
Analysis Services felépítésRugalmas OLAP tároló • A felhasználók és az alkalmazások csak a kockát, mint struktúrát látják
Lekérdezés 1: Jan98, Feb98, és Mar98 eladások Lekérdezés 2: Q198 eladások Lekérdezés 3: Q198 & Q197 eladások Analysis Services felépítésClient/Server gyorsítótár Akliens is számol Kliens 1) Jan98, Feb98, és Mar98 eladások 2) Q198 eladások 3) Q197 eladások Csak a Q197 kell Szerver 1) Jan98, Feb98, ésMar98 eladások 3) Q197 eladások
Analysis Services felépítésAdattárolás - nincs adatrobbanás • Adatrobbanás • Más OLAP rendszerek régi problémája • Üres cellák tárolása • Összegzések tárolása • 100% sűrű tárolás • Az üres cellákat nem tároljuk • Intelligens összegzések • Csak a lehetséges összegzések egy (kis) részét számítjuk ki előre • Adattömörítő algoritmusok
Analysis Services felépítésRészleges aggregálás 2. Kérem az összes eladást,az összes termékre, az összes . . . Az összegzéslegmagasabb szintje Legrészletesebbösszegzések Ténytábla
Tartalom • Alapfogalmak • Mi az OLAP? • Az OLAP-pal szemben támasztott követelmények • OLAP és DW, Adatbázis építés (elmélet) • Az Analysis (OLAP) Server felépítése • Tárolás • Felösszegzés • Adatbázis építés • Eladások elemzése • Pénzügyi modellezés • Nagy mennyiségű adatok kezelése • Elemzés az interneten keresztül
Értékesítés elemzése • Üdítő italok értékesítésével foglalkozó vállalat • Dimenziók • Cikk (Kiegyensúlyozott) • Időszak (Kiegyensúlyozott) • Vevő (NEM kiegyensúlyozott) • Mértékek • Ft, Liter
Értékesítés elemzése Kiegyensúlyozott hierarchiák ország Mo Régió Reg1 Reg2 Reg3 város Győr Zeg Miskolc Pécs Komló Paks • Egyforma dimenzió szintek • Azonos mélység • Nincsenek rések • Adott szinten minden tagnak ugyanannyi őse van
Értékesítés elemzése Szakadozott hierarchiák • Eltérő mélység All ország Magyaro. Lengyelo. Nincs vagy Nem szükséges Régió Régió1 Régió2 város Zeg Miskolc Krakkó Varsó Győr Demo…
Régió 1 2000. Január Ft Cikk Liter Alma 66 300 Ananász 10 100 10 Birsalma Dátum Ft SzlaSzám 1-Jan 6.5 1234 20 1235 5-Jan 9-Jan 7.25 1236 10-Jan 6.75 1237 17-Jan 5.75 1238 20 1239 24-Jan Értékesítés elemzése TovábbFúrás (Drill-through) Demo…
Értékesítés elemzése Actions • Linkek • Office dokumentumhoz • Internet/Intranet oldalakhoz • Futtatható állományokhoz… stb… • Kapcsolódhatnak • Cellákhoz • Dimenzió értékhez • Dimenzióhoz • Kockához • Pl.: Szerződések Demo…
Értékesítés elemzése Multi-Dimensional Expressions (MDX) • Lekérdező nyelv • Számított mezők • Biztonsági szabályok az MDX segítségével beállíthatók • Actions • Az OLE DB for OLAP spec. része • TM1, SAS, Analysis Services, Whitelight, stb.
Értékesítés elemzése A kocka részei • A kocka cellákból áll • Minden cellának van egy címe • Egy-egy koordináta, minden dimenzió szerint • Egy cellához az összes koordinátájának meghatározásával juthatunk el
Értékesítéselemzése (Cikk.barackital ,Time.Q2, Vevo.[Vevők összesen]) (Cikk.Narancsital ,Time.2000, Vevo.[Vevők összesen]) (Cikk.[Cikkek összesen] , Time.Q1, Vevo.külföld) Külföld Belföld Vevők összesen Cikkek összesen Almaital Narancsital Barackital Banánital Q1 Q2 Q3 Q4 2000
Értékesítés elemzése Rendezett n-esek (tuples) • (Cikk.Almaital, Time.Q2, Vevo.[Vevők összesen]) KÜLÖNBÖZŐ dimenziókból származó tagok vesszővel elválasztott listája • (Cikk.Almaital,Time.Q2) = • (Cikk.Almaital,Time.Q2, Vevo.CurrentMember)
Értékesítés elemzése Halmazok AZONOS dimenziókból származó tagok vesszővel elválasztott listája • {Almaital, Barackital} • [1999].Children • Sum(Time.members) Demo…
Tartalom • Alapfogalmak • Mi az OLAP? • Az OLAP-pal szemben támasztott követelmények • OLAP és DW, Adatbázis építés (elmélet) • Az Analysis (OLAP) Server felépítése • Tárolás • Felösszegzés • Adatbázis építés • Eladások elemzése • Pénzügyi modellezés • Nagy mennyiségű adatok kezelése • Elemzés az interneten keresztül
Vált. Költség Fix költség Árbevételarányos nyereség Nyere- ség Árbev Árbev Fede- zet Pénzügyi modellezés Szülő-gyerek dimenziók : - - Demo…
Pénzügyi modellezés Visszaírás (write-Back) • A kockán engedélyezni kell a visszaírást • Az adatkocka tetszőleges cellájába írhatunk vissza • Nem közvetlenül a kockába, vagy a tény táblába írunk • Változás tábla a relációs adatbázisban • Az Office 2000-ben nincs felhasználói felület a visszaírásra
Cella szint Alkalmazott Összes fizetés Terület Dimenzió elem Kelet 50 N/A 16500 Alkalmazott Terület Közép 75 $7,600 20625 Nyugat 35 N/A 10500 Kelet 50 16500 Közép 75 20625 Nyugat 35 10500 Pénzügyi modellezés Biztonság • Cella adatára vonatkozó jogosultság • Dimenzió értékre vonatkozó jogosultság