Adattárházak és BI rendszerek megvalósítása

1. Adattárházak és BI rendszerek megvalósítása DW/BI projektek gyakorlati aspektusai Csillag Péter Ügyvezető csillagp@starschema.net

2. Bemutatkozás • A Starschema KFT adattárházakhoz és üzleti intelligencia rendszerekhez kapcsolódó konzultációs és fejlesztési tevékenységeket végez. • Konzultációs területek • Üzleti igények felmérése, üzleti specifikációk készítése • Eszköz kiválasztási konzultáció • Tender dokumentációk elkészítése • POC / Pilot projektek megvalósítása • Technikai, költség, projekt tervek elkészítése • Projektvezetés • Üzleti és technikai felhasználók oktatása www.starschema.net

3. Bemutatkozás • Fejlesztési területek • Adattárházas / BI rendszerek bevezetése, integrációja, üzemeltetése • Adattárházas / BI alkalmazások fejlesztése az üzleti igények alapján, komplett tervezési, elemzési megoldások megvalósítása • Adattárházas / BI rendszerek és alkalmazások 1-2-3rd level supportja • Meglévő adattárházas / BI rendszerek felmérése, elemzése, auditálása, source-to-target mapping és adatfelhasználási információk kigyűjtése saját fejlesztésű szoftveres megoldásunkkal (Business ObjectsTM és OracleTM rendszerekből) • Adattárházas / BI rendszerek és alkalmazások ügyfél igények szerinti customizációja, testre szabása, egyedi funkciók, kiterjesztések integrációja (főleg Business Objects Xi Java és VB API használatával) www.starschema.net

4. Bemutatkozás • Technológiák • "Hagyományos" Business Objects reporting termékvonal • Crystal reports • Crystal Xcelsius • BO rendszerek (BO 6.5 - Xi) ügyfél igények szerinti testre szabása, egyedi funkciók, kiterjesztések integrációja Java és VisualBasic API használatával • Business Objects Data Integrator, ETL folyamatok megvalósítása, • BO DI rendszerek üzemeltetése, tuningolása, automatikus monitoringja és customizációja • Oracle adatbázis és adattárház megoldások, DBMS, OWB, Discoverer fejlesztése, üzemeltetése • Oracle adatbázisok adattöltési és adatelérési, -felhasználási információinak kigyűjtése és elemzése • Opensource DW / BI • Adatbázistervezés • Adatvizualizáció és adatbeviteli (manuális és batch ) rendszerek megvalósítása www.starschema.net

5. Preambulum • A prezentációban szereplő, illetve az előadás közben elhangzó termék vagy technológia nevek, az azokkal kapcsolatban megfogalmazott vélemények a szerző tapasztalataiból származnak. • Ezek a vélemények nem támaszthatóak alá sem tényekkel, sem statisztikai adatokkal, sem mérésekkel, így nem képezhetik semmilyen komoly döntés alapját. • Aki mégis messzemenő következtetéseket vonna le a prezentációban szereplő információk alapján, az azt csak a saját felelősségére teheti. • A prezentációban szereplő csoportosítások, kategóriák a szerző véleményét tükrözik, nem illeszkednek semmilyen hivatalos információhoz, tartalmazhatnak hibákat, elírásokat. www.starschema.net

6. Tartalom A DW / BI projektek csoportosítása és tipizálása A DW / BI projektek jellemző feladatai A DW / BI technológiák csoportosítása A Business Objects termékek ismertetése Kérdések / válaszok www.starschema.net

7. Tipikus adattárház projekt típusok • Információ igény miatt • Éles verseny miatt, pl marketing adattárházak (dinamikusan változó igények) • Törvényi kötelezettségek (canned reporting) • Hatékonyság növelés, VIR (sok forrás, stabil struktúrák) • Egyéb vállalati információ igény, pl bónusz-számítás, szatellit rendszerek • Tranzakciós rendszerek tehermentesítése miatt • Vezetői ambíciók miatt • Ezek keveréke www.starschema.net

8. Projekt típusok jellemzői • Marketing adattárházak • Dinamikusan változó igények, adat struktúrák • What if elemzések, idősorok • Külső adatforrások (pl közvéleménykutatások) integrációja • MOLAP + fejlett BI technológiát igényel • Canned reporting • Beszámolók, heti sales riportok, jelentések, stb • Elvileg statikus riport igények (Magyarországon ez nem triviális) • Speciális (pl meghatározott formátumú, csatornájú) disztribúciót igényel • Hibamentesség elvárt (sem a folyamatban, sem az adatban nem lehet hiba) www.starschema.net

9. Projekt típusok jellemzői • VIR • A vállalaton belüli sok rendszerből használ adatot, bonyolult adatintegráció és ETL folyamatok • Vannak állandó és változó riport igények is – de az adatstruktúrák általában nem változnak. • A cégen belüli adatok konszolidációja miatt igényli a céges funkciók / adatszótárak konszolidációját is. • Olyan bonyolult, amilyen a vállalat maga • Egyéb • Ha már van adattárház – az egyéb adat igényeket is szolgáljuk ki innen (pl. Bónusz számítás, adat feladások más rendszerek felé, stb) www.starschema.net

10. Udvarlási fázis: Megkeresés informálódás RFP (Logikai design) Ajánlatadás / Proposal Mézes hetek: Követelmények véglegesítése Technikai design projekt terv erőforrás terv fejlesztési sztenderdek Együttélés / megvalósítás Infrastruktúra kialakítása DW adatstruktúrák design-ja Dimenziók feldolgozása Forrásrendszeri mapping Áttöltés Transzformációk, konszolidációs szabályok kialakítása Validációs riportok Tény adatok feldolgozása Forrásrendszeri mapping Áttöltés Transzformációk, aggregátumok kialakítása Validációs riportok Adatfelhasználás / Reporting Projekt fázisok / feladatok www.starschema.net

11. Projekt fázisok / feladatok Mézes hetek: • Követelmények véglegesítése • Technikai design (adatstruktúrák, folyamatok, ) • projekt terv • erőforrás terv • fejlesztési sztenderdek Udvarlási fázis: • Megkeresés • informálódás • RFP (Logikai design) Ajánlatadás / Proposal Együttélés / Megvalósítás Dimenziók feldolgozása • Forrásrendszeri mapping • Áttöltés • Transzformációk, konszolidációs szabályok kialakítása • Validációs riportok Tény adatok feldolgozása • Forrásrendszeri mapping • Áttöltés • Transzformációk, aggregátumok kialakítása • Validációs riportok • Infrastruktúra kialakítása (Dev/Teszt/Prod) • Élesbe állás • Pre- / Post GoLive Support • Dokumentáció • Integráció • Adatfelhasználás / reporting • Performancia Tesztelés • Integrációs / Üzleti tesztek www.starschema.net

12. DW / BI technológiák csoportosítása • Saját növekedéssel fejlődő technológiák • Példák: SASTM, InformaticaTM, MicrostrategyTM, TeradataTM, SAPTM, stb • Tulajdonságok • Drágák • Stabilak • Fókuszáltak • Akvizíciókkal növekvő technológiák • Példák: Oracle, MSTM, IBMTM, SAP, Business Objects • Tulajdonságok • Drágák • Nem stabilak (R2 előtt kifejezetten kockázatos a bevezetésük) • Az adat felhasználás széles körét lefedik www.starschema.net

13. Business Objects • Tények • 1990-ben alakították, Párizsban • Önmagában is a vezető BI szállítók közé sorolják • IDC és Gartner elemzések szerint a vezetők között van, bizonyos szempontok szerint piacvezető • Több mint 43 000 ügyfél, a Fortune 500 cégeknek 50% használja • 6200 alkalmazott, több mint 3000 partnercég • 2007-ben felvásárolja az SAP • 2008 januárjában jelennek meg az első „közös” csomagok www.starschema.net

14. Business Objects rendszerek • Intelligence Platform • Integrálja a BO funkciókat, elemeket, technológiákat • Riportoló technológiák • Reporting • Crystal reports • AdHoc Reporting • Hagyományos BO vonal, WebIntelligence, DeskI • Standard, Interaktív és analitikus riportok készítésére is alkalmas • Analytic Reporting • Voyager, SetAnalysis, TextAnalysis, MetadataManagementSystem, ... www.starschema.net

15. Business Objects rendszerek • Information Delivery • Dashboard and Visualization • Xcelsius • Dashboard Builder • Stb. • Mobile • LiveOffice • Information Discovery • Search and Navigation • Search Engine Integration www.starschema.net

16. Business Objects rendszerek • Information Management • Data Integration (ETL) • Data Quality • Data Federator (virtual integration) • TextAnalysis • Rapid Marts • BO Integration www.starschema.net

17. Business Objects rendszerek • Enterprise performance Management • Strategy Management • Business Planning and Consolidation • Financial Consolidation • Profitability and Cost Management • Spend Analytics • SAP / Business Objects Packages • BO reporting on SAP • DW on SAP www.starschema.net

18. Business Objects rendszerek testreszabása • Hagyományos BO vonal (riporting) • Szemantikus réteg használata (főleg relációs adatokra) • Full kliens technológia • WebIntelligence • Crystal • Hagyományos és beágyazott riportok • Xcelsius www.starschema.net

19. Business Objects rendszerek testreszabása • Igények, amik fölmerültek a BO (és más BI) rendszerekkel kapcsolatban • Xi verziókban a repository kódolt bináris állományban van, csak API-n keresztül érhető el. A metaadatok könnyen olvashatóvá (írhatóvá) tétele lehetővé teszi: • Security könyebb nyilvántartását • Source-to-Target Mapping generálást • Impact analízist • Hibakeresést • Tömeges riport módosítás. • Automatikus Univerzum módosítás. • Monitorozás • BackUp megoldások www.starschema.net

20. Befejezés, általános tanácsok • A módszertanok, szabványok „csak” segítséget adnak • A józan ész és tapasztalat az, aminek korlátoznia kell a kreativitást • Minden ügyfél / projekt / igény egyedi • Ne féljünk áthágni a módszertanok szabályrendszerét, ha indokolt • Ne féljünk a sokszínűségtől (az üzemeltetők úgyis korlátoznak, ha szükségét érzik), keressük meg a probléma megoldásához legjobban illeszkedő technológiát • Ne döntsünk egyedül, egy adattárházas projekt túl komplex hozzá www.starschema.net

21. Most már tényleg befejezem • Kérdések? • Elérhetőségek: csillagp@starschema.net illetve www.starschema.net • Köszönöm a figyelmet! www.starschema.net