500 likes | 622 Views
Very basic of DW, BI, CPM. Slavko Kastelic CSO. Agenda. Osnovni gradniki Data Warehouse Business Intelligence Corporate Performance Management. Minard 1869: Napoleon March to Moscow. http://cuatrotipos.files.wordpress.com/2008/03/chart-minard.jpg. US – Fiscal Chart From 1799-1870.
E N D
Very basic of DW, BI, CPM Slavko KastelicCSO
Agenda • Osnovni gradniki • DataWarehouse • BusinessIntelligence • CorporatePerformanceManagement
Minard 1869: Napoleon March to Moscow http://cuatrotipos.files.wordpress.com/2008/03/chart-minard.jpg
US – Fiscal Chart From 1799-1870 http://timoelliott.com/blog/2010/03/stunning-business-intelligence-visualizations…-from-1830.html
Dashboards Year 2010 Scorecards Statements
Management Influences Influences Process Sources Results Metrics Metrics Controller Goals Other Data Flow
Popotovanje od doma do službe • Cilj: služba
Vmesni cilji Točka #1 Točka #2 Start Cilj 5 min 5 min 5 min
Spremljanje - interno • KPI - Dashboard • Alerts – voda, olje, pas, nesreče, gneče... • Analize – board computer
Bottom Line: 1812 vs 2010 • Nothing New - Except
Vpliv latence na poslovno vrednost ukrepa Poslovnidogodek Podatekv DW Informacija Ukrepanje Visoka Poslovna vrednost Nizka Čas podatki analize odločitve
Vpliv latence na poslovno vrednost ukrepa Poslovnidogodek Podatekv DW Informacija Ukrepanje Visoka Poslovna vrednost Nizka Čas podatki analize odločitve
Osnovni gradniki MDM – Master Data Management CPM BI Finančno in regulatorno poročanje DI Poročanje DQ Viri Relacijski, ASCII, XML, aplikacije, ... Interni viri ERP Analiza kock OLAP analiza Planiranje in budžetiranje Host DWH Podatkovno skladišče(DW) Salesforce Ad hoc analiza Marketing Modeliranje in Optimizacija profitabilnosti ETL Obveščanje Zunanji viri Finančna konsolidacija AJPES Banka Data Mining Data mart(DM) Registri Nadzorne plošče Inkazalci Vizualizacije Metadata
Definicija DW DW – DataWarehouse – Podatkovno skladišče Je zbirka podatkov: organizirana po poslovnih področjih, integrirani, zgodovinski in so nespremenljivi. Vse to za potrebe izboljšati proces odločanja. Vir: Bill Inmon Je kopija transakcijskih podatkov, ki so strukturirani za poizvedbe in analize. Vir:Ralph Kimbal, TheDataWarehouseToolkit Zgodovina DW: 1960ta - General MillsinDartmouth College, v skupni raziskavi razvijeta pojme “dimension” in “fact”. 1970ta- ACNielsenin IRI naredijo prve “datamarte” za potrebe prodaje. 1983 - Teradatapredstavi bazo podatkov, ki je zasnovaa posebej za sisteme za podporo odločanju. 1988 - Barry Devlin in Paul Murphy objavita članekAn architecture for a business and information systems vIBM Systems Journalkjer objavita terimin"business data warehouse". 1990 - Red Brick Systems predstavi Red Brick Warehouse, baza podatkov, ki specializirana za podatkovna skladišča 1991 - Prism Solutions predstavi Prism Warehouse Manager, programsko opremo za izgradnjo podatkovnih skladišč. 1991 - Bill Inmonobjavi knjigo Building the Data Warehouse. 1995 – Ustavnovljen je The Data Warehousing Institute, je organizacija ki promovira podatkovna skladišča 1996 - Ralph Kimballobjavi knjigoThe Data Warehouse Toolkit. Vir: Wikipedia
Gradniki DW Viri Analitika Aplikativni strežnik ETL, ELT Podatkovno skladišče Meta podatki
Transakcijski sistem • Dostop do podatkov je tipa pisanje in branje • Podatki so organizirani po aplikacijah • Podatki navadno niso standardizirani čez aplikacije • Zgodovina podatkov je ponavadi omejena na trenutno stanje Sistem je optimiziran za procesiranje transakcij in ne za analitiko.
Podatkovno skladišče Podatki v podatkovnih skladiščih so: • samo za branje • orientirani po področjih • integrirani • zgodovinski Finance Marketing Podatki o strankah Prodaja Nabava Proizvodnja Podatkovno skladišče je optimizirano za analitiko
ETL ETL • Ekstrakcija, Transformacijain Load-prenosje proces: • Ekstrakcije podatkov iz različnih podatkovnih virov • Čiščenje in integracija podatkov • Prenos podatkov v podatkovno skladišče
Meta podatki Podatkovno skladišče Open the district sales analysis. Select Sales_dollars, District_id From Fact_SkuDayStore Lookup_district District=District_id in Lookup_District Sales=Sum(Sales) in Fact_ItemDayStore Meta podatki
Definicija BI BI – BusinessIntelligence – Poslovna Inteligenca oz. Poslovno Obveščanje Izraz se nanaša na metode, tehnologije, aplikacije, prakso, ki pomagajo boljše razumeti poslovanje. Je arhitektura in zbirka integriranih rešitev na operativnem nivoju in nivoju podpore odločanja ter baz podatkov, ki poslovnemu svetu zagotavljajo enostaven dostop do poslovnih podatkov.Vir: Moss, Atre: BusinessIntelligenceRoadmap BI tehnologije nam omogočijo zgodovinski, trenutni in prediktivni vpogled v poslovanje. BI tehnologije vključujejo: Analitiko, OLAP, DataMining, Prediktivnoanalitiko, Alarme… Namen BI je boljša podpora poslovnega odločanja, lahko tudi rečemo, da je BI sistem za podporo odločanju (Decision Support System). BI in DW Velikokrat BI aplikacije uporabljajo podatke iz podatkovnih skladišč. Vsa podatkovna skladišča se ne uporabljajo za BI in tudi vse BI aplikacije ne potrebujejo podatkovnega skladišča. Zgodovina BI: 1958 – Je Hans Peter Luhn definiral izraz “BusinesIntellignece”, kot prezentacija dejstev na način, ki te vodijo h želenemu cilju. 1989 – Je HowardDresner(kasneje je postal analitik pri Gartner Group) predlagal BI kot skupni izraz ki opisuje: koncepte in metode kako izboljšati odločanje z uporabo “fact-based” sistemov. Vir: Wikipedia
Trgovina Izdelek Ljubljana Grozdje Koper Maribor Češnje Melone Jabolka Prodaja Hruške Stroški Dobiček Nabava ... Q1 Q2 Q3 Q4 Čas Pogled na podatke OLAP Maribor Maribor Maribor Češnje Češnje Češnje Češnje Češnje Q4 Vir: dr. Jurij Jaklič, dr. Mojca Indihar Štemberger
Data mining – podatkovno rudarjenje • Preprosto povedano: rudarjenje uporabljamo za odkrivanje vzorcev in povezav v podatkih z namenom boljših poslovnih odločitev.Robert Small, Two Crows • Je proces ekstrakcije veljavnih, prej nepoznanih informacij iz velikih baz podatkov, na podlagi katerih lahko ukrepamo.Cabena et al.: Discovering DM From Concept to Implementation • Avtomatizirano iskanje vzorcev, ki predstavljajo znanje in so implicitno spravljeni v velikih podatkovnih bazah, skladiščih in drugih velikih podatkovnih virih. • Tehnike, ki jih uporabljamo za iskanje spodaj ležečih struktur in povezav v velikih količinah podatkov.
Vrste problemov / naloge - DM • Karakterizacija in diskriminacija (opis razredov) • Asociacije (pravila povezav, kaj gre skupaj) • Klasifikacija (prireditev oznake) • Ocena (prireditev numerične vrednosti) • Napovedi (bodoče obnašanje) • Razvrščanje v skupine (clustering) • Evolucijska analiza (spremljanje sprememb obnašanja skozi čas - zaporedja)
Poročanje in OLAP nam dajeta informacije iz zgodovinskih dejstev nam podatkovno rudarjenje lahko pomaga napovedati dogodke v prihodnosti Poročanje in OLAP nam dajeta informacije iz zgodovinskih dejstev nam podatkovno rudarjenje lahko pomaga napovedati dogodke v prihodnosti DataMiningvs. OLAP/ROLAP
CPM Definicija CPM – CorporatePerformanceManagement – Upravljanje učinkovitosti poslovanja Je skupek upravljalskih in analitičnih procesov, ki omogočajo učinkovitost organizacije z namenom doseganja enega ali več izbranih ciljev. CPM je del BI, ki vključuje spremljanje, upravljanje učinkovitosti organizacije, glede na KPI (ključne dejavnike uspeha) kot so promet, stroški, povračilo investicije… Sinonimi: BPM, CPM, EPM Zgodovina CPM: Referenca CPM se pojavi v knjigi SunTzu z naslovom TheArtofWar. SunTzu razlaga,da moramo za zmago v bitki imeti dobro razumevanje naših prednosti in slabosti, enako velja za sovražnika. Pomanjkanje znanja na katerem koli področju se lahko konča s porazom. Leta 1989 HowardDresner, raziskovalec pri Gartnerju označi BI kot izraz, ki pod isto streho uvršča metode za izboljševanje poslovnega odločanja na podlagi dejstev.
CPM Aplikacije Budgeting, PlanningandForecasting DashboardsandScorecards ProfitabilityModelingandOptimization FinancialConsolidation Financial, StatutoryandMgmt. Reporting
BI Maturity Model maturity model that benchmarks your progress in data warehousing and business intelligence help you determine where you are, where to go next and how to get there Wayne W. Eckerson, Director of TDWI Research (TheDataWarehousing Institute) created 2004, renewed 2007, new aspects 2009
BI adoptionCurve • eight key categories(scope, sponsorship, funding, value, architecture, data, development, delivery) • fivestages, two gaps Source: TDWIResearch
1. Prenataland Infant Stage Typicaly • managementreporting (print) • operational reporting (OLTP) • spreadmarts (Excel, Access) • IT backlog -> powerfull end users • multiple truths • whathappened, willhappen Cross the Gulf • executive sponsorship • funding • data quality • manage change • manage people InformExecutives! Source: TDWIResearch
2. ChildStage Typical • first steps in DW • departmental • multiple data marts • first BI tool • query • reporting • ad hoc OLAP • power users • what happened EmpowerWorkers! Source: TDWIResearch
3. TeenagerStage Typical • single consistent DW • cross departmental • standards (project, methodology) • BI manager • self service for power users • casual users • what is happening Cross the Chasm • manage business changes • standardize semantics • move to corporate IT • prevent ‘report chaos’ • keep up with business needs Monitor Processes! Source: TDWIResearch
4. AdultStage Typical • strategic enterprise DW • unified architecture • fully loaded • flexible and layered • just-in-time delivery • dashboards & scorecards • predictive analytics • centralized management • competence center • whatshouldwe do DrivetheBusiness! Source: TDWIResearch
5. Sage Stage Typical • framework of standards • center of excellence • federated development • extended enterprise(customers, suppliers) • BI and data services • decisionautomation • what can we offer Drivethe Market! EDW becomescommodity. (like electricity, water, transportation) Source: TDWIResearch
BusinessValueand ROI - VALUE - COST Source: TDWIResearch
LocalControlvsEnterpriseStandards - STANDARDS - FLEXIBILITY Source: TDWIResearch
BI Usage - CASUAL USERS - POWER USERS Source: TDWIResearch
BI Insight - DATA FRESHNESS - DECISION LATENCY Source: TDWIResearch
? Slavko Kastelic Slavko.kastelic@crmt.com