240 likes | 339 Views
Kan vi fjerne ventetiden helt ?. Erfaringer fra DNV GL. Massively Parallel Processing (MPP) Database. Massively Parallel Processing (MPP) Database. DW Appliance er en spesialisert “Alt- i - ett-løsning ”. The DNV GL Group. DNV GL Group Headquarter: Oslo, Norway . Maritime. Oil & Gas.
E N D
Kan vi fjerneventetidenhelt? Erfaringerfra DNV GL
The DNV GL Group DNV GL GroupHeadquarter: Oslo, Norway Maritime Oil & Gas Energy Business Assurance • Headquartered in Hamburg, Germany • 5,600 employees • 80 countries • Headquartered in Høvik, Norway • 5,800 employees • 30 countries • Headquartered in Arnhem, Netherlands, core hub in Bristol, UK • 3,100 employees • 30 countries • Headquartered in Milan, Italy • 2,000 employees • 50 countries
DNV GL Global delivery capability and strong presence Europe / Africa / Middle East 10,000 staff Americas 3,000 staff Asia / Oceania 4,000 staff 2,500 Mill. EURO (2012) 100 countries 17,000 employees
BICC • BI Competency Center • Høvik • Shanghai • Gdansk • Arnhem • Hamburg • Totalt ca 40 årsverk • Ettglobalt team, der roller ogansvarfordelesuavhengigavfysiskplassering • Leverertjenestertilalle DNV GLs forretningsområder
BI-løsningen • >2000 tabeller • >2300 ETL-jobber • Ca 7 TB • 47 konseptuelle modeller i BI-verktøyet • Migrerereksisterendedatavarehustil en MPP-plattformIBM Pure Data for Analytics (Netezza)
Investment motivation • Main business pains are: • Long response time of reports for users • Poor support for self service BI • Costly development process • Main requirements are: • Scalability for future projects • Reduced need for tuning and custom solutions • Substantial uplift of existing performance
Ytelsesproblemer Bruker Hvorerflaskehalsen? • BI-verktøy • Nettverk • SAN • Database • DB-modellering • BI-verktøymodellering • Antallbrukere • Backup • …??? IIS BI-verktøy DW Disk
Potensiellefordeler med en DW Appliance BICC agility GIS-gruppen Forskning BICC Self service BI BICC development efficiency BICCAnalytical Services In-database statistics In-database GIS services Operations efficiency and reliability General performance improvements DW
Erfaringer • For å lykkes med en DW appliance må man tenkepåandre ting enntidligere • Hvordankan vi utnytteparallelliteten? • Move less, scan less • La arbeidshestenedralasset. Unngå å la “kusken” gjørejobbenihestespannet.
BI-rapporter • Self-service: • Konsulenterharfått en nyhverdag. Analyser somtidligeretok 3-8 timer tar nå under 3 minutter. • Tør å gjøre analyser somtidligereikkevarmulig • Harsluttet å eksportere data for viderebearbeiding. Jobber nåistedetinteraktivti BI-verktøyet • Brukernemener de nyemulighetenegirdem en sterkmarkedsposision.
BI-rapporter • Standardrapporter • Lanserer de førstestandardrapportenedenneuka • Forbedringpåmerkrevenderapporter, men der deterintensivprosesseringi BI-verktøyeterdetandretiltaksommågjøres. • Tidligere tester viserklarforbedring • De mesttidkrevenderapporteneviserstørstforbedring • Vi kombinererDW appliance med in-memory-teknologiirapporteringsverktøyet der deternaturlig.
ETL • Storforbedringilastetid • Eksempel: Finansiellkonsolidering • Tidligerehardettattopptil90 minutter å publisere tall. I enkelteperiodergjøresdette 6-8 ganger om dagen • Dettekannågjørespå ca. 15 min. • Andre tester harvistendabedreytelsesforbedring • For å oppnågoderesultatererdet en del ETL-jobber sommåtilpasses en MPP-tankegang.
Avansert analyse • GIS • Samarbeid GIS-teametog BICC • Direktenytteverdi • Prosjekter med størredatavolumer • Eksempel: GIS-analyse forbedretsegfra å bruke 8 timer til ca. 2,5 min • Avansertstatistikk • Samarbeid med forskerei DNV GL • Kontroll over DW appliancencenskapasiteterviktig for å unngå at krevendekalkulasjonerstjelerkapasitet. Stedlig/romliginformasjoner en naturlig del av en analyse
Økonomiog drift Økonomi • Prosjekter med størredatavolum • Termineringavservere • Forventer en redusertdriftskostnad med DW appliance Drift • Interne databaseoperasjonerersærseffektive. • Størrekontroll, men ogsåstørreansvar • Leverandøren tar et ansvarfor systemet. • Måavklareansvar for oppgavertidligerelevertavIT-infrastruktur
Migrering • Migreringertidkrevende • Samtlige ETL-jobber måmodifiseres • Tilpasningeri BI-verktøyet • Koordinering • Kvalitetssikring • Synkroniseringmellomgammelognyplattform • Standard for migreringsarbeid • Gode, automatisertetestrutinermåetableres, men kanværevanskelig. Eksempel: tegnsettelleravrunding. Hvaer et akseptabeltavvik? • Prosjektkoordineringogsamarbeid med annetpågåendearbeid.
Erfaringer? BICC agility GIS-gruppen Forskning BICC Self service BI BICC development efficiency BICCAnalytical Services In-database statistics In-database GIS services Operations efficiency and reliability General performance improvements DW
Innkjøpsprosess Bruker • Hvorforgjørenoe med databasen? (Er den problemet?) • DNV GL skaptefellesforståelsegjennom en analyseprosess • RFT og POC IIS BI-verktøy DW Disk
DNV GLs videre planer • Migrering • Høsteytterligereav DW appliancenspotensiale • Forsterkesamarbeidet med analytiskefagmiljøer • Bruke ELT for ytterligerereduksjonilastetid
Oppsummering • DW applianceteknologienløpervidere • Avansert analyse integreres • Brukerstyrt analyse blir en viktigere del avrapporteringsløsningene
Kristian Ramsrud kristian.ramsrud@dnvgl.com