380 likes | 784 Views
Data Warehouse, Data Mart, OLTP & OLAP. Apa Data Warehouse ?. Merupakan database yang berisi data dari beberapa system operasional yang terintegrasi , teragregrasi dan terstruktur sehingga dapat digunakan untuk mendukung analisa dan proses pengambilan keputusan dalam bisnis. Products.
E N D
Apa Data Warehouse ? • Merupakan database yang berisi data daribeberapa system operasional yang terintegrasi, teragregrasidanterstruktursehinggadapatdigunakanuntukmendukunganalisadanprosespengambilankeputusandalambisnis Products Brands Cost Suppliers Mktg Customer Care Sales Information Clients Operational data
Mengapakitaperlu Data Warehouse? • Apakahandamemilikidata detail historiuntuktujuananalisa ? • Berapabulandari data histori yang diperlukanuntukdi-online-kan ? • Apakahandamenyimpan level detail yang benar? • Apakahandadapatmenganalisapenjualanuntuktiapprodukdarisetiapdaerahsebelumdansesudahstrukturpelaporanpenjualandi-reorganisasi ? • Data warehouse dibangundengantujuanmemecahkansemuapersoalantersebut.
Tujuan • Mendukungpengambilankeputusan, bukanuntukmelaksanakanpemrosesantransaksi • Data warehousehanyaberisiinformasi-informasi yang relevanbagikebutuhanpemakai yang dipakaiuntukpengambilankeputusan
TinjauanHistori • Tahun 1970-an aplikasikomersialpertamadibangun => dibangunpadacomputer mainframe • Tahun 70-an danawal 1980 => minicomputers seperti Digital's PDP-11 dan VAX 11/780 membuatharga hardware turundrastis • munculnyadatabase relasional • tahun 1979, Oracle sebagai software komersialpertama • kemunculanPersonal Computer (PC), komputasiberalihdari mainframes kesystem client/server • Tahun 1980-an • system OLTPdibangundenganmenggunakan system relasional
Era Kemunculan Data Warehouse • Dan padaakhirtahun 1980-an danawaltahun 1990-an, mulaidilakukantinjauanbisnissecaramenyeluruh, sehinggamuncullahenterprise data warehouses untukpertamakalinya • Istilah data warehouse dikenalkanpertama kali oleh Bill Inmon
Ciri-ciri Data Warehouse Terdapat4 karateristik data warehouse: • Subject oriented – Data yang disusunmenurutsubyekberisihanyainformasi yang pentingbagipemrosesan decision support. – Database yang semuainformasi yang tersimpandikelompokkanberdasarkansubyektertentumisalnya: pelanggan, gudang, pasar, dsb. – Data-data disetiapsubyekdirangkumkedalamdimensi, misalnya: periodewaktu, produk, wilayah, dsb, sehinggadapatmemberikannilaisejarahuntukbahananalisa.
Ciri-ciri …(contd.) • Integrated – Jika data terletakpadaberbagaiaplikasi yang terpisahdalamsuatulingkunganoperasional, encoding dataseringtidakseragamsehingggabila data dipindahkanke data warehouse maka coding akandiasumsikansamasepertilazimnya. • Time-variant – Data warehouse adalahtempatuntukstoring data selama 5 sampai10 tahunataulebih, data digunakanuntukperbandinganatauperkiraandan data initidakdapatdiperbaharui. • Non volatile – Data tidakdapatdiperbaharuiataudirubahtetapihanyadapatditambahdandilihat
Sifat Data Warehouse • Kelompokvariabelatau parameter disebutDimensionspada On-Line Analytical Processing (OLAP) • Multidimensional yang berartibahwaterdapatbanyaklapisankolomdanbaris (Iniberbedadengantabelpada model relasional yang hanyaberdimensidua) • Berdasarkansusunan data sepertiitu, amatlahmudahuntukmemperolehjawabanataspertanyaanseperti: “Berapakahjumlahproduk 1 terjualdiJawa Tengah padatahun n-3?”
Data warehouse melihatkedalam data untukmenemukaninformasi • Aktifitasutamanyaadalahquery, ataumembaca data. • Aktifitasperubahan (update) hanyaterjadipadasaat data di-load kedalam warehouse. • Materialized views ditambahkan pula sejak Oracle 8iuntukmeningkatkanperformansipadasaatmelakukanaggregasidan summary pada data.
Analisa yang diperolehdari Data Warehouse • Tidakcukuphanyadenganmengetahuikeuntungan yang diperolehtahunini, seoranganalisjugaperlumengetahuikeuntunganpadasetiapperiodewaktutertentuuntuksetiapprodukdisetiaparea geografistertentu. • Seoranganalisperlumembandingkanpenjualanbulaninidenganbulan yang samapadatahunsebelumnya.
Data warehouse membutuhkandesain database yang berbeda • Data warehouses didesainuntukbisamelakukan query secaracepat. • Informasiditurunkandari data lain, dilakukanrolling up data untukdijadikanringkasan (summaries), dilakukanoperasidrilling down untukmendapatkaninformasilebih detail, ataumelihatpola yang menarikataumelihattrend (kecenderungan). • Desain yang sesuaiadalahdenganmenggunakanskema star yang diperkenalkanmulaipertamaoleh Ralph Kimball
Pendekatan dimensional padaskema Star • Mengorganisasi data kedalamtable faktadantabeldimensi. • Dimensi-dimensidalamskema star digunakanuntukmelakukananalisadanmengorganisasi data. • Desainlogikaditampilkandalambentukrepresentasifisik yang akanmengoptimalkanperformansidanmanajemen. • Dalamhalini, Tabel, constraints, indexes, danpartisididefinisikan.
Data warehouses sebagai system terpisah • Mengapakitaperlumengkopi data darisatu system ke system lain untukmembangun warehouse? • Alasan: system operasionaltidakberisi data histori(data time series – atau data yang mengandungdimensiwaktu), sehingga data tidak available untukdianalisa. • Jugaskema data system operational tidakdidesainuntukkeperluanquerikecerdasanbisnis(business intelligence queries).
Data warehouse dibangundari system operasional • Membangun warehouse melibatkanekstraksidata darisystem operasional, dikombinasikandenganinformasitambahandaripihakketiga, mentransformasinyakedalam format yang seragamdandi-load kedalam database. • 80% waktudigunakanuntukproses extraction/ transformation/load (ETL) : menempatkan data, menulis program untukekstraksi; memfilter, danmembersihkan data; mentransformasi data kedalamskemapengkodeanstandart; kemudian me-load data kedalam data warehouse.
Contoh format yang tidaksama • Produkdengankode "1234" disebutdengan “roti” sementaraditempat lain "1234“ disebut “kue” • Kodeprodukdirepresentasikandengankarakter yang dipisahkandengantanda ‘-‘(xxx-xx-xxx) sedangkanditempat lain direpresentasikandengankarakter yang dipisahkandengantandaspasi (xxx xx xxx). • Untukatribut gender pada table customer digunakannilai "0" atau "1." Sedangkandi system lain, digunakan "M" atau "F.“ • Perbedaanmatauang yang tidaksamauntuk data penjualan, digunakan rupiah, dollar atau euro.
Software Data Warehouse • Data warehousedapatdibangunsendiridenganmenggunakanperangkatpengembanganaplikasiataupundenganmenggunakanperangkatlunakkhusus yang ditujukanuntukmenanganihalini • Beberapacontohperangkatlunak yang digunakanuntukadministrasidanmanajemendata warehouse: • HP Intelligent Warehouse (Hewlett Packard) • FlowMark (IBM) • SourcePoint (Software AG)
Data Mart • Data marts adalahsubyekspesifikatauaplikasispesifikdari data warehouses yang berisi data untuksatu line bisnistertentusemisalpenjualanataupemasaran. • Ruanglingkupdata mart lebihkecil, data didapatkandarisumber yang lebihsedikit, danwaktuimplementasinyajugalebihpendek.
Tipe Data Mart • Data marts bisabersifatdependent atauindependent, tergantungpadasumberinformasinya. • Sumberinformasiuntuk data mart yang bersifat dependent adalahdata warehouse itusendiri. • Sedangkan data mart bersifat independent jikatidakterdapat data warehouse, dan data diekstraksecaralangsungdari system operasional.
Software Data Mart • SmartMart (IBM) • Visual Warehouse (IBM) • PowerMart (Informatica)
Online Transaction Processing (OLTP) • Suatu class program ygmemfasilitasidanmengaturaplikasiberorientasitransaksi, khususnyauntukdata entry dantransaksipencarianpadasejumlahindustri. • Meliputi banking, airlines, mailorder, supermakets
OLTP Vs Data Warehouse Workload • Data warehouse didesainuntukmenampungquerydalamjumlah yang besar • OLTP hanyamendukungoperasitertentu Data modification • Data warehouse diupdate data secara regular (setiapminggu/ hari) memakaiteknikmodifikasi data shg user tidaksecaralangsungmengupdate data warehouse • Pada OLTP, user melakukanproses update data secararutindanlangsung • v vv
OLTP Vs Data Warehouse (contd.) SkemaDesain: • Data warehouse biasanyaternormalisasisecarasebagianbahkandalamkeadaantidakternormalisasi • OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete danmeningkatkankonsistensi data Typical operation • Data warehouse menjalankan query yang memprosesbanyakbaris(ratusanataumilyaran), contoh :total penjualansemuacustomer pada akhirbulan • OLTP hanyamengkasesrecord tertentu, contoh :mencari data order untuk customer tertentu
OLTP Vs Data Warehouse (contd.) Historical data • Data warehouse menyimpan dataselamabeberapabulanatautahun. Hal inimendukungproses historical analysis • OLTP menyimpan data hanyabeberapamingguataubulan
Online Analytical Processing (OLAP) • Suatujenispemrosesan yang memanipulasidanmenganalisa data bervolumebesardariberbagaiperspektif (multidimensi). OLAP seringkalidisebutanalisis data multidimensi (atributdimensi & ukuran). • Saatini OLAP lebihseringterdengardenganistilah BI (Business Intelligent) • Cara untukmenganalisa data-data perusahaandenganbegitumudahyaitudengancara'Drag & Drop', sehingga data-data tersebutbisamenjadisuatuinformasi yang lebihbernilai
Untukmempermudahandamengingattentang OLAP adalah'Fast Analysis of Shared Multidimensional Information' atau'FASMI'.FASTberartibahwainformasi yang akandilakukansangatcepat, untukmemproses data 1,000,000 transaksihanyamembutuhkanwaktu +/- 2.5 menitdengan 10 dimensidan 3 jenisukuran.ANALYSISberartibahwa system dapatmencakup 'Business Logic' dan data analisastatistik yang relevandengan data-data yang tersedia.
SHAREDberatibahwa system inidiimplementasikandengansuatu system keamananuntukmenjagakerahasiaaninformasi. Sehinggasetiap user dapatdiatursesuaikebutuhan.MULTIDIMENSIONALadalahsuatukuncikebutuhanterhadappenggunaanaplikasi OLAP. Setiapaplikasiiniharusselalumengandungunsur multi dimensi.INFORMATIONadalahsemua data danturunaninformasi yang dibutuhkan, dimanapundanbagaimanapun data ituharuslahberhubungandenganaplikasi.
Kemampuan OLAP • Konsolidasimelibatkanpengelompokan data. Sebagaicontohkantor-kantorcabangdapatdikelompokkanmenurutkotaataubahkanpropinsi. Transaksipenjualandapatditinjaumenuruttahun, triwulan, bulan, dansebagainya. Kadangkalaistilahrollupdigunakanuntukmenyatakankonsolidasi • Drill-downadalahsuatubentuk yang merupakankebalikandarikonsolidasi, yang memungkinkan data yang ringkasdijabarkanmenjadi data yang lebih detail • Slicing and dicing (ataudikenaldenganistilah pivoting) menjabarkanpadakemampuanuntukmelihat data dariberbagaisudutpandang
SoftWare OLAP • Express Server (Oracle) • PowerPlay (Cognos Software) • Metacube (Informix/Stanford Technology Group) • HighGate Project (Sybase)
Tugas • Caricontohartikelaplikasipenggunaandatawarehouse,datamart, OLAP, OLTP! • Berikanilustrasidalamaplikasiproses-proses: • Slice & dice • Roll up & Drill down • Tugasdikumpulkanminggudepanpadahari yang sama!