1 / 32

Datawarehouse

Datawarehouse. Transformasi Data. Febrianti Supardinah, ST.MM. 04. FASILKOM. Teknik Informatika. Komponen Datawarehouse.

kurt
Download Presentation

Datawarehouse

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Datawarehouse Transformasi Data Febrianti Supardinah, ST.MM. 04 FASILKOM Teknik Informatika

  2. KomponenDatawarehouse Connolly and Begg(2002) menjelaskan bahwa arsitektur data warehouse terdiri dari struktur dan komponen yang saling berhubungan satu sama lain dalam membangun data warehouse

  3. KomponenDatawarehouse Operasional Data * Berfokuspadafungsi-fungsitransaksional * Merupakanbagiandariinfrastrukturperusahaan * Detail, tidakadaredudansi, dapatdiupdate * Merefleksikannilaisekarang Operasional Data Store * Tempat penyimpanan sementaradari data operasionalsaatini * Menyuplai data yang sudahdiekstrakdarisistemsumberdandibersihkan * Menyederhanakanprosesintegrasidanrestrukturisasi data di DWH

  4. KomponenDatawarehouse 3. Load Manager * Menampilkansemuaoperasi yang terkaitdenganekstrakdan load data kedalam DWH * Data bisadiekstraklangsungdarisumber data atau ODS Warehouse Manager * Menampikansemuaoperasi yang terkaitdenganmanajemen data dari DWH : - Analisis data untukmenjaminkonsistensi - Transformasidanpenggabungansumber data dari ODS ke table DWH - Pembuatanindeksdan view pada table base - MembuatDenormalisasidanAgregasi, jikadiperlukan - Backing up dan Archiving Data

  5. KomponenDatawarehouse Query Manager * Menampilkansemuaoperasi yang terkaitdenganmanajemen query pengguna * Mengarahkan query pada table yang cocok * Menjadwalkanpelaksanaan query Detailed Data Komponen yang menyimpandetail data dalam skema database * Current Detail Data  Langsungdarioperasional database danmengacupada data perusahaansekarang contoh : profilpelanggan, data aktivitaspelanggan, data sales, data demografis * Old Detail Data  Current Detail Data yang berumuratauhistoridarisubyek area

  6. KomponenDatawarehouse Lightly dan Highly Summarized Data * Menyimpansemua data Lightly dan Highly Summarized yang sudahterdefinisisebelumnya yang dibuatoleh Warehouse Manager * Tujuan : meningkatkan performance query Back Up Data / Archive Data * Menyimpan Detailed Data dan Summarized Data dengantujuanmengarsipdanmelakukan backup

  7. KomponenDatawarehouse Metadata * Digunakanuntukmembangun, memelihara, mengatur, danmenggunakan DWH * Mengandunglokasidandeskripsi : - Komponen DWH (nama, definisi, struktur, danisidari DWH dan end user view) - Identifikasidaripembuatsumber data (record system) - Aturan-aturanintegrasidantransformasi yang digunakanuntukmempopulasikan DWH - Historidari update dan refresh DWH - Pola-polamatriks yang digunakanuntkperformamenganalisa DWH

  8. KomponenDatawarehouse End User Access Tools * Komponen yang menyediakan informasi dari data warehouse yang ada bagi user dalam membantu mengambil keputusan * Tools mencakup : a. Reporting dan Query Tool - Reporting : Menghasilkanlaporanoperasional yang teratur - Query : Relasi DWH untukdapatmenerima SQL atauuntukmenghasilkanpernyataan SQL agar dapatmelakukan query pada data yang disimpandalam DWH b. Application Development Tools - Dirancanguntukkebutuhan Client Server

  9. KomponenDatawarehouse End User Access Tools c. Executive Information System (EIS) Tool - Mendukungpengambilantingkattinggi d. OLAP Tool - Konsepmultidimensi - Mengizinkanpenggunauntukmenganalisis data menggunakan view yang kompleks e. Data Mining Tool Prosesmenemukankorelasi, pola, dangayabaru yang bermanfaatdengan ‘menggali’ data dalamjumlah yang banyakdenganmenggunakanteknikstatistikadanmatematika

  10. StrukturDatawarehouse Struktur DWH menurut Inmon (2005): Current Detail Level Older Detail Level Lightly Summarized Data Level Highly Summarized Data Level Aliran data terjadi dari environment operasional menuju environment DWH  Proses Transformasi terjadi Aliran data pada DWH selanjutnya berada pada tingkatan detail : • Current Detail Level  Older Detail Level • Summarize : Cuurent Detail Level  Lightly Summarized Data Level  Highly Summarized Data Level

  11. StrukturDatawarehouse

  12. StrukturDatawarehouse Current Detail Level Level terendahdari DWH Mencerminkankeadaan yang sedangberjalansaatini Data terlalulengkap/detail Belumbisamelakukananalisis Older Detail Level Data historical dari Current Detail Data yang merupakan hasil backup yang disimpandalam media penyimpanandenganfrekuensiakses yang relatifrendah Berupa backup data darikurunwaktu lama , misal : tahunan Penyusunandirectory harusmencerminkanumurdari data agar mudahdiakseskembali Dipakaiuntukmenganalisa trend yang akandihasilkan

  13. StrukturDatawarehouse Lightly Summarized Level Hasilringkasanatau summary dari Current Detail Belumdapatdigunakandalamprosespengambilankeputusankarenabelumbersifat “total summary” danmasihbersifat detail Biasanyaseringdigunakanuntukgambarandarikeadaan yang sedangberlangsungdansedangberlangsung Dirangkumberdasarkanperiodeataudimensisesuaikebutuhan Tingkatan data inidisebutDatamart Highly Summarized Level Hasilproses summary yang bersifat “total summary” Sangatmudahdiakses Dapatdigunakanuntukmendukungpengambilankeputusanterutamakalanganeksekutifperusahaan

  14. Aliran Data padaDatawarehouse Inflow Prosesberhubungandengan extraction, cleansing, loading data darisistemsumber * Pembersihan data yang kotor * Restruktur Data * Memastikan data sumberkonsistendengan data dalam DWH 2. Upflow Prosesberhubungandenganpenambahannilaidari data dalam DWH melalui summarizing, packaging, pendistribusian data * Meringkas data denganmenyeleksi, projecting, joining, dan grouping relational data kedalam view yang lebohbergunabagi user * Mengemasi data dengankonversi data yang telahdiringkaskedalam format yang lebihberguna, seperti : dokumenteks * Distribusi data kekelompok yang sesuai

  15. Aliran Data padaDatawarehouse 3. Downflow Prosesberhubungandengan archiving dan back up data. * Data yang sudah lama ditransferkealatpenyimpanan lain untjkmemeliharaperforma DWH * Memastikan data sekarangdapatdibangunulangtanpakehilangan data Outflow Prosesberhubungandenganpengadaan data agar tersediabagi end user * Accessing  Memuaskan request end-user untuk data yang dibutuhkan. Membuat environment dimana user dapatefektifmenggunakan query tools danmengaksessumber data yang tepat * Delivering  Proaktifmengirimkaninformasikepada end user

  16. Aliran Data padaDatawarehouse 5. MetaFlow Prosesberhubungandenganmanajemendari metadata * Deskripsiisi data dalam DWH * Apasaja yang adadidalamnya * Darimanadatangnya * Apa yang telahdilakukanpadanya Metadata harusselaludi update sejalandenganperubahan yang ada

  17. ETL Meliputi : Mengekstrak data darisumber-sumbereksternal Mentransformasikan data kebentuk yang sesuaidengankeperluan Memasukkan data ke target akhir, yaitu DWH Dapatdigunakanjugauntukmengintegrasikan data dengansistem yang sudahadasebelumnya

  18. ETL Tujuan: Mengumpulkan, menyaring, mengolah, danmenggabungkan data yang relevandariberbagaisumber Hasildari ETL : Data yang memenuhikriteria DWH seperti data yang historis, terpadu, terangkum, statis, danmemilikistruktur yang dirancanguntukkeperluananalisis

  19. ETL –Extraction Mekanisme Extraction : Logical Extraction a. Full Extraction Prosesekstraksidilakukandenganmengambilseluruh data darisource system yang diperlukan • Increment Extraction Prosesekstraksihanyapada data yang berubahataubelumadapada target sistempadaperiodetertentu

  20. ETL –Extraction Physical Extraction a. Online Extraction Data diekstrakdari source system ke target system secaralangsung. Prosesekstraksidilakukandengancaralangsungconnectkesource systemuntukmengaksessource table b. Offline Extraction Data tidakdiekstraksecaralangsungdarisource system, namunberadadiluarsource system. Data yang akandiekstraksudahmempunyaistruktur table danstruktur data yang diharapkansudahsesuaidengan data warehouse. Misalnyaflat file

  21. ETL –Transform Menentukanbagaimana data akandigunakanuntukanalisisdandapatmelibatkantransformasisepertipenjumlahan data, penggabungan data, pemisahan data, dankalkulasi data Data disimpandalambentuk detail danringkasanuntukmemenuhikebutuhaninformasi Output : data yang bersihdankonsistendengan data yang tersimpanpada DWH atausesuaibentuk yang telahdisiapkanuntukdianalisisolehpenggunadari DWH

  22. ETL –Loading Ketika data dimasukkanke DWH, batasan-batasantambahan yang didefinisikandidalamskema database diaktivasidalamproses loading Jangkawaktuproses loading bergantungkebutuhanorganisasi

  23. Granularity Tingkat kedetailan data dalamsuatu DWH Detail data tingkat granularity Level yang paling rendah data transaksi Issue : • Semakinrendah level granularity, makajumlah data yang disimpandalam data warehouse jugaakansemakinbesar. • Semakinrendahlavel granularity, makatingkatkedetailan data jugaakansemakinbesardanberpengaruhpadapertanyaan yang akandijawab

  24. Konsep Metadata KomponenDirektoriTeknikal Berisiinformasitentang data KomponenDirektoriBisnis Berisi perspektif pengguna pada data KomponenNavigasiInformasi Berisicaraaksespadadirektoribisnisdan DWH.

  25. Konsep Metadata KomponenDirektoriTeknikal a. Data souce - Nama file danTipe file - Bagaimananilaididefinisikan data source - Kapan data dibuat - Data datangdari system mana - Siapapemilik data - Siapa yang memberikan data - User yang mana yang berhakmengakses data - Skema database operasional

  26. Konsep Metadata KomponenDirektoriTeknikal b. Data Target - Namadantipe field - Bagaimananilaididefinisikandalam DWH - Dimana data ditempatkandalam DWH - Versi - Tanggal update terakhir - Frekwensi update terakhir - Siapapemilik data - Siapa yang dapatmengakses data - Skema data dalam data warehouse - Cara end-user melakukanakses data

  27. Konsep Metadata KomponenDirektoriTeknikal c. Clean Up Rules - Record dan field yang akandibersihkan - Mapping antaraelemen data pada original data source dengan DWH - Rules yang digunakanuntukmengisinilaipada fields yang kosong - Rules untuk data integrity - Rules untukcekkonsistensi data

  28. Konsep Metadata KomponenDirektoriTeknikal d. Transformation Rules - Bagaimanamenentukanwaktudalammelakukantransformasi - Algoritma (business rules) untukmenentukannilai yang diambil (nilaiasal) - Bagaimanaringkasan data dibuat e. Mapping - Rules untukmelakukan filter data danuntukmelakukanpenggabungan data dari field atausumber data yang berbeda.

  29. Konsep Metadata KomponenDirektoriBisnis Berorientasipadamekanisme DWH : a. Istilahbisnis (business term) yang digunakanuntukmendeskripsikan data b. Namateknis (alias) yang berhubungandengan business term yang dapatdigunakanuntukmengakses data c. Data Sourcedanrules yang digunakanuntukmendapatkan data dantanggaldimana data tersebutdibuat d. Catatantetangreportdanquery yang ada e. Informasitentangkeamanan data (siapa yang mempunyaihakakses)

  30. Konsep Metadata KomponenNavigasiInformasi Menjelaskan interface yang memungkinkan user untukmengaksesdirektoribisnisdan DWH. Denganmenggunakankompunenini, user dapatmelakukan : a. Melakukanaksesdan drill down pada data warehouse b. Melakukanquerryke data warehouse c. Meminta data barudari warehouse administrator d. Melakukan transfer data dari warehouse kedatamartatau user lain

  31. Febrianti Supardinah

  32. Soal Jelaskan 4 karakteristik DWH MengapaperusahaanmemerlukanDatawarehouse ? Jelaskanhubunganantara metadata dengan granularity untukmembangunsuatudatawarehouse Gambarkandanjelaskanarsitektur DWH Jelaskanapa yang dimaksuddengan ETL

More Related