Data Warehouse

1. Data Warehouse 이현우 hyun1822@paran.com

2. < 目 次 > 등장배경 정의 구축목적 DW유형 및 기대효과 시스템 구성 적용 분야/사례

3. 기업환경의 변화 1. 등장배경 • 수익율 저하 • Demand를 상회하는 Supply • 영업 이익 지속 하락 • Matured Industry • 고객 요구 변화 • Value for the money • 고객 요구의 다변화 • 고객중심의 사고 지향 • Internet Business 요구` • 기술의 발전 • Internet 환경으로의 변화 • Supply Channel간의 Interaction 증가로 물류개선의 기회 제공 • 신규 개념의 사업형태 등장 기업경쟁 기준변화 양적 성장 → 수익성 중심 Local 경쟁 → Global 경쟁 원가 경쟁 → 고객 중심 • Global 경쟁 심화 • 생존을 위한 M&A, 대형화 • Global communication중요 • Dramatic Global shift 예상 • 경영정보의 중요성 증대 • 전략적 의사결정 지원 부족 • 정보의 다양화 –비정형 정보 증가 • Learn & Adjust 능력 제고 필요 • KPI활용을 위한 정보 제공

4. 기업환경 변화에 따른 정보기술의 투자변화 1. 등장배경 • 전세계적으로 정보 기술을 전략적으로 사용하고 있는 기업들은 이미 운영시스템보다 분석시스템에 더 많이 투자해가는 추세임 정보화 (Informating) 정보 기술 투자 분석시스템 자동화 (Automating) 운영시스템 1960 1970 1980 1990 2000 효율적인 단순업무 처리 업무자동화와 생산효율성 증대 의사결정 지원

5. 기존 정보시스템의 상황 1. 등장배경 • 짧고 빠른 트랜잭션 처리 중심 • 처리이후 데이터 삭제 –시계열적 데이터 부족 • 운영시스템이 많을 경우, 통합된 보고서 작성 곤란 • 분석을 위하여 많은 별도의 시간과 인력 투여 • 새로운 프로그램을 개발하는데 시간이 비교적 많이 소요 • 현재의 데이터를 과학적 기법에 의해서 신속하게 분석, 예측 곤란 • 고객 Data가 여러 군데 산재 되어 있어 통합된 고객이해 불가능

6. 기존 의사결정 지원환경 1. 등장배경 • 기존의 의사결정 지원환경 • 사용자의 의사결정을 효과적으로 지원하지 못함 • 시스템은 통합되어 있지 않으며, 데이터는 일관성 결여 • 중복되고 잘못된 응용프로그램으로 인해 쓸모없는 데이터가 만들어짐 • 이러한 데이터에서 제공되는 정보는 잘못된 의사결정 원인제공이나 심지어 의사결정을 위한 자료로서 부적절 • 다변화된 시장환경에 효과적으로 대응하며, • 끊임없이 변화하는 고객의 기호를 신속/정확하게 파악하고 • 새로운 시장을 개발하는 등 • 적극적인 경영활동을 수반하기 위해서는 • 새로운 정보기반이 필요

7. 정보시스템의 요구사항 1. 등장배경 • 시장을 잘 이해할 수 있어야 함 • 고객을 잘 이해할 수 있어야 함 • 시장 동향에 민감하고 신속히 대응하여야 함 • 끊임없이 고객에 맞는 제품, 서비스를 개발하여야 함 • 이러한 제품,서비스 개발과정이 과학적이며, 신속하고, 신축성이 있어야 함

8. DW등장 배경 1. 등장배경 고객의 요구 • 경쟁적 우위 달성 • 전략적 의사결정의 신속화 • 전사적인 통합 정보 획득 • 효율적인 목표시장 접근 • 고객 관계형 마케팅 필요 외부환경 내부환경 • 경쟁의 심화 • 고객취향의 다양화 • 제품 수명주기의 단축 • 데이터의 산재 • 데이터의 불일치 • 상이한 정보시스템 혼재 • 적절한 정보제공 곤란 정보기술환경 기술의 발전 • End User Computing • Open Computing • Client/Server • Internet • 하드웨어 • 소프트웨어 • 데이터베이스 • 네트워크 데이터 웨어하우스

9. Data Warehouse 정의 2. 정의

10. Data Warehouse 정의 (계속) 2. 정의 • Data Warehouse 시스템은 ? 의사 결정 과정을 지원하기 위해 historical data Internal data external data subject-oriented end-user computing on-line cross-functional analysis database System 수년간의 기업의 운영계 시스템에서 생긴 내부 데이터와 외부 데이터를 주제별로 통합하여 별도의 프로그래밍 없이 즉시 다양한 비즈니스 관점에서 교차 분석을 가능하도록 구축된 통합 데이터베이스 시스템이다 • Data Warehousing은 ? 기업의 비즈니스 변화에 맞게 Data Warehouse의 기획/설계/구축/운영/활용/확장하면서, 데이터 웨어하우스의 데이터를 분석하여 비즈니스에 대한 의사 결정을 지원해주는 일련의프로세스

11. Data Warehouse 특징 2. 정의

12. Data Warehouse 특징(계속) 2. 정의

13. Data Warehouse 특징(계속) 2. 정의

14. Data Warehouse 특징(계속) 2. 정의

15. Data Warehouse 특징(계속) 2. 정의

16. 기존시스템과 차이점 2. 정의

17. Data Warehouse vs Data Mart 2. 정의

18. Data Mart 2. 정의

19. 기업환경변화와 정보요구 3. 구축목적

20. 마케팅의 시대적 변화 3. 구축목적

21. DW도입 목적 3. 구축목적 1세대 DW • 사용자들에게 보다 나은 Business Intelligence 제공 – 89% • 정보에 대한 검색,접근,분석에 소요되는 시간의 절감 – 85% • 흩어져 있는 정보 소스들의 통합 – 82% • 보고서 작성 요구의 경감 – 75% • 효용성이 부족한 구식 DSS systems의 교체 – 51% • * 응답자 : 100명의 IT전문가 Source : Cutter Consortium, 1998.10. U 2세대 DW • CRM/eCRM을 위한 고객 정보 추가 • (Web Log, Contents Categorization, CRM을 위한 추가 Measure) • CRM을 통한 고객 정보 추가(캠페인 관리 및 결과 등) • 통합 고객 DB를 통한 Operational 영역의 일관된 고객 Data 제공

22. 집중형 DW 4. 구축유형 및 기대효과 • 복수의 사용자 그룹들에 의한 Ad-hoc Query와 drill-down 분석을 허용하도록, 모든 관련된 source system들로부터 수집된 상세데이터의 중앙 집중화된 저장 • 장점 : • 사실의 단일 Version 제공 • 전사적 데이터 모델 제공 • 견고한 Data transformation • Cross-functional data 가용성 • 단점 : • 고도로 중앙 집중화되어 시스템의 부하가 증가됨 • 사용자와 데이터 증가에 따른 작업부하가 요구됨 주제 영역

23. 분산된 DW 4. 구축유형 및 기대효과 • 특정 사용자 그룹에 의한 목적을 둔 Operational Data의 특정 분산된 subset • 장점 : • 즉각적인 Data Navigation 기능 • 보다 빠른 Query 성능 제공 • 단점 : • 각 주제영역별 간에 많은 양의 상세 데이터와 이력데이터가 중복 • 각 주제영역별 간의, 또는 주제영역과 운영계 시스템과의 Interface 불가 매출 회계 인사

24. Data Mart를 가진 DW 4. 구축유형 및 기대효과 • 데이터 마트는 보다 대규모의 데이터 웨어하우스에서 데이터가 일련의 특정한 사용 요구를 위해 선택되어 구성된 특별 목적용의 Subset • 장점 : • 사실의 단일 Version 제공 • 전사적 데이터 모델 제공 • 견고한 Data transformation • Cross-functional data 가용성 • 비 집중화 및 즉각적인 data navigation가능 • 데이터 증가와 사용자 증가에 따른 균형있는 작업 부하능력 제공 • 단점 : • 1단계로 DW를 구축 후, 향후 특정 주제영역별 독립된 데이터마트를 구축하는 것이 효율적임 주제 영역 CRM

25. DW 구축 시 기대효과 4. 구축유형 및 기대효과

26. DW 도입 효과 4. 구축유형 및 기대효과 • Customer Share 제고 • (Site) Loyalty제고 • 마케팅 자원의 효율적 활용 • 고객 행동에 따른 마케팅 전략 • 타겟마케팅 • 이탈 고객 방지 • 통합적이고 지속적인 분석 가능 • 다양한 욕구 분석 가능 • 고객 데이터에 대한 품질,신뢰도 향상 기업내부 데이터 마케팅 경쟁력 제고 경쟁력 있는 기업으로의 도약 기업내부 프로세스/시스템 고객 서비스 강화 • 고객 불만 감소 • 당사 이미지 제고 • 고객 반응률 증가 • 고객의 선호 채널에 의한 접촉 가능 • 구성원 역량 강화 • 리포트 작성 및 작업시간 단축 • 신속한 의사 결정/지원 업무 가능 • 종합적인 데이터 관리 기능

27. 추출 정제 사용자 기간시스템 검증 통합 외부데이터 DW Architecture 5. 시스템구성 EDW ODS DW 데이터 추출영역 데이터 관리영역 데이터 활용영역 ETT Tool DBMS OLAP Tool Mining Tool 하드웨어(서버) Reporting Tool

28. DW Architecture (예) 5. 시스템구성 운영계 Data Warehouse 최종 사용자 ETL DBMS OLAP & EUC 유통채널시스템 다차원 모델 주문정보 Real Time 추출 전송 WEB 서버 WEB 적 재 ODS 판매정보 경영자 재고정보 EAI 변환 프로모션정보 DW OLAP 서버 반품정보 수금정보 정제 관리자 POS 배치 추출 Report 서버 판매정보 FTP 재고정보 상품정보 일반 사용자 수금정보 요약 고객정보 ERP OLAP 메타 ETL 메타 데이터 메타 개발자 기타정보

29. Transient Data Hub ETL 5. 시스템구성 • OLAP(Online Analytical Processing) 정의 기간시스템으로부터 Data Warehouse를 구축하기 위해서는 일반적으로 “추출 /변환 /전송 /저장”의 단계를 거쳐야 하는데 이러한 일련의 과정을 ETL(Extraction Transformation Loading) 라고 함 ETL Tool 기본요건 Files • 단순한 Architecture, 투명한 Mapping정보 • Schedule 관리, Log 관리 • Performance보장, 관리 용이 • Vendor와 Product간의 독립성 IMS VSAM Data APIs Acquire Integrate Transform Cleanse Prepare Move Data Warehouse < Source: Gartner Research 2001 >

30. Leaders Challengers 기타 17% DataStage 17% Teradata WB 4% Informatica Oracle ETI 4% IBM Informatica 17% Microsoft Ascential IBI Ability toExecute Sagent 7% SAS DataMirror Cognos DS 7% Acta SAS WA 10% Showcase Genio 8% Oracle WB 7% Compuware CA Data Junction ETI Hummingbird Cognos Sagent As of 5/01 Niche Players Visionaries Completeness of Vision ETL(계속) 5. 시스템구성 • ETL 솔루션 • ETL 솔루션 시장점유율 < Source: Gartner Research 2001 >

31. OLAP 5. 시스템구성 • OLAP(Online Analytical Processing) 정의 • Codd(1993)에 의해 OLAP 용어 처음 사용 • 최종 사용자(end-user)가 다차원 정보에 직접 접근하여 대화식으로 정보를 분석하고 의사결정에 활용하는 과정 • 다차원 분석을 용이하게 하여 최종 사용자가 다차원 정보에 직접 접근하여 대화식으로 정보를 분석하여 의사결정에 활용하게끔 해주는 기능의 집합(OLAP Council, 1995) • OLTP에서 발생한 원시 데이터를 활용할 수 있도록 가공하고 분석하는 과정 • OLAP 도구 • 저장고(DW)에 있는 데이터를 사용자가 액세스하여 데이터를 분석하는 도구 • OLAP 방식 • ROLAP(Relational OLAP) • MOLAP(Multidimensional OLAP) • HOLAP(Hybrid OLAP) • DOLAP(Desktop OLAP)

32. OLAP (계속) 5. 시스템구성 • OLTP vs OLAP 차이 ※ 주) OLTP : Online Transaction Processing

33. OLAP (계속) 5. 시스템구성 • OLAP 차이

34. DW 구축 접근 방안 5. 시스템구성

35. 실패로 이끄는 길 5. 시스템구성

36. 실패로 이끄는 길(계속) 5. 시스템구성

37. DW 적용 업종/업무 분야 6. 적용분야/사례

38. DW 응용 분야 6. 적용분야/사례 • OLAP • Sales and Marketing Analysis • Budgeting • Financial Reporting and Consolidation • Management Reporting • Profitability Analysis • Quality Analysis • Data Mining • Customer Acquisition & Branding • Profitability & Risk Assessment • Making Customers More Profitable • Personalization • Inventory/Resource Management

39. 활용방법 6. 적용분야/사례 • EDW, Data Mining 및 캠페인 실행 및 분석 시나리오 Data Warehouse 시스템 운영 DW OLAP Data Mining • 데이터 수집 • 데이터 이관 • 데이터 통합 • 데이터 축적 • 다차원 분석 • 문제 발견 • 심층 원인 분석 • 고객세분화 • 교차판매분석 • 고객이탈분석 영업조직, Call Center, Internet DM, TM, WWW, Email 캠페인 실시 전략 수립 • Test/Full Marketing(캠페인) • 성과분석 • 마케팅프로세스 • 켐페인 상세실행 계획 수립 긴밀한 고객 관계 유지

40. 활용방법 6. 적용분야/사례 • 캠페인 계획에 기반한 다중 채널 캠페인 실행 및 분석 시나리오 테스트 컨트롤 그룹 생성 다중 채널 캠페인 실행 CRM 팀 TM 세분화/수익성 분석/예측 모델을 통한 캠페인 안 평가 DM BV 최적화 Call Center Operational CRM E-Mail SMS 내부/외부 데이터를 이용한 캠페인 계획/ROI분석 캠페인 관리 OLAP/Mining 시나리오 기반 캠페인 & 캠페인 수행 중 수정 캠페인 반응 분석 실행 중 결과반영 방향제시 캠페인 반응 정보 수립 임원진 EDW

41. DW 시장 전망 6. 적용분야/사례 DW시장은 향후 2~3년간은 CRM과 함께 기업의 정보계 시스템의 핵심 사업 과제가 될 것으로 고려됨 • 엔터프라이즈 CRM을 위한 EDW의 구축 • 통합을 위한 통합 메타데이터의 필요성 대두 • 제조권중심으로 ERP를 DW로 통합하는 인텔리전트웨어하우징(IW ,Intelligence Warehousing) • 기업정보포털(EIP) 예상 • e채널로 생성된 데이터와 기존 오프라인 데이터간의 통합 • 오프라인 데이터 중심의 데이터마트, e채널을 통해 생성된 DW를 EDW로 구축하는 기업들이 통신,카드,보함,증권,유통을 중심으로 확장될 것으로 예상 • 기업정보 포털을 위한 백본의 역할 중요도 부상 • 기업의 인텔리전스를 제공하기 위한 정보 제공 아키텍처로서의 핵심적인 솔루션으로 부상 • 기존 데이터웨어하우스 정보와 웹로그 데이터의 활용을 통해 웹사이트 상에서의 고객 또는 방문객의 활동성향과 관심분야 등에 대한 정보를 함께 관리하는 기술이 필요 • e-비즈니스 시대에는 데이터웨어하우스의 확장된 개념으로 EDW, 메타, 웹하우스를 통한 웹사이트 방문객의 행동에 대한 정보를 제공하고 대량의 클릭 스트림 데이터를 분석하고, 이를 통해 고객의 새로운 트렌드를 파악하고 마케팅전략을 수립, 결정하는데 도움을 주는 향상된 DW개념이 요구됨