CRM 에서의 Data Quality Management

1. 56차 KDMA발표자료 CRM에서의 Data Quality Management 2003. 10. 23 김 홍 식 부장 (SK 주식회사) hskim226@skcorp.com

2. Agenda • Data Quality 개요1. Data Quality의 필요성2. 저품질 데이터로 인해 발생하는 비용3. Data Quality의 정의 • Data Quality Management 개요1. Data Quality Management 개념도2. Data Quality Management Framework III. Data Quality Management 활동1. DB기획업무2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion1. Total Cost of Data Quality 개선활동2. 제언사항

3. I. Data Quality 개요 1. Data Quality의 필요성 • 부정확한 Data로 인해 발생되는 비용은 전체 수입 또는 예산의 10~25%를 차지하고, 이의 재작업에 소요되는 비용은 일반적인 IT예산 중 40~50% 이상을 차지하고 있어, 미국 등에서는 이를 해결하기 위한 Data Quality 관리활동에 오래 전부터 관심을 쏟아왔음. 부정확한 Data로 인한 cost 증가가 있습니까? Data Strategy 관련 Issue 외국의 Business와 IT관련 최고경영층은 Data Quality Management를 기술분야에서 가장 큰 도전 중 하나로 받아들이고 있음. Not sure 9% Little 4% High 42% - IT분야 Issue DatabasePerformance 16% ManagementExpectations 17% Business RuleAnalysis 22% Moderate 49% * Assential社, Priority Learning社 공동조사- 아시아지역 100개 우수기업 대상, 2001 Legacy Data Transformation 25% End-userExpectations - Non quality data costs 29% 저품질 정보의 처리 비용 고객LTV, 가망수익의 손실 기업의 Mission달성실패로 인한 잠재된 위험 등 Business Data Modeling 31% Managing Data Quality 46% * The Data Warehouse Institute 조사- 1,670개 기업 대상, 2000

4. I. Data Quality 개요 1. Data Quality 의 필요성 계속 Gartner의 보고에 따르면, CRM실패의 첫번째 원인은 Data를 무시하는 데에 있다 (According to a report by Gartner, Inc., the no. 1 reason for CRM failures is ignoring the data) 7 Key Reasons Why CRM Fails, Gartner, Inc.Nelson & Kirkby, 2001 경험상 구축된 DW의 절반 이상이 Data Quality가 부족해 [Information customer의] 기대를 충족시키지 못하고 있다 (Experience is revealing that more than half of data warehouse built fail to meet expectations because of poor information quality) Improving DW and Business IQ, Larry English, 1999 Data Warehousing Institute에 따르면, 미국 기업들은 한 해 6,000억 달러(한화 720조원)이상을 Data Quality문제로 인해 지출하고 있다 (The Data Warehousing Institute estimates that data quality problems cost U.S. businesses more than $600 billion a year) DQ and the Bottom Line, Wayne Eckerson, 2001 CRM실행을 위한 가장 중요한 장벽은 여러 조직에 고립되어 퍼져 있는 Data와 Application, 그리고 운영계를 통합하는 것이다. Integrating disparate distributed data, applications, and legacy systems across multiple organizations is the single most significant barrier to enterprise CRM execution Research Report, Meta Group, 2000

5. I. Data Quality 개요 2. 저품질 Data로 인해 발생하는 비용 저품질 정보의 처리 비용과 고객 LTV 상에서 발생되는 손실, 기업의 Mission 달성이 어려움으로 인해 야기될 수 있는 잠재적인 위험으로 크게 구분될 수 있음. 이 중 저품질 정보의 처리 비용은 즉각적으로 발생되나, 고객 LTV 상의 손실 및 Mission 실패로 인한 위험은 비용 측정이 어렵기 때문에 간과하기 쉬우나 결과적으로는 기업에 훨씬 더 큰 손실을 가져오게 됨. 정보 삭제 및 재작업 비용 Data 수정에 소요되는 비용 (Cleansing 포함) 저품질 정보의 처리 비용 오류/누락된 Data를 찾고 원인을 규명하는 데에 소요되는 비용 불만족한 고객들을 예전 상태로 회복시키는 데에 드는 비용 Process Failure를 복구하는 데에 드는 비용 고객 LTV, 가망 수익 상의 손실 Non quality Data로 인해 놓친 기회에 대한 비용 Non quality Data로 인해 상실된 주주 가치 기업의 Mission달성 실패로 인한 잠재된 위험 기업의 Mission 달성 실패 해당 사업분야에서의 퇴출 가능성

6. I. Data Quality 개요 2. 저품질 Data로 인해 발생하는 비용 : 사례1 Data Mining 시 Sampling ~ Modification까지 소요되는 시간과 노력이 전 단계의 50~70%를 차지하며, 이후 단계에서 제대로 수정되지 않은 데이터를 Modeling에 사용할 경우, Model의 Quality가 저하되고 잘못된 마케팅 의사결정으로 이끌 수 있음. Data Mining Process < Risk of Non-quality Data > • 입력 시점에 부정확 정보가 유입됨 • 정확하게 수정된 정보가 피드백 되지 않아 D/W 부정확 정보가 정정되지 않음. D/W 별도 작업을 통해 정확해진 정보가 D/W로 반영되지 않음 Sampling 부정확한 Data 추출 부정확 Data의 Scrap 별도 작업을 통해 정확한 Data로 수정하는 비용 발생 대상의 특성을 제대로 설명하지 못하는 Data를 변수로 선택 Exploration 및 Modification Modeling 및 Assessment 부정확한 Data의 사용으로 인한 Model 상의 왜곡 발생 최종 도출된 Model이 현상을 제대로 설명하지 못함. 마케팅 의사결정 잘못된 마케팅 의사결정을 유도함.

7. I. Data Quality 개요 2. 저품질 Data로 인해 발생하는 비용 : 사례2 Slang으로 입력된 고객명을 고객접촉시에 그대로 사용할 경우, 심각한 고객 불만을 야기하게 되고 기업 이미지에도 나쁜 영향을 미칠 수 있음. 고객 Communication 성명: 개똥이 주민번호: 1111 회원 가입 시 고객이 성명란에 Slang을 기입 D/W Slang에 대한 정제 과정 없이 D/W에 적재 고객 성명 대신 Slang 상태로 고객과 접촉 고객 불만 야기 기업 이미지 하락

8. I. Data Quality 개요 3. Data Quality의 정의 “ Consistently meetingall knowledge worker and end-customer expectations ” through Data and Data services to accomplish enterprise and customer objectives - Larry English “Consistently” : Data Quality는 일부 지식 노동자가 아닌 전체 지식 노동자의 기대에 부응하는 것으로 Data간의 일치성 유지가 중요 “Meeting” : 모든 Data가 완전무결할 필요는 없으며, 소비자의 Needs에 부합하는 수준이면 됨. “Knowledge Worker & End Customer” : Data가 자신의 업무를 수행하는데 얼마나 도움이 되는지를 근거로 Data Quality가 만족스러운지 아닌지를 결정하는Information Customer “Expectations” : Information Quality의 실제 목표는 사용자와 이해관계인의 만족을 증대시키는 것이며 최종 사용자의 만족도로 측정되어야만 함

9. Agenda • Data Quality 개요1. Data Quality의 필요성2. 저품질 데이터로 인해 발생하는 비용3. Data Quality의 정의 • Data Quality Management 개요1. Data Quality Management 개념도2. Data Quality Management Framework III. Data Quality Management 활동1. DB기획업무2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion1. Total Cost of Data Quality 개선활동2. 제언사항

10. II. Data Quality Management 개요 1. Data Quality Management 개념도 • Data Quality Management의 목적은 데이터의 충실도와 정확도를 제고함으로써 활용도를 높이고, 이를 통해 마케팅을 보다 효율적/효과적으로 수행할 수 있도록 지원하는 것임. 활용도/중요도 높은 Data를 중심으로 충실도/정확도 제고 DB 기획 Data Enrichment 활용도 제고 정확도 제고 충실도 제고 Data Process 개선 충실도/정확도 제고 통한 Data 활용도 증대 Data Quality Management System

11. II. Data Quality Management 개요 2. Data Quality Management Framework Data Quality Management는 크게 DB 기획 활동과 Data Enrichment 활동, Data Process 개선 활동으로 구분될 수 있으며, 이에 대한 효율적인 지원을 위한 Data Quality Management System의 개발 및 개선 활동이 병행되어야 함. Data Quality Management DB 기획 Data Process 개선 Data Enrichment 전사 변화관리 현황 파악 및 개선 신규 필요 정보 Needs 파악 및 지원 기존 정보 활용 현황 파악 및 지원 고객 DB의 충실도/정확도 현황 조사 Enrichment 대상 데이터 및 방안 선정 Enrichment 활동 수행 데이터의 획득/갱신-관리-활용 단계별 데이터 관리 현황 조사 개선이 필요한 Process 선정 Data Process 개선 작업 수행 Data Quality Management System 개발 및 개선 Merge/Purge Tool DataStat, 컬럼별 통계현황, 메타 데이터 탐색기 등 현재 데이터 충실도 상태를 파악하기 위한 Tool

12. Agenda • Data Quality 개요1. Data Quality의 필요성2. 저품질 데이터로 인해 발생하는 비용3. Data Quality의 정의 • Data Quality Management 개요1. Data Quality Management 개념도2. Data Quality Management Framework III. Data Quality Management 활동1. DB기획업무2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion1. Total Cost of Data Quality 개선활동2. 제언사항

13. III. Data Quality Management 활동 1. DB 기획 DB 기획은 데이터 품질의 중요성에 대한 전사 변화관리를 이끌어 전사 구성원들의 품질관리에 대한 Mind-set 형성과 지속적인 품질 개선이 이루어지도록 하는 한편, 마케팅 담당자의 정보 관련 Needs를 파악하여 전사 마케팅 목표 달성 및 신규 사업 기회 창출에 필요한 신규 정보 항목을 정의하고, 기존 정보의 활용을 지원하는 것임. 전사 고객정보 전담 부서 신설 및 운영 관련부서 간 DB기획 협의회를 구성하여 데이터 관련 Issue 협의 및 개선방안 수립 전사 구성원의 Mind-set 형성 및 업무 상의 지속적인 개선을 위한 교육 및 설명회 실시 전사 변화관리 수행 • Data 관련 Needs 조사 및 필요 정보 구체화 • 정보항목별 타당성 조사 • 수집대상 신규 필요정보 항목 최종 선정 (선정된 정보는 Data Enrichment 활동을 통해 획득함) 신규 필요 정보 Needs 파악 • 현업 정보 사용자의 Data 활용 활성화를 위한 Application 교육 및 설명회 실시 • 활용도 조사를 통해 Scrap 대상 데이터 선정 및 활용상의 Issue 도출 (도출된 Issue는 Data Enrichment 및 Process 개선활동을 통해 개선함) 기존 정보 활용 현황 파악 및 지원

14. III. Data Quality Management 활동 2. Data Enrichment Data Enrichment는 현업의 마케팅 성과 증대를 위해 필요한 Data를 수집하는 활동으로서, 크게 고객으로부터 직접 획득하거나 외부 Source를 활용하거나 기 보유 정보로부터 추정/파생하는 방법으로 구분할 수 있음. Data Enrichment의 목적 Data Enrichment 활동 현업의 현재 Needs와 향후 Data 활용 Needs를 충족할 수 있는 정보를 제공함으로써 내부고객과 외부고객의 만족을 증진시켜 마케팅효과를 극대화하고자 함. Data Enrichment 활동은 크게 3가지로 구분될 수 있음. 고객으로부터 직접 획득 고객과 접촉하는 모든 경로에서 필요 정보를 수집하는 것으로써, 접촉채널에서의 업무수행 과정 혹은 고객이 마케팅 프로그램에 참여하는 과정에서 정보를 획득하게 됨. 내부고객(마케팅 현업) 만족 증대 외부 고객 만족 증대 외부 Source를 활용한 획득 고객정보의 수집/변경과 관련된 외부 서비스를 활용하여 자사 고객의 정보를 수집 Data Enrichment 기 보유 정보로부터 추정/파생 현재 Marketing Needs New Biz 등 향후 Data 활용 방안 고객으로부터 직접 수집하기 어려운 정보에 대해 거래 정보 및 타 속성 정보로부터 추정/파생함으로써, 마케팅 활동에 필요한 고객정보를 확보하는 것

15. III. Data Quality Management 활동 2. Data Enrichment 계속 Data Enrichment는 현업에서 발생되는 Data 관련 Needs를 반영하여 대상 정보 및 고객 Segment를 선정하고, 세부 활동 계획을 수립하여 수행한 후, 수행 결과에 대해 효과 분석을 실시하고 결과를 보고하며, 금번 활동을 수행하면서 발생한 Issue 및 시사점을 차기 Data Enrichment 계획 시 반영하는 Cycle로 이루어짐 . Data Enrichment 단계 현업이 마케팅 활동을 수행하는 과정에서 발생하는 Data 관련 Needs를 수집함. 현업의 Data 관련 Needs 수집 Needs가 존재하는 정보 간의 우선순위에 따라, 핵심 고객을 중심으로 정보가 획득/변경될 수 있도록 Enrichment 대상 정보 및 고객 Segment를 선정하는 등, 상세 실행 계획을 수립함. Data Enrichment 활동 계획 대상 정보 및 고객의 특성에 맞춰 다양한 방법으로 Enrichment 활동을 수행함. Data Enrichment 활동 수행 Enrichment 전/후 고객 Data의 상태 비교 및 참여 고객 특성 분석 등 Data Enrichment 활동의 수행 효과를 분석함. 효과 분석 Data Enrichment 결과에 대해 보고하고, Enrichment 활동을 수행하면서 발생한 Issue 및 시사점은 다음 Data Enrichment 활동 기획 시 반영함. 결과 보고 및 Feedback

16. III. Data Quality Management 활동 2. 사례 : 마케팅 프로모션과 연계한 Data Enrichment

17. III. Data Quality Management 활동 3. Data Process 개선 Data Process는 Data가 고객이나 외부로부터 획득된 후 DW에 저장되고 현업 Knowledge Worker에 의해 활용되기까지의 전 과정을 의미하며, 입력/갱신  ECTL  추출되는 전 단계에서 Data 품질을 저하시키는 요인이 없는지 모니터링하고 개선하는 활동이 필요함. 고객 대상 마케팅 활동 추출 및 분석 Data Warehouse Strategic/TacticalKnowledge Worker Repository/Data Dictionary ECTL 추출 Business Data OperationalKnowledge Worker Customer 정보 제공 입력 및 갱신 Information Producer ExternalData

18. III. Data Quality Management 활동 3. Data Process 개선 계속 Data Process개선활동은 Data 획득/갱신-관리-활용의 3단계 Process로 구분하여 현황을 파악한 후, 데이터 Process상의 Issue를 도출하고, 개선방안을 도출하여 Data품질을 개선하는 제반 활동임. Data 획득/갱신 Process 영역 Data 관리 Process 영역 Data 활용 Process 영역 캠페인 수행 System 분석계 System 데이터 생성/갱신 운영계 System 반응정보 획득채널 운영계 A DW DM, EM, SMS Inbound TM 표준화 및 통합 오프라인 운영계 B 반응 및 추가정보 획득채널 In/Outbound TM Web 온라인 이벤트/캠페인을 통해 고객이 획득/갱신한 Data Feedback 고객의 채널별 접촉 반응결과 Feedback Data 획득/갱신 Process : 온/오프라인을 통해 획득된 고객정보가 System 내에 적재되기까지의 과정 정기/비정기 마케팅 프로그램 실행시 고객정보 수집 및 처리현황 파악 데이터 확보/갱신 관련 업무 수행시 고객정보 품질과 관련된 업무 Process 현황 파악 Data 관리 Process : 적재된 Data가 활용을 위한 Application으로 이동하고 활용된 결과가 다시 피드백 되는 과정 운영계 ~ 캠페인 수행 시스템의 Data Flow 및 캠페인 채널별 반응결과 관리 및 활용 현황 파악 Data 활용 Process: 적재된 Data가 마케팅 활동을 위해 추출/활용되는 과정임.  DM/EM/TM 실행을 위한 고객 접촉정보 추출 과정 파악

19. III. Data Quality Management 활동 3. 사례 : Data Process 개선 한강을 살리기 위해 한강의 지천인 양재천 수질 개선 작업을 실시하는 한편, 서울 시민들을 대상으로 생활하수 방지 캠페인을 실시하여 시민들의 인식 및 생활 습관 변화를 유도하고, 이를 통해 자연스레 한강의 수질개선 효과를 얻음. Data Source Management: 양재천 살리기 • 한강의 제2지천인 양재천 살리기 운동 실시 1) 콘크리트를 흙 제방으로 변경하여 생명체 서식 2) Data 정제: 수초를 이용한 자연 정화 수질정화시설(자갈정화시스템) 도입 Low Quality Data High Quality Data Data Quality Management 변화 관리: 생활하수 방지 캠페인 실시 • 생활하수를 줄이도록 시민 대상 캠페인 실시 1) 쓰레기 분리수거 2) 오염유발물질 사용 자제  구성원들의 인식 및 생활 습관 변화를 유도

20. Agenda • Data Quality 개요1. Data Quality의 필요성2. 저품질 데이터로 인해 발생하는 비용3. Data Quality의 정의 • Data Quality Management 개요1. Data Quality Management 개념도2. Data Quality Management Framework III. Data Quality Management 활동1. DB기획업무2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion1. Total Cost of Data Quality 개선활동2. 제언사항

21. IV. SK Data Quality Management System 1. Merge/Purge System Merge/Purge는 크게 표준화 작업, 부가정보 부여, 결과 보고서 제공의 3단계 업무로 구성됨. Source 1 정제 초기모델 FTP Source 2 M/P 표준화 M/P 부가정보 표준화 결과 Source별 고객 공통 … Apt DB 행정동/ 법정동 우편번호 실명 DB M/P 정제보고서 작성 Step 1. 표준화 작업 • 이름 • 주민등록번호 • 전화번호(자택, 직장, HP) • 우편번호 • 주소(자택, 직장) 등 Benchmarking DB EM/ DM DB : HP DB 결과 보고서 Step 2. 부가정보 부여 • 추가정보 부여.주택형태코드,아파트부가정보, 가구화 등. • 접촉정보 정확도 부여.EM, DM, 핸드폰 정확도 등 DataStat Step 3. 결과 보고서 제공 • 표준화 항목별 충실도 • 표준화 오류코드별 분포 등

22. IV. SK Data Quality Management System 1. Merge/Purge System : 결과 보고서 예시 • M/P 전/후의 Data 상태를 비교하고 각 항목의 오류코드별 건수와 비율을 파악함으로써 데이터별 충실도의 변화 원인을 찾아내고, 이를 바탕으로 Data 처리 process를 개선할 수 있음. [ M/P 전후 상태 비교 ] [ M/P 대상 Data별 오류현황 check ] 항목명 M/P 이전 소스 데이타수 M/P 이전 소스 데이터 기재율(%) M/P 이후 표준화 데이타수 M/P 이후 데이터 충실도(%) 충실도 변화율 전체 4,043,207 - 4,043,207 - 0 주민번호 4,043,207 100 3,879,217 95.94 163,990 자택전화 번호 2,442,159 60.4 2,116,827 52.35 325,332 직장전화 번호 229,952 5.69 190,973 4.72 38,979 Example 핸드폰 번호 371,800 9.19 384,761 9.52 -12,961 자택우편 번호 3,570,960 88.32 3,222,352 79.7 348,608 자택주소1 3,461,797 85.62 3,225,030 79.76 236,767 자택주소2 0 0 1,909,486 47.23 -1,909,486 직장우편 번호 1,505,547 37.24 291,000 7.2 1,214,547 직장주소1 1,473,622 36.45 291,345 7.2 1,182,277 직장주소2 0 0 213,542 5.28 -213,542

23. IV. SK Data Quality Management System 2. DataStat 항목별로 값이 들어간 건수를 ‘소스 데이터 수’ 및 ‘소스데이터 기재율’로 표시하고, 해당 항목에 대해 Merge/Purge Process 및 다른 Data Source를 통해 보완되거나 좀더 정확해진 정도를 ‘타겟 데이터 수’ 및 ‘타겟 데이터 충실도’로 표시함.

24. IV. SK Data Quality Management System 3. COSMOS : Column Statistics Monitoring System DB 내 모든 Column에 대해 각각의 Total Count, Not Null count 및 비율을 보여줌으로써, 실제 DB내에 들어가 있는 Data 값의 분포를 확인하고 점검할 수 있게 함. - Numeric성 Data에 대해서는 Min값, Max 값, Average 값, Sum 값, 음수값, 0값, 양수값 각각의 Count 등의 통계정보를,. - Date성 Data에 대해서는 문법적 오류 발생건수(Invalid Count), Min값, Max값, 현재시점 초과건수 등의 통계정보를, - Code성 Data에 대해서는 Domain 명, Domain 값 및 해당 건수 분포를 보여줌으로써 전체적인 Data 상태를 모니터링할 수 있음.

25. IV. SK Data Quality Management System 4. Meta 정보 탐색기 Meta 정보란, 각 항목에 대해 Data 원천, 정의 및 관련된 Biz Rule, Data 속성(Type, Length) 등, 항목과 관련된 모든 정보를 포함하는 것으로서Data라는 제품에 대한 명세서라고 볼 수 있음. Meta 정보 탐색기에서는 DB 내 모든 Column에 대해 해당 Column이 포함되어 있는 위치와 명칭, Column 정의 및 관련된 Biz Rule, Type, Length 등의 Column 상세 정보를 포함하고 있어, Data 관리의 효율성을 높임. 코드성 정보일 경우에는 코드테이블내의 코드명과 코드값, 코드별 정의를 보여줌.

26. Agenda • Data Quality 개요1. Data Quality의 필요성2. 저품질 데이터로 인해 발생하는 비용3. Data Quality의 정의 • Data Quality Management 개요1. Data Quality Management 개념도2. Data Quality Management Framework III. Data Quality Management 활동1. DB기획업무2. Data Enrichment 3. Data Process 개선 IV. SK Data Quality Management System V. Conclusion1. Total Cost of Data Quality 개선활동2. 제언사항

27. V. Conclusion 1. Total Cost of Data Quality Management 저품질 정보의 처리 비용은 기업의 DQM 단계에 따라 다음과 같은 형태로 발생됨. 특히, Awakening 단계에서는 품질 개선 비용이 저품질 Data의 처리 비용보다도 크게 소요되기 때문에 품질 개선활동을 중단하기 쉬운 Danger Point임. Data Quality Cost Danger Point Information Scrap & rework& Process Failure Costs Data Correction Costs Assessment Costs IQ Improvement, Environment Investments Time Stage 1Uncertainty Stage 2Awakening Stage 3Enlightenment Stage 4Wisdom Stage 5Certainty “항상 information quality에 문제가 있는 것은 어쩔 수 없는 것인가?” “경영진의 참여와 information quality 제고를 통해, 우리는 문제를 발견하고 해결해나가고 있다.” “우리 기업에 information quality 문제가 발생하는 이유를 모르겠다” “Information quality 문제의 예방은 작업 수행의 일상적인 부분이다.” “우리에게Information Quality 문제가 발생하지 않는 이유를 알고있다.”

28. V. Conclusion 2. 제언사항 DQM활동은 주관부서만의 Task가 아닌 전사적인 과제 : 변화과제 전담부서를 두고서 지속적으로 관심을 가져가야 한다. 한번에 달성할 수 있는 목표가 아니라 단계적 / 지속적으로 진행해야 하는 기나긴 여정 일회성 프로그램이 아닌 상시적인 활동, 습관이 되어야 한다. Start Now : 선택의 문제가 아니라 생존의 문제이다.(회사뿐만 아니라 CRM부서)

29. Q & A