“ 누구나 분석을 할 수 있었다면 나는 분석을 하지 않았을 것이다 .”

1. “누구나 분석을 할 수 있었다면나는 분석을 하지 않았을 것이다.” - 왜? UX 관점에서 접근하는 데이터 분석 Why? UX NEXON KOREA 허 설 crazyux@gmail.com

2. 지금 당신이 분석하고 있는 것은 무엇입니까? 데이터입니까? 사람입니까? One Question to Self

3. Who I am? 2004-2007. MSU, USA. - 2D vs. 3D 게임의 남녀 이용 차이 연구 - 온라인 게임 중독 연구 2007-2009. USC, USA. - 노인용 치매 예방 게임 개발 & 연구 - 성별에 따른 게임 패턴 차이 연구 2007-2009. SOE, USA. - Everquest2 레벨링밸런싱 분석 2009-2010. NEXON, KOREA. UX 리서처 2010-2012 . NEXON, KOREA. 데이터 분석가 2012- . Yonsei U. KOREA. UXLAB 연구원 2012- . Ulsan. KOREA. 패션 사이트 운영, 모바일앱 개발

4. 누구나 분석을 할 수 있었다면 , 나는 분석을 하지 않았을 것입니다. 데이터 분석은 어려운 게 아닙니다. 데이터가 있으면, 통계를 조금만 알면. 누구나 쉽게 할 수 있습니다. 저도 데이터 분석을 합니다. 엑셀로 차트를 그리고 통계를 하고, 마이닝을 하고, 모델링을 합니다. 데이터 분석은 도착점이 아니라 유저를 게임을 이해하기 위한 출발점입니다. 데이터 그 너머의 살고있는 사람들을 알고 싶습니다.. 저는 그것을 UX 분석이라고 부릅니다

5. 목차 1. 통계, 분석, UX의 의미와 차이 2. 게임 분석과 다른 분석의 차이점 3. (고전적) 분석의 가치 – Case 1. 유저 이탈 – Case 2. 게임 매출 4. (UX관점의) 분석의 가치 – Case 1. 유저 맥락화 – Case 2. 유저 네트워크 분석 5. 데이터 분석의 오해와 희망

6. 첫번째 이야기 분석이필요해! - 한 남자가 한 여자에게 사랑에 빠졌습니다.

7. 게임 유저 아이디어 기획 개발 프로그래밍 업데이트 패치 운영 유저/매출 아이디어 기획 개발 프로그래밍 업데이트 패치 운영 분석 유저 매출 유저패턴 유저만족

8. 두번째 이야기 직관-통계-분석? 한 남자가 그 여자에게 요리를 해주려 합니다

9. 지도(MAP): 데이터처리-직관-통계-분석-통합 재료 확인/ 기초 가공 데이터 처리/추출/요약 (Subjective) 가설-목표 설정 감/ 직관/경험에 의한 판단 분석의 영역 (Analytical) 분석 (패턴 발견) 마이닝 (예측) 모델링 (설명,요약) 기초통계 의미화/맥락화/솔루션 제시 (Synthetic) 통합

10. 직관 vs. 통계 • 통계 분석 • 차이, 연관, 급격한 변동에 통계적 방법으로 “오차”에 의한 것인지, 실제 “체계”에 의한 것인지 구분 • 데이터 처리/추출/요약 • 데이터의 단순한 처리/추출 • 보고서 첨부용으로 데이터의 피봇팅,그래프 • 마이닝 • 특히 데이터의 양이 많을 경우, 데이터 속에 숨겨진 일련의 룰(Rule)을 찾아내는 것 • 연관분석, 의사결정, 판별, 정준상관, 로지스틱회귀분석, 클러스터링 • 감/ 직관에 의한 판단 • 눈으로 평균 차이 의미 부여, 그래프 이상점에 의미 부여 • 현상의 한 부분만 보고, 전체에 대한 예측 • 객관적인 근거없이, 자신의 경험을 바탕으로 예측 • 모델링 • 이전 데이터의 패턴을 바탕으로, 앞으로의 패턴을 확률적으로 예측하는 것 • 회귀분석, 시계열(ARIMA)분석 내가 만든 거니까 맛있어~ 예전에 어떤식으로 요리를 했지? 믿을만한가? 내가 요리를 몇 년을 했는데~ 이 사람이 지금까지 저런식으로 요리를 하면 맛없던 적은 없었으니까. 이건 이렇게 하면 맛있지…

11. 통계(적 분석)vs. (통합적) 분석 • 통계(적 분석) • 차이, 연관, 급격한 변동에 통계적 방법으로 “오차”에 의한 것인지, 실제 “체계”에 의한 것인지 구분 • (통합적) 분석 • 분석 설명하는 범위, 설명하지 못하는 범위를 바탕으로, 실제 적용시발생가능한 이점-위험 가능성 제시 • 통계적 분석에서 발견된 패턴의 이해, 설명 • => (문제의) 로직 발견 => (해결의) 솔루션 제시 • 마이닝 • 특히 데이터의 양이 많을 경우, 데이터 속에 숨겨진 일련의 룰(Rule)을 찾아내는 것 • 연관분석, 의사결정, 판별, 정준상관, 로지스틱회귀분석, 클러스터링 • 모델링 • 이전 데이터의 패턴을 바탕으로, 앞으로의 패턴을 확률적으로 예측하는 것 • 회귀분석, 시계열(ARIMA)분석 맛이 중요한게 아니라 , 분위기가 중요하고, 나를 생각해주는 그의 마음이 중요해 간장은 물 1리터당 1/3스푼이 젤 맛있어 오늘처럼 감기가 걸린 날에는 조금 달달한 음식이면 좋겠어… 설탕을 넣을 때는, 꼭 물온도가180도가 될때 넣어야 잘 녹지 소금과 간장을 한꺼번에 넣을 때에는, 소금을 나중에 넣자

12. 세번째 이야기 사랑도 분석도 결국은 하나하나 따지는 것도 중요하지만 그녀의 입장에서는 하나의 느낌,경험입니다. 그래서 사랑도 분석도 UX이어야 합니다.

13. 분석을 왜 하나요? 분석의 명목적 목적 온라인 게임을 분석하여 (회사에게) 게임 유저와 매출을 증가시키고 (유저에게) 더 많은 재미를 준다.

14. 너무 추상적이잖아요~~~분석의 실제적 목적 적합한 통계 방식, 마이닝/모델링 설정 기술적 통계 온라인 게임/ 유저의 행동을 정확히 파악하게 하고(그려내고) 설명할 수 있도록 체계적 설명을 찾으며 발견된 체계를 통해, 내일을 예측할 수 있게 하여 게임과 학문에 도움을 준다 통계적 분석 Analytic 통계 분석과정을 통해 발견된 1) 부분적 인사이트(insight)를 종합하고 2)해당 게임/유저의 상황/맥락을 전체적으로 고려하여 의미, 해석, 솔루션(옵션)을 전달한다. 실용적 분석 (종합) Holistic

15. 네번째 이야기 왜? 분석은 따로 국밥이었을까? - 부분의 합이 아닌 전체적 인식, 경험 UX

16. 부분적 분석 vs. 전체적 UX 전체적UX 부분적 분석 각 부분에 대한 이해는 전체에 대한 이해를 보장하지 않는다. 전체에 대한 경험은 부분을 설명하지도 않는다. Ex) 무엇인가 부족하지만, 기분 좋은 경험

17. 방법이 아닌 관점으로서의 UX UX =UX Design (UI Design+ Interaction Design) + UX perspective (usibility+ Usefulness+ Emotion) 결국,UX는 특정한 분야나 기술이 아닌, (개발자의 가치, 시스템의 가치를 고집하지 않고) 유저(의 경험)의 가치를 더 중요시하는 생각의 틀

18. 유저 이해의 방법론 지도 – UX와 데이터분석 엮어보기 UX (User Experience) Developer’s Intuition 경험 만족 니즈 감성 인식 동기 심리 느낌 전체적 전지전능함 이해적 종합 (Synthesis) 맥락 의미 감(Sense) 해석 분석 (Analysis) 솔루션 고집, 선입견 문제 파악 패턴 도출 부분적 도구적 유저 조사 (User Research) 서베이 통계 (Statistics) FGT, FGI 필드 테스트 , 참여관찰 직관 Predictive (예측, 판별, 시뮬레이션, 모델링) Explnatory (차이, 효과, 관련, 영향) 잘난척, 아는척 Descriptive (요약, 그래프, 평균, 합계) 정량적 정성적

19. 다섯번째 이야기 왜? 게임은 분석하기 어려울까? 왜 없어도 그만일까? 왜 성과내기 어려울까?

20. 유저와 게임은 계속 변한다 – ever-chainging 유저 A 게임 B Game 업데이트 유저 A’ 게임 B’ Game 패치 1 Game 게임 B’’ 유저 A’ 경쟁 게임 오픈 Game 온라인 게임을 분석하여 (회사에게) 게임 유저와 매출을 증가시키고 (유저에게) 더 많은 재미를 준다.

21. 나누기도 어렵고 합치기도 어렵다 – analytic & holistic 分析 分:나눌 분, divide; 析:가를 석, split; break apart; divide 1+1+1=3? 온라인 게임을분석하여 (회사에게) 게임 유저와 매출을 증가시키고 (유저에게) 더 많은 재미를 준다.

22. 다양한 시점에서 다양한 방법으로 니즈가 발생한다 – various goals Trend 분석 / 기존 게임 분석 / 시장 분석 / 경쟁사 분석 신규 유저 Advantage 분석 오류/어뷰징 분석 이탈 방지 Quantitative (양적) 타겟 유저 확인 마케팅 성과 측정 효율적 출구분석 구매자 프로파일링 초반 이탈율 분석 고레벨 유저 아이템 관련 분석 이탈 user 분석 퀘스트Flow Loyal user 분석 장기적 게임 유지 요인 분석 Qualtative (질적) Usability (사용성) Game flow 선행연구 중후반 게임 분석/평가 초반 게임 분석/평가 개발중 베타 오픈 초기 오픈 중기 오픈 말기 온라인 게임을분석하여 (회사에게) 게임 유저와 매출을 증가시키고 (유저에게) 더 많은 재미를 준다.

23. 유저에게 접근하는 방법에 따라 얻는 결과는 다르다 - methods Data (유저/게임) Information(정보) 온라인 게임을분석하여 (회사에게) 게임 유저와 매출을 증가시키고 (유저에게) 더 많은 재미를 준다.

24. 게임 분석과 유저 분석이 뒤섞여 있다 – unitof analysis • A1a. Usability & Playability • 초기 게임 인터페이스의 Usability 평가 • 게임 Flow에서 발견 될 수 있는 잠재적 Huddle points 발견 • Primarily works as In-house Game testers with deep understanding of confidential info about the games • A2a. 게임 Dynamics 분석 • 다양한 레벨/특성의 유저들에 모두 지속적으로 소구 가능한 게임 내 가변적/ 동적요인 분석 • A2b. 위험요인 분석 (in Game flow) • - 게임 플로우 내에서 이용자들을 이탈시킬 가능성이 있는 요인 발견 Game First Layer • B1a. 잠재 유저분석 • 흥미를 보이는 신규 유저들의 성향 및 초기 플레이 행태 발견을 통해 문제점 및 향후 업데이트 방향 설정 • B1b. Mania/FGT 를 통한 in-depth Analysis • - 초기 발견 가능성 있는 모든 요인(긍정/부정) 탐색 및 구체적 포인트 분석 가능 • B2a. Heavy user/이탈 user 분석 • 신규 유저 유입보다는 기존 유저들의 플레이 패턴 및 성향 파악을 통한 게임 유지 잠재 포인트 발견 • 게임 내 다른 index와 연동하여 게임의 특정 요인과 특정 유저간의 연관성 발견 User First Layer B3a. Play Pattern and Gaming Pattern - Drop, re-union, in-game economics, update-patch-event analysis 게임 수명

25. 이제 절반! 잠시 쉬어가기

26. 여섯번째 이야기 게임 분석 1 유저 이탈 “왜?” UX 접근법

27. 고전적 게임 분석 Case 1 유저 이탈 유저 이탈의 3단계 초반 이탈 중반 이탈 후반 이탈

28. 2. 유저 이탈잔존 분석 초반 이탈율의수치 많은 수의 유저가 게임 초반에 이탈함. 미처 게임이 가진 많은 요소를 제대로 즐기지도 못한 채 나가버림 개발자/운영자는 안타까울 수 밖에 없음…OTL 통상적인 시간 흐름에 따른 잔존율(단위: 일)

29. 2. 유저 이탈잔존 분석 초반 이탈율from UX View (게임 초반의) Stepwise Game Balancing Model Control Story/Interest Efficiency SKILL 본격적인 게임 플레이(중반 플레이로 전환) 머야? 너무 단순한 거 아님? 뻔한 스토리…. 대충 먼지 알겠군…. Efficiency 좀 쉬운데…재미 없을듯… 아…먼지 좀 알겠는데…저건 어케 저렇게 잘하는거야? Story/Interest 조작도 잘 못하는데…. 멀 어쩌라는거야? 모야..난 이렇게 버벅대는데, 저 옆에 휙휙 날아다니는 넘은? Control 아….OTL Challenge

30. 2. 유저 이탈잔존 분석 중반 이탈율 개선 분석 중반 이탈율– 이탈율이 얼마냐를 보지말고, 왜 이탈율이 다른가를 보라 게임 1 – 평균적 이탈율, 평균적인 중반 이탈 게임 2 – 초반 급격한 이탈, 중후반 이탈 안정 게임 3 – 초반 완만한 이탈, 중반 급격한 이탈 매출 잠재력이 제일 좋은 게임은? 수정/보완 전략이 제일 어려운 게임은?

31. 2. 유저 이탈잔존 분석 중반 이탈율 –어디가 이탈이 높은지 보지 말고, 왜 그 부분이 높은지 보라

32. 2. 유저 이탈잔존 분석 중반 이탈율 –어디가 이탈이 높은지 보지 말고, 왜 그 부분이 높은지 보라 • 이탈 구간 역방향 수정 • 이탈 구간 직전 몇 단계가 반복성 구간일 경우 • 누적된 피로도 표출 구간 • 캐주얼 유저 중심 수정 후방 분산 Backward 전방 분산 Forward • 이탈 구간 전방향 수정 • 해당 구간 난이도 증가 • 퀘스트로 인한 진행 정체 • 아이템 구매 • 동선 혼란

33. 2. 유저 이탈잔존 분석 후반 이탈율 후반 이탈율– 떨어져나간 이유가 아니라, 왜 남아 있었는지를 보라 • 단기 매출 유동성 증가 • ARPU 구성 차이에 따른 유동성 변동 • 1. 초반 매출 분산으로 유동성 위험 감소 (고레벨 무기 중반 이전) • 2. 후반 매출 집중으로 위험 상쇄 (강화, 가차폰, 인첸트) 초기 유저 유저 로열티 손실 1. 장기 유저 Care 2. 중기 유저 회귀 전략 3. 초기 유저 유인 전략 장기 유저

34. 2. 유저 이탈잔존 분석 유저 이탈율은 - 통계, 마이닝도, 어떤 유저가 이탈하는지 사후에 걸러낼 뿐, “왜~ 유저가 이탈하는지” 근본적인 이유를 알려주지 않는다. - 이탈율은 그 자체가 하나의 절대적 수치가 아니라, 여러 유저들의 다양한 싸움을 편의상 하나의 수치로 평균해 놓은 수치일 뿐이다. => 하나의 방법으로 모든 이탈율을 해결할 수 있는 것이 아니라, 유저 Seg에 맞는 해결방안이 존재. 그러나, 대부분 제일 규모가 큰 해결책 선택 • 숫자를 보지 말고, 통계를 전달하기 이전에, “왜” 그런 이탈율이 나왔는지 궁금하지 않은가? • 숫자는 절대 “왜?”를 알려줄 수 없다. • 유저에게 물어보라. 유저를 관찰하라. 유저의 입장이 되어보라. • 그것이 힘들다면, 최소한 “내 판단”이 아닌, “유저 입장에서” 생각을 해보라. • 적어도, 게임을 하는 것은 “내”가 아니라, “유저”이니까

35. 일곱번째 이야기 게임 분석 2 게임 매출 “왜?” UX 접근법

36. 3. 고전적분석 Case 2 게임 매출 문제 – 특정 레벨에서 매출의 격차가 발생한다!

37. 3. 고전적분석 Case 1 게임 매출 탐색 – 어디서 누가 차이가 나지?를 찾지 말고, 왜~ 차이가 나는지 살펴보라 지니 계수 수입대비 지출의 변화가 나타나는 시점 • 대부분의 게임 • IG머니– 캐시의 2중 화폐/아이템 구조 • 따라서, IG 경제와 매출을 연관지어 매출 원인/패턴 파악 필요

38. 3. 고전적분석 Case 1 게임 매출 매출 시점 당김 불평등 시점 당김 퀘스트 보상 증가 IG머니획득 난이도 하향 고매출자의매출 조기화 (시간, 돈 투입 조기화 => 이탈 장벽 높이기, 조기 매니아화) 저매출자의 잠재 매출 일정 부분 감소 매출 시점 당김 불평등 시점 밀기 퀘스트 보상 감소 IG머니획득 난이도 상향 저매출자의초기 잠재 매출 최대화 고매출자의매출 지연 (시간, 돈 투입 장벽 지연 => 최대 매출 가능 유저 확보)

39. 3. 고전적분석 Case 1 게임 매출 내가 생각하는 좋은 것 말고, 유저가 바라는 것을 무엇인지 찾아라 Special Case 매력 아이템, 보상 - 고레벨 대상/ 성숙 단계 게임/ 초기 매출 필요 게임의 관심사 • "the more you do, the more you get" • "everything has a chance of reward". • 고정 비율방식:these provide rewards after a fixed number of actions. They produce a high level of activity and are easy to understand, but after the reward is achieved, there is a pause. • 예) 경험치(1레벨 99% -> 2레벨 2%) • , 스타벅스10개 도장 받으면 1개 더~쿠폰 가변 비율 방식:these provide rewards after a random number of actions. These also produce a high rate of activity and interest. 위험 : burnout, block exploration 예) 슬롯 머신, a rouletteplayer every 38 tries 횟수 몇 번마다? 가변 고정 • 고정 시간 방식:that is, a reward is provided after a set amount of time. This provides better control over the rate of reward, and comes with the same post-reward pause as a fixed ratio schedule. • 위험: pauses, 예측 가능 • 예) 월급, 5번 출첵 이벤트 • 가변 시간 방식:these provide a reward after a random amount of time. like the variable ratio schedule, this produces a steady rate of activity with no pauses • 위험: 어찌되었든 시간은 흘러가야 하기때문에 • 가변 비율보다는 덜 집중적인 행동. • 예: 먹이에게 접근하는 포식자 시간 얼마 마다?

40. 3. 고전적분석 Case 1 게임 매출 Special Case 매력 아이템 - 강화(Re-enforcement) 방식에 따른 반응율, 활용 방안 기본 매력 아이템 몬스터 킬 마다 랜덤 완전 랜덤 매력 아이템 레벨 업 30전투 완수 1시간 연속 플레이 누적 100분 플레이

41. 5. 유저 중심 분석 Case 1 유저 맥락화 • 개발자에게 게임은 1개의 상품이지만 • 유저에게 게임은 유저수만큼 다른 상품 • 한 게임의 유저는 하나의 속성으로 설명이 안됨 • 그래서? • 개별 유저마다 개인화 할 수는 없음! 39만개? • 비교적 객관화 할 수 있는 유저가 가진 환경/맥락의 차이로 유저를 묶자 • 상황화/맥락화 (Contextualization)

42. 여덟번째 이야기 게임 분석 3 유저 맥락화 “왜?” UX 접근법

43. 판별분석? 분석가는 고민합니다. 그리고 분석을 시작합니다 의사결정나무 로지스틱 회귀분석 클러스터링? 리그레션?

44. 5. 유저 중심 분석 Case 1 유저 맥락화 어떻게 행동 하는 유저들이 XX을 하더라, 행동기반 유저 판별도 해보고

45. 5. 유저 중심 분석 Case 1 유저 맥락화 결과로 나타난 유저를 편의상 묶어 보기 - 유저 매출 Clustering (Segmentation)

46. 5. 유저 중심 분석 Case 1 유저 맥락화 시계열 분석 (ARIMA) – 비오니까, 일요일이니까 유저가 달라지고 겨울 방학 공휴일 일요일 비온날 영향 요인:요일/ 날씨/ 이벤트(방학/휴일)/ 계절/ 경제 등 수백만가지…

47. 5. 유저 중심 분석 Case 1 유저 맥락화 시계열 분석 (ARIMA) – 내일은 어떻게 될까 고민도 해봅니다 이전 패턴을 바탕으로, 반복성(시간, 계절)-랜덤을 구분해 내어, 체계적인 변화를 중심으로 내일을 예측 + 랜덤의 범위 예측 내일 매출이 얼마인지 100% 정확한 특정 금액을 예측할 수는 없음 (=>신의 영역) 다만, 특정 확률로 예상되는 범위구간 (95%신뢰도)을 예측할 수 있음 (=> 범위를 좁히는 것)

48. 5. 유저 중심 분석 Case 1 유저 맥락화 일과 분석 – 게임 말고 다른 환경에 영향을 받는지 살펴보고 TV 시청률 (일요일) AC Neilson 시간대별 게임 세션 (일요일) 일요일 오후 6시 10-20분 전부터 유저 급격 하락 10대 후반 ~30대 유저 => 나는 가수다, 1박2일 방영 시간

49. 5. 유저 중심 분석 Case 1 유저 맥락화 일과 분석 – 요일별 접속 편차가 있는지도 살펴보고

50. 5. 유저 중심 분석 Case 1 유저 맥락화 일과 분석 – 하루 어느시간대 접속하는지도 살펴보고 하루 평균 다른 접속 시간