Phát hiện vai trò và dự báo bùng nổ sự kiện trên mạng xã hội

1. PháthiệnvaitròvàdựbáobùngnổsựkiệntrênmạngxãhộiPháthiệnvaitròvàdựbáobùngnổsựkiệntrênmạngxãhội HàQuangThụy PhòngThínghiệmCôngnghệ Tri thức - KTLab Trường ĐHCN, ĐạihọcQuốcgiaHàNội, HàNội, 29-9-2012 KTLab

2. Nội dung • Giới thiệu chung • Khai phá dữ liệu mạng xã hội • Phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội • Một mô hệ thống hình phát hiện vai trò và dự báo bùng nổ sự kiện trên xã hội • Một vài bàn luận

3. Đặt vấn đề • Dự báo bùng nổ sự kiện • KTLab: Nâng cao chất lượng phát hiện sự kiện • Hợp tác quốc tế • NII (Nhật Bản): Event Sequence Analysis • LARC (Singapore): Event Bursting • Catholic University of Leuven (Katholieke Universiteit Leuven,Bỉ): Dự án hợp tác quốc tế “Improving Business Process and Complex Event Sequence Analytics using Process Mining Techniques” • Hợp tác trong nước: Bộ Công an • Phát hiện vai trò với bùng nổ sự kiện • KTLab: Phát hiện vai trò, xếp hạng trong mạng xã hội, khai phá quan điểm cộng đồng • Vai trò lớn/hạng cao, cộng đồng  sự kiện / bùng nổ sự kiện • Dự báo bùng nổ sự kiện liên quan tới nút có vai trò lớn

4. I. Giớithiệuchung • Khái niệm mạng xã hội • John Arundel Barnes, 1954: mạng xã hội là đối tượng nghiên cứu [Barnes54]. • Cấu trúc xã hội: tập các cá nhân/tổ chức + tập các quan hệ xã hội giữa các cá nhân/tổ chức [EK10]. Biểu diễn đồ thị. • Phương tiện truyền thông XH (social media): phương tiện phổ biến mối quan hệ XH tới cộng đồng. Trao đổi nội dung [Lesk11] • Phương tiện truyền thông XH là nền tảng để người dùng tạo và trao đổi nội dung với cộng đồng [YK12] • "một nhóm các ứng dụng dựa trên Internet được xây dựng trên nền tảng tư tưởng và công nghệ của Web 2.0, cho phép tạo và trao đổi nội dung do người dùng tạo ra“ [KH10] • Phân loại mạng xã hội • Hai chiều đặc trưng: hiện diện xã hội/phong phú (social presence/media richness) và hiện diện xã hội/phong phú (self-presentation/self-disclosure). [Barnes54] Barnes, J. (1954). Class and Committees in a Norwegian Island Parish, Human Relations, 7, 39-58. [EK10] David Easley and Jon Kleinberg (2010). Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press, 2010. [KH10] Andreas M Kaplan and Michael Haenlein (2010). Users of the world, unite! The challenges and opportunities of Social Media, Business horizons (2010), 53:59-68. [YK12] Sheng Yu, Subhash Kak (2012). A Survey of Prediction Using Social Media CoRR abs/1203.1647: (2012)

5. I. Mộtcáchphânloạimạngxãhội Twitter ? [KH10] Andreas M Kaplan and Michael Haenlein (2010). Users of the world, unite! The challenges and opportunities of Social Media, Business horizons (2010), 53:59-68.

6. I. Sựpháttriểncủamạngxãhội [Ben12], Shea Bennet (2012). Twitter On Track For 500 Million Total Users By March, 250 Million Active Users By End Of 2012, http://www.mediabistro.com/alltwitter/twitter-active-total-users_b17655.

7. I. Tácđộngcủamạngxãhội • Tác động xã hội • Góp phần tăng cường nguồn vốn xã hội (social capital) cho quốc gia [ESL07], [ZJV12] • Đôi lúc cản trở phát triển xã hội • Facebook với phong trào “Mùa xuân Ả rập” • Facebook góp phần quan trọng [AMCJ12], [Iskan11], [MS11]: hoạt động liên quan đến phong trào chiếm trọng số rất lớn (3 dòng cuối) [AMCJ12] Ban Al-Ani, Gloria Mark, Justin Chung, Jennifer Jones (2012). The Egyptian Blogosphere: A Counter-Narrative of the Revolution, Proceedings of the ACM 2012 conference on Computer Supported Cooperative Work: 17-26. [Iskan11] Elizabeth Iskander (2011). Connecting the National and the Virtual: Can Facebook Activism Remain Relevant After Egypt’s January 25 Uprising?, International Journal of Communication 5 (2011): 1225–1237. [MS11] Racha Mourtada and Fadi Salem (2011). Civil Movements: The Impact of Facebook and Twitter, Arab Social Media Report, 1 (2): 1-30.

8. I. Tácđộngxãhộicủamạngxãhội • Facebook với cuộc bạo loạn tại Anh năm 2011 • Liên quan giữa mức độ bạo lực với sự kiểm duyệt Facebook [AT12] • Giải pháp tối ưu khuyêch tán quan điểm lành mạnh: Tham gia cởi mở cung cấp thông tin đúng và hoàn toàn không áp đặt. • Mạng xã hội với chống quyền lợi Mỹ 9/2012 • Xuất phát từ video về Thánh Mohamed • Đại sứ Mỹ tại Libi bị giết. Hai phía sử dụng mạng xã hội • Twitter với sự kiện thảm họa kép “Động đất – Sóng thần” ở Nhật Bản 3/2011 • “Phóng viên nhân dân” (Real time citizen journalist [ZJV12] • Tính thời gian thực của Twitter; Mô hình xác suất dự báo và lan truyền thông tin động đất [SOM10] nhanh hơn C/quan KTTV-NB. • Tư vấn sau thảm họa [CD11, DVC11] [AT12] Casilli, Antonio A. and Paola Tubaro (2012). Social media censorship in times of political unrest: A social simulation experiment on the UK riots, Bulletin of Sociological Methodology, 115 (1): 5-20. [CD11] Nigel Collier, Son Doan (2011). Syndromic Classification of Twitter Messages, eHealth 2011: 186-195 [SOM10] Takeshi Sakaki, Makoto Okazaki, Yutaka Matsuo (2010). Earthquake shakes Twitter users: real-time event detection by social sensors, WWW 2010: 851-860. [STM11] Takeshi Sakaki, Fujio Toriumi, Yutaka Matsuo (2011). Tweet trend analysis in an emergency situation, SWID '11: 3. [ZJV12] Homero Gil de Zúnĩga, Nakwon Jung, Sebastián Valenzuela (2012). Social Media Use for News and Individuals’ Social Capital, Civic Engagement and Political Participation, Journal of Computer-Mediated Communication17 (2012) 319–336

9. I. Tácđộngkhoahọc • Ngành xã hội học [WGG12] • 5 nhóm chủ đề dựa trên Facebook: Phân tích mô tả người sử dụng, Động lực sử dụng Facebook, Trình bày danh tính, Vai trò của Facebook trong tương tác xã hội, Tính riêng tư và việc tiết lộ thông tin. • Phát sinh hướng nghiên cứu mới: "Netnography" = “Inter[net]” and “eth[nography]”; "Child-led Research" • Khoa học máy tính: khai phá dữ liệu mạng xã hội • Là nguồn tài nguyên thông tin phong phú [LVGE12] • Miền ứng dụng rộng lớn [EK10], [HSYY10], [Lesk11]… • Khai phá dữ liệu cấu trúc + Khai phá dữ liệu nội dung [WGG12] Robert E. Wilson, Samuel D. Gosling, and Lindsay T. Graham (2012). A Review of Facebook Research in the Social Sciences, Perspectives on Psychological Science7(3) 203– 220. [LVGE12] Cliff Lampe, Jessica Vitak, Rebecca Gray, Nicole B. Ellison (2012). Perceptions of facebook's value as an information source, CHI 2012: 3195-3204 [EK10] David Easley and Jon Kleinberg (2010). Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press, 2010 [HSYY10] Jiawei Han, Yizhou Sun, Xifeng Yan, Philip S. Yu (2010). Mining Knowledge from Databases: An Information Network Analysis Approach, ACM SIGMOD Conference Tutorial, 2010. [Lesk11] Jure Leskovec (2011). Social Media Analytics, Tutorial at theACM SIGKDD International Conference on Knowledge Discovery and Data Mining (Part 1: Information flow, Part2: Rich Interactions), 2011.

10. II. Khaiphádữliệumạngxãhội • Khai phá nội dung mạng xã hội [HSYY10, Lesk11] • quản lý danh tiếng (reputation management) • tiếp thị phương tiện truyền thông xã hội (Social media marketing) • phản ứng công dân (citizen response) • phân tích hành vi con người (Human behavior analysic) • phóng viên công dân thời gian thực (Real time citizen journalist) • ... • Khai phá cấu trúc mạng xã hội • mẫu và tính động về cấu trúc của mạng xã hội • thế giới nhỏ (small world) • liên kết mạnh – yếu (strong – weak tie) • phân bố luật lũy thừa (power law distribution) • cấu trúc cộng đồng (community) • Dự báo liên kết L. Liu và T. Zhou, 2010 [LZ10] • lý thuyết cân bằng (balance theory) và lý thuyết trạng thái (status theory) [EK10] [LZ10] L. Lu and T. Zhou (2010). Link prediction in complex networks: A survey, Physica A, 390:1150–1170, 2010

11. II. Mộtsốtổchứcnghiêncứu KPDL mạngxãhội • ViệnTiêuchuẩnvàcôngnghệquốcgiaMỹ (NIST) • Nhánhhộinghị TREC: Blogsphore 2010, Microblogs 2011, 2012. • Blogtrack 2010 [MSOS10]: • KhongữliệuBlogs06vàBlogs08 • Ba bàitoánTìmquanđiểm (Opinion-Finding), Lọctìmthúvị ((Blog Distillation), vàPháthiện tin nóng (Top news). • 45 nhómnghiêncứuthamgia • Tìmquanđiểm: dựatheophânlớp, dựatheotừvựng • Tiếpcậnlọctìmthúvị: lựachọntàinguyên, lựachọnchuyêngia • Pháthiện tin nóng: bỏphiếu, xệphạng • Microblog Track 2011, 2012 • NIST tạora 60 chủđề, • giảiquyếttrongthờigianthực, • tìmkiếmvàxếphạngtweest • 2011: côngbốcủa 34 nhómtrênthếgiới http://trec.nist.gov/pubs/trec20/t20.proceedings.html • M. C. McCreadievàcộngsự, 2012 [CSMOC12] [MSOS10] Craig Macdonald, Rodrygo L. T. Santos, Iadh Ounis, Ian Soboroff (2010). Blog track research at TREC, SIGIR Forum44(1): 58-75 (2010) [CSMOC12] Richard M. C. McCreadie, Ian Soboroff, Jimmy Lin, Craig Macdonald, Iadh Ounis, Dean McCullough (2012). On building a reusable Twitter corpus, SIGIR 2012: 1113-1114

12. II. Viện Tin họcquốcgiaNhậtBản • Nội dung hợp tác nhóm GS Collier và KTLab • Hiểu được yêu cầu người dùng khi gặp tình huống khẩn cấp • Theo dõi sự biến đổi khí hậu • Phân tích danh tiếng của các sản phẩm • Khám phá, theo dõi chủ đề và phân tích quan điểm của người sử dụng liên quan tới thảm họa • Một số nội dung cụ thể • Phân lớp hội chứng từ dữ liệu Twitter [CD11]. • Phân tích thông điệp Twitter về động đất [DVC11] • Dự báo thay đổi phân cực chứng khoán bốn cổ phiếu Apple (AAPL), Google (GOOG), Microsoft (MSFT) và Amazon (AMZN). Seminar tiếp theo. [CD11] Nigel Collier, Son Doan (2011). Syndromic Classification of Twitter Messages, eHealth 2011: 186-195 [DVC11] Son Doan, Bao-Khanh Ho Vo, Nigel Collier (2011). An Analysis of Twitter Messages in the 2011 Tohoku Earthquake, eHealth 2011: 58-66. [TSQN12] Tien Thanh Vu, Shu Chang, Quang Thuy Ha, Nigel Collier (2012). An Experiment in Integrating Sentiment Features for Tech Stock Prediction in Twitter, Colling 2012 (being submitted).

13. Viện Tin họcquốcgiaNhậtBản [TSQN12] Tien Thanh Vu, Shu Chang, Quang Thuy Ha, Nigel Collier (2012). An Experiment in Integrating Sentiment Features for Tech Stock Prediction in Twitter, Colling 2012 (being submitted).

14. II. LARC, SMU • Khái niệm phân tích cuộc sống • phân tích hành vi và mạng xã hội và thực nghiệm hành vi • phát hiện và thu hoạch các luật tiến hóa đối với các mạng • Quá trình vòng kín 4 pha • Experiment-Driven Closed-Loop Analytics • Quan sát: quan sát tương tác và mối quan hệ người dùng mạng thời gian thực và thu thập các dấu vết kỹ thuật số. • Phân tích và Dự báo: tiếp nhận, phân tích dấu vết kỹ thuật sốphát hiện các mẫu để dự báo hành vi người dùng và xu hướng mạng. • Thực nghiệm: kiểm tra cách cá nhân/nhóm phù hợp với sự thay đổi về nội dung, cung cấp dịch vụ, kinh nghiệm tương tác, giá và ưu đãi • Hành động con người:người dùng tạo ra trả lời từ thực nghiệm thông qua các loại thông tin phản hồi dữ liệu cho pha Quan sát.

15. II. LARC, SMU: Bùng nổ sự kiện • Wayne Xin Zhao và cộng sự, 2011 [ZJHS11] • Topic discovery, Topical PageRank for Keyword Ranking, Probabilistic Models for Topical Keyphrase Ranking • Qiming Diao và cộng sự, 2012 [DJZL12] [DJZL12] Qiming Diao, Jing Jiang, Feida Zhu and Ee-Peng Lim (2012). Finding bursty topics from microblogs, ACL'12: 536-544, 2012 [ZJHS11] Wayne Xin Zhao, Jing Jiang, Jing He, Yang Song, Palakorn Achanauparp, Ee-Peng Lim and Xiaoming Li (2011) Topical keyphrase extraction from Twitter, ACL-HLT'11: 379-388, 2011

16. II. LARC, SMU: Bùng nổ sự kiện • Wayne Xin Zhao và cộng sự, 2012 [ZSJSL12] • Xung quanh cùng thời gian và cùng một chủ đề • Cùng một người và cùng chủ đề [ZSJSL12] Wayne Xin Zhao, Baihan Shu, Jing Jiang, Yang Song, Hongfei Yan and Xiaoming Li (2012). Identifying Event-related Bursts via Social Media Activities, EMNLP-CoNLL'12:1466-1477, 2012.

17. III. Phát hiện vai trò • Quan hệ xã hội thực • Định nghĩa: tập nút và tập quan hệ • Không như CSDL quản lý quan hệ xã hội: “quen biết” • Cần phát hiện quan hệ xã hội trong xã hội thực • Mạng thành viên câu lạc bộ Karate có hai cộng đồng: huấn luyện viên và chủ CLB • Mạng email: phân cấp vai trò • Quan hệ mạng thông tin công trình khoa học • Một số giải pháp • Mô hình đồ thị nhân tử xác suất theo thời gian [WHJTZ10] • Xếp hạng đối tượng [WHJTZ1] Chi Wang, Jiawei Han, Yuntao Jia, Jie Tang, Duo Zhang, Yintao Yu, Jingyi Guo (2010). Mining advisor-advisee relationships from research publication networks, KDD 2010: 203-212

18. Hệ thống tìm kiếm vai trò [TS12] • Mô hình chung phát hiện vai trò • Thực thể và quan hệ: • 3 kiểu thực thể/nút: Người dùng, tài liệu, thẻ (tag): Một từ bắt đầu với dấu “#” • 5 kiểu cung liên kết: Person-publishes, Person-receives, Depicts, Knows, References [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

19. Hệ thống tìm kiếm vai trò [TS12] • 14 đặc trưng phản ánh vai trò (M1-M14) • M1: Số lượng người mà p biết • M2: Số lượng người biết p “số fan hâm mộ” • M3: Số lượng mối quan hệ đối ứng của p • M4: Hệ số phân cụm mối quan hệ từ các độ đo ràng buộc với bạn bè của p • M5: Độ sâu truyền thông trung bình của người p (chi tiết sau) • M6: Độ sâu truyền thông tối đa của người p (tương tự M5) • M7: Số lượng tin nhắn mà p nhận được • M8: Số tài liệu mô tả p • M9: Thời gian trung bình các hành động ảnh hưởng được p thực hiện • M10: Vị trí trung bình mà người p xuất hiện trong dòng truyền thông • M11: Số lượng các ấn phẩm của p • M12: Ngày p tham gia vào mạng • M13: Trung bình số lượng từ trong các tài liệu của p XB • M14: Chỉ số đăng ký của p: Tỷ lệ phần trăm từ mà tồn tại trong từ điển của tập tài liệu được p xuất bản [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

20. Hệ thống tìm kiếm vai trò [TS12] • Tính độ sâu TT trung bình (M5) và cực đại (M6) • B1: Xác định mọi tài liệu được p xuất bản • B2: Xác định được tất cả người bị ảnh hưởng từ tập tài liệu (bước 1): • B nhận tài liệu của A • Tài liệu của B có tham khảo tài liệu của A • B ghi tên vào một tài liệu nào đó của A • B3: Tính khoảng cách từ p tới mỗi người từ bước 2: số lượng cung của con đường ngắn nhất giữa i và p theo mối quan hệ biết nhau • B4: Độ sâu trung bình (M5)/ cực đại (M6) khoảng cách được xác định trong bước 3 [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

21. Vai trò quan trọng [TS12] • Người nổi tiếng (Celebrities) • Người của công chúng như Lady Gaga, Gisele Bundchen: thu hút fan, có danh sách ? • Liên kết nhiều nhưng có thể ảnh hưởng ít • M2 và M8 • Người lãnh đạo (Information propagators) • Dư luận bắt nguồn từ người lãnh đạo tới phần còn lại • Lượng thông tin qua lãnh đạo có thể không nhiều • M1, M5, M6, M11, M14 • Người quảng bá (Promoters) • Người quảng bá bắt đầu một tư tưởng/phát kiến mới , những người khác liên hệ với họ • M9, M10 • Người nhanh nhậy (Early adopters) • Tích cực phân phối nội dung • M9 và M10 [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

22. Xử lý dữ liệu [TS12] • Phân cụm người dùng • Thuật toán k-mean • Hai nội dung: chuẩn hóa dữ liệu, gán vai trò cho mỗi cụm • Chiến lược chuẩn hóa • Chuẩn hóa tối đa/tối thiếu về [0,1] • Chuẩn hóa logarithm • Chuẩn hóa hạng • Gán vai trò • Xem xét phân bổ dữ liệu theo 14 đặc trưng M1-M14 [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

23. Hệ thống tìm kiếm vai trò [TS12] • Vai trò với các đặc trưng [TS12] Vanesa Junquero-Trabado, David Dominguez-Sal (2012). Building a role search engine for social media. WWW (Companion Volume) 2012: 1051-1060

24. Dự báo bùng nổ sự kiện • Phân hướng xu hướng Tweet • [STM11], Takeshi Sakaki và cộng sự • phân tích xu hướng Tweet xung quanh sự kiện thảm họa kép "động đật – sóng thần“ • Phân tích yếu tố tạo bùng nổ sự kiện • [ZJHS11, ZSJSL12] và [DJZL12] • Phân tích các yếu tố góp phần tạo ra sự bùng nổ sự kiện • Dự báo bùng nổ sự kiện. • Phân tích chủ đề ẩn • Được sử dụng trong [ZJHS11, ZSJSL12] • Dữ liệu miền ứng dụng lớn, thu thập được và theo phong cách riêng phù hợp với mạng xã hôi. [STM11] Takeshi Sakaki, Fujio Toriumi, Yutaka Matsuo (2011). Tweet trend analysis in an emergency situation, SWID '11: 3 [ZJHS11] Wayne Xin Zhao, Jing Jiang, Jing He, Yang Song, Palakorn Achanauparp, Ee-Peng Lim and Xiaoming Li (2011) Topical keyphrase extraction from Twitter, ACL-HLT'11: 379-388, 2011 [ZJV12] Homero Gil de Zúnĩga, Nakwon Jung, Sebastián Valenzuela (2012). Social Media Use for News and Individuals’ Social Capital, Civic Engagement and Political Participation, Journal of Computer-Mediated Communication17 (2012) 319–336

25. IV. Hệ thống phần mềm • Nội dung • Phát hiện vai trò trong mạng xã hội, • Dự báo sự bùng nổ sự kiện trong mạng xã hội theo hai tình huống • Bùng nổ sự kiện toàn cục • Bùng nổ sự kiện cục bộ: một bộ phận mạng xã hội, một số thành viên có vai trò đặc biệt • Hỗ trợ nghiệp vụ • Hai pha • Học mô hình • Sử dụng mô hình • Kết hợp các mạng xã hội • Cho thông tin hỗ trọ phát hiện bùng nổ sự kiện từ các mạng khác nhau

26. IV. Học mô hình • Thu thập dữ liệu học từ mạng xã hội, • Tiền xử lý dữ liệu, • Xây dựng tập đặc trưng cho mô hình học, • Thực hiện thuật toán học mô hình, • Đánh giá mô hình kết quả, • Tiếp nhận mô hình có chất lượng [Barnes54] Barnes

27. Sử dụng mô hình • Thu thập dữ liệu hiện thời trên mạng xã hội, • Tiền xử lý dữ liệu, trích chọn đặc trưng, • Thực hiện mô hình bài toán • Trực quan hóa kết quả mô hình để hỗ trợ người sử dụng ra quyết định tương ứng. [Barnes54] Barnes

28. Thu thập dữ liệu từ Facebook • Các hình thức thu thập dữ liệu • Robert E. Wilson và công sự [WGG12] • Chiêu mộ người tham gia theo ngữ cảnh ngoại tuyến, • Chiêu mộ người tham gia theo ngữ cảnh trực tuyến, • thu thập tự động (crawling) dữ liệu. • Thu thập tự động, trực tuyến • Thu thập thông tin thành viên và đồ thị các mối liên kết bạn bè • Đăng nhập vào tài khoản Facebook • Vào địa chỉ https://developers.facebook.com/tools/explorer/ để lấy Access token tương ứng [Barnes54] Barnes

29. Thu thập dữ liệu từ Facebook • Một số phương pháp chính • Friends: Danh sách các liên kết bạn bè https://graph.facebook.com/me/friends?access_token=<Access token> • News feed: Thông tin cập nhập các hoạt động của bạn bè, Group, Page đã đăng ký, … https://graph.facebook.com/me/home?access_token=<Access token> • Thu thập từ các page • Danh sách địa chỉ của page http://www.facebook.com/directory/pages/ [Barnes54] Barnes

30. Thu thập dữ liệu từ Twitter • Một số phương pháp chính • Một số nhận xét [Barnes54] Barnes

31. Một số bàn luận • Đề nghị một dự án • Nội dung về hệ thống liên quan • Thực hiện tháng 10/2012-12/2013 • Một số công trình sinh viên NCKH tham gia trực tiếp hệ thống • Kết hợp với các dự án khác

32. Trân trỌng cám ơn KT-SISLAB