Khai thác dữ liệu

1. Trường : KHTN HCM Khoa : CNTT Môn : Đồ Án Hệ Thống Thông Tin Khaithácdữliệu Ngườitrìnhbày : HồHoàngÁnh GiáoViên : côNguyễnTrần Minh Thư

2. Nội dung • Cách tiếp cận các vấn đề Khai Thác Dữ Liệu (KTDL). • Các ứng dụng của KTDL. • Các công cụ KTDL sử dụng trong thương mại.

3. Các cách tiếp cận KTDL • Discovery of Sequential Patterns. • Discovery of Patterns in Time Series. • Discovery of Classification Rules. • Regression. • Neural Networks. • Genetic Algorithms. • Clustering and Segmentation.

4. Discovery of Sequential Patterns • Tập các hạng mục liên tục • Ví dụ : {milk, bread, juice}, {bread, eggs}, {cookies, milk, coffe} • Độ Support supp(X) = count(X)/|D| => supp(X) >= minsupp

5. Discovery of Patterns in Time Series • Chuỗi thời gian • Các mẫu theo chuỗi thời gian => phân tích các mẫu và tập con để trích xuất ra những thông tin cần thiết

6. Discovery of Classification Rules • Phân lớp : là quá trình học một chức năng để phân loại một chủ thể cho trước thành nhiều lớp hợp lý. (var1 in range1) & (var2 in range2) &...(varn in rangen)

7. Discovery of Classification Rules • Ví dụ : xây dựng mô hình

8. Discovery of Classification Rules • Ví dụ : sử dụng mô hình

9. Regression • Hồiquy : ánhxạtừmộtmẫudữliệuthànhmộtbiếndựđoántrướccógiátrịthực. • Vídụ : LAB_TESTS(patient ID, test 1, test 2,…, test n ) Hàmhồiquy : P = f (test 1, test 2, ..., test n ) => f làhàmtuyếntính, quátrìnhtìmra f từmộttậpcácbộchotrướcđượcgọilàhồiquytuyếntính (linear regression)

10. Neural Networks • Mạng nơron : • Bắt nguồn từ lĩnh vực nghiên cứu trí tuệ nhân tạo. • Sử dụng phép hồi quy suy rộng. • Phân loại : • Mạng được giám sát : thuật toán tạo ra một hàm ánh xạ dữ liệu vào tới kết quả mong muốn. • Mạng không được giám sát : mô hình hóa một tập dữ liệu, không có sẵn các ví dụ đã được gán nhãn.

11. Genetic Algorithms • Các thuật toán di truyền dựa trên một ẩn dụ sinh học. • Các thuật toán này xem việc học như là sự cạnh tranh trong quần thể gồm các lời giải ứng viên đang tiến hóa của bài toán.

12. Genetic Algorithms • Ví dụ : mô tả giải thuật di truyền tổng quát

13. Clustering & Segmentation • Gom nhóm (Phân cụm) : là quá trình nhóm các đối tượng thành những nhóm/cụm/lớp có ý nghĩa. Các đối tượng trong cùng một nhóm có nhiều tính chất chung và có những tính chất khác với các đối tượng ở nhóm khác. • Phân lớp : học có giám sát. • Gom nhóm : học không có giám sát.

14. Clustering & Segmentation • Ví dụ :

15. Các ứng dụng của KTDL • Các lĩnh vực ứng dụng KTDL

16. Các ứng dụng của KTDL • BI - Business Intelligence, là một lĩnh vực giao thoa giữa Business và Data Mining. • BI mang đến cho người sử dụng các công nghệ, ứng dụng, và phương thức để thu nhập, tổng hợp, phân tích, trình bày thông tin doanh nghiệp, giúp người sử dụng tiếp cận và chia sẽ dữ liệu. • BI có 3 phần chính: • Quản lý hiệu quả doanh nghiệp (EPM - Enterprise Performance Management) • Khai phá và truyền tải thông tin (IDD - Information Delivery and Information Discovery). • Quản lý thông tin doanh nghiệp (EIM - Enterprise Information Management)

17. Các công cụ sử dụng trong thương mại • Phần mềm gom nhóm và phân đoạn dữ liệu

18. Các công cụ sử dụng trong thương mại • Phầm mềm phân lớp sử dụng nhiều phương pháp :

19. Các công cụ sử dụng trong thương mại • Phầm mềm tìm luật kết hợp

20. Các công cụ sử dụng trong thương mại • Trang web về việc áp dụng KTDL vào các bài toán bảo hiểm hay chứng khoán