1 / 30

資料挖掘網路服務系統之探討

資料挖掘網路服務系統之探討. 第 9 組 資四 A 報告組員：蔡政緯 王偉哲 吳全恩 劉光磊. 目錄. 1. 緒論 2. 文獻探討 3. 研究方法 4. 系統實作 5. 結論. 1. 緒論 - 研究動機.

mills
Download Presentation

資料挖掘網路服務系統之探討

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 資料挖掘網路服務系統之探討 第9組 資四A 報告組員：蔡政緯 王偉哲 吳全恩 劉光磊

  2. 目錄 • 1.緒論 • 2.文獻探討 • 3.研究方法 • 4.系統實作 • 5.結論

  3. 1.緒論-研究動機 目前市面上已有許多獨立軟體開發廠商以及應用軟體服務供應商針對一般企業組織在資料挖掘上的需求，推出套裝資料挖掘軟體或是資料挖掘相關的服務與技術支援。 企業在實際使用現有的資料挖掘軟體與服務時經常面臨以下的問題： 一、企業部門間異質系統的整合與資料傳輸的相容性 問題 二、傳統資料挖掘軟體缺乏因應使用者的需求而進行 流程彈性調整的能力 三、軟體或服務的整合及維護成本過高

  4. 研究目的 為了解決以上的問題，我們將提出一個具有跨平台能力，而且具有彈性流程調整能力的資料挖掘系統架構。具體而言，本研究的主要目的是在解決目前企業所面臨到的以下問題： 一、克服異質系統與資料交換格式的問題 二、提供彈性的資料挖掘流程 三、降低軟體整合與維護成本

  5. 2.文獻探討-資料挖掘 「資料」(Data)、「資訊」(Information)與「知識」(Knowledge)等三者的定義與之間的關係。

  6. 資料挖掘的相關技術 一、分類 (Classification)： 分類是一種監督式學習(Supervised Learning)，它的定義為根據一些已經有類別的歷史資料來分析它們的所有特徵，再依據這些特徵對未分類或是新的資料進行歸類，例如銀行根據某些規則將其顧客區分為高貢獻度族群、低貢獻度族群等類別。 二、關聯法則 (Association Rule)： 關聯法則的目的是從一堆看似無關的資料中，挖掘出不同項目之間發生的關聯性，探討在同一事件中某一項目出現時，另一個項目也在該事件出現的機率 三、群集 (Clustering)： 群集就是將一大筆資料根據它們彼此間的相似程度，將類似的資料分在一群之中，而區隔不相似的資料。

  7. 資料挖掘的步驟 學者Fong 等人(2002)認為資料挖掘的過程一般可分為確認挖掘目標、資料選擇、資料準備、資料轉換、資料儲存、資料挖掘與結果評估等七大步驟

  8. 資料前處理 • 資料清理 • 資料整合 • 資料轉換 • 資料簡化

  9. 資料挖掘的應用-1 資料挖掘的相關應用相當的廣泛與多樣化，在許多領域如生物醫學領域、財務金融業、製造零售業等各方面都可以發現資料挖掘的相關應用與研究。以生物醫學領域為例，近十年來生物醫學領域的相關研究呈現爆炸性的成長，從新藥物的開發、癌症療法的研究到人類DNA 序列解析等研究領域，均藉助資訊科技與資料挖掘技術來處理龐大的資料。

  10. 資料挖掘的應用-2 資料挖掘技術出現不過短短十多年，但卻能迅速地應用於各種學術與商業領域，學者Berry and Linoff(1997)經過規納分析之後，認為以下五個因素促成了資料挖掘技術的崛起： 一、大量資料的取得難度降低 二、資料倉儲系統的發展成熟 三、電腦運算速度的加強與網際網路的發展 四、全球化商業競爭的壓力 五、資料挖掘軟體的取得方便

  11. 企業應用整合與網路服務 學者Coyle(2001)則認為企業組織可以採取以下三種新技術來因應目前劇烈競爭的商業環境，它們分別為 1.可延伸式標記語言 2.網路服務 3.無線技術

  12. 異質系統與資訊整合 企業組織對於資訊整合的需求已從企業應用系統的整合提升至更廣泛的資訊來源的整合，微軟(2002)認為資訊系統整合的演進大致上可分成以下三大階段： 一、資料整合 二、應用程式整合 三、服務整合 這三個資訊整合的階段清楚地表達出目前企業組織在系統整合與資料交換這兩大議題中所面臨到的限制所在，以及在不同階段中整合方式的差異之處。

  13. 企業應用整合 企業應用整合(Enterprise Application Integration; EAI)的發展是提供企業組織一套完整系統整合架構的解決方案，以達成企業資訊的整合與分享。 企業組織應用EAI 來進行企業內部的資訊整合來自以下三個因素： 一、電子商務 二、企業合併與組織功能的強化 三、企業資源規劃 雖然EAI 是以企業主體為出發點，強調企業流程與資訊系統之間的整合與自動化，藉著整體採用單一系統標準及軟體來達成企業組織內部應用程式的整合，但是所必須付出的成本依舊居高不下。而為了增加企業競爭優勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業資訊整合的發展，除了必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統的彈性以及未來擴充的能力。

  14. 網路服務的應用 由於Web Service 具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將Web Service 的相關技術與其原本的領域進行整合。 Web Service 在資訊技術(IT)領域的應用大致上有以下所述的四個方面： 一、入口網站 二、企業應用程式整合 三、分散式運算 四、應用程式服務提供者與獨立軟體開發商

  15. 3.研究方法 本研究將以Web Service 架構為基礎，將資料挖掘過程中的程序視為由一系列的Web Services 所構成，並透過動態工作流程的概念，以敘述Web Service 流程的BPEL4WS 語法，提供服務使用者得以根據實際上的需求自行編排資料挖掘Web Service 的整體流程，透過流程中各個Web Service 的執行來達成使用者的目標。

  16. 系統概念-1 本研究所提出之系統架構是參考W3C所提出之服務導向架構的概念與基本架構修改而來。 為了達成SOA 的遠景，企業組織必須將系統或應用程式加以分割成為許多具有不同功能特性的分散式子系統模組，這些分散於企業組織內外部的子系統模組必須要支援統一的共通性標準，如此一來才能使得資訊毫無阻礙的在系統中傳遞，達成系統整合的目的。目前業界對於SOA架構的作法是將應用程式與系統建構在網際網路上，也就是將應用程式與系統加以「網路」化，而Web Service 架構正是目前SOA 架構中最新的作法。

  17. 系統概念-2 W3C 所提出SOA 之基本架構圖

  18. 4.實作-範例流程實作步驟過程

  19. 以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合

  20. 本步驟中所呼叫的遠端Web Service採用的分群演算法為K-Means。 K-Means是屬於一種直接將資料集合進行分割成為數個相互間無關聯的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數個群集，而群集的結果須滿足以下條件： 1.每個群集中至少要有一個以上的物件 2.每個物件須完全的歸屬於某個群集 3.每個物件與其所歸屬的群集質心間的歐基理德 距離會小於與其他群集質心間的距離

  21. 我們可根據其所在位置、參與流程的目的與方法，將他們分為三種角色：我們可根據其所在位置、參與流程的目的與方法，將他們分為三種角色： 1.具資料挖掘需求的系統使用者，也就是流程設計者與流程使用者 2.於網際網路上提供對資料庫進行資料擷取和分群演算等Web Services的服務提供者 3.作為上述兩者間的資料傳輸橋樑，由流程設計者所設計規劃完成的IrisFlow等

  22. 5.結論 此研究的貢獻可以歸納如以下幾點： 1.導入Web Service與XML相關技術做基礎，克服在傳統資料挖掘流程中所遇到的資料相容性問題 2.以工作流程的觀念做基礎，結合Web Service流程描述語言BPEL4WS，有系統的提供在資料挖掘流程中關於活動、流程順序等各方面的細節描述 3.在資料挖掘流程中各步驟的演算活動是由多個功能各異的Web Service元件所組成，在日後因需求改變而使資料挖掘流程需進行更新和修改時，較傳統資料挖掘軟體更具有流程變動上的彈性 4.以統一且公開的資料挖掘模式描述語言PMML，作為描述資料挖掘模式的工具，不但是以具系統化的方式描述資料挖掘模式，並請提供使用者日後在其他軟體重新建置原有模式的參考

  23. 未來展望 本研究未來之發展可朝以下幾個方向進行： 1.機密資料傳輸安全的強化 2.分散式運算架構的導入 3.資料挖掘結果合併演算法的發展

  24. The End!!

More Related