1 / 98

A Network Traffic Analysis System Based on the Statistical Process Control Mechanism

屏東科技大學工業管理系 吳繼澄 102.9.27. A Network Traffic Analysis System Based on the Statistical Process Control Mechanism 基於統計製程管制之網路流量分析系統. 大綱. 研究動機與背景 現有的網路安全防護機制 研究目的 網路行為分析 網路流量分析系統 系統架構、設計與功能 系統設計工具. 大綱. 網路流量分析系統 單變量管制圖 多變量管制圖 模擬分析與最佳參數選擇 結論與建議. 2014/9/23. JCWU. 3. 研究動機與背景.

jalena
Download Presentation

A Network Traffic Analysis System Based on the Statistical Process Control Mechanism

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 屏東科技大學工業管理系 吳繼澄 102.9.27 A Network Traffic Analysis System Based on the Statistical Process Control Mechanism 基於統計製程管制之網路流量分析系統 JCWU

  2. 大綱 • 研究動機與背景 • 現有的網路安全防護機制 • 研究目的 • 網路行為分析 • 網路流量分析系統 • 系統架構、設計與功能 • 系統設計工具 JCWU

  3. 大綱 • 網路流量分析系統 • 單變量管制圖 • 多變量管制圖 • 模擬分析與最佳參數選擇 • 結論與建議 2014/9/23 JCWU 3

  4. 研究動機與背景 • 網際網路(Internet)的發展歷史 • 1960年代美國國防部設立了高等研究計畫署(Advanced Research Projects Agency, ARPA)，以封包交換方式發展出網路通訊技術與通訊協議(Communications Protocol)，建立ARPANET提供穩定且不受限各種品牌通訊設備之網路架構。 • 1970年代，ARPA機構的學者提出TCP/IP通訊協定，定義了網路上通訊傳輸的技術。 • 1980年代，TCP/IP正式成為網際網路標準之通訊協定，ARPANET從原本NCP通訊協定變成以TCP/IP作為網路的核心，並將網路分成學術及軍事網路。 JCWU

  5. 研究動機與背景 • 網際網路(Internet)的發展歷史 • 1986年美國國家科學基金會(National Science Foundation, NSF)架設了各大學之間的互聯骨幹網路，1990年代網際網路開放給商業及社會大眾。事實上，自1989年Tim Berners-Lee提出全球資訊網(World Wide Web)的網路架構後，網際網路廣泛已在商業及學術上使用。 • 隨著網際網路的蓬勃發展，使用網路的人口逐年增加，根據Internet World Stats統計，全球上網人口從2000年到2012年成長超過500%，使用網路人數佔全球總人口數約32.7%。 JCWU

  6. 研究動機與背景 • 隨著多元化的網路平台與資訊技術不斷發展，各式各樣的網路服務相繼推出，例如e-Bay、Amazon、網路訂票系統等電子商務平台；Facebook、Skype、Twitter等社群網站服務；報稅、天氣與路況查詢等公共資訊系統；FTP、P2P、YouTube等文字影像語音檔案傳輸與分享等。然而在電腦與網路大量運用之際，不法之徒悄悄地利用病毒程式、電腦系統漏洞、隱碼攻擊、網路釣魚、社交工程等手段，入侵及竊取電腦中重要資料檔案、個人資訊或帳號密碼，藉以獲取不法所得，使得網路的安全性及服務品質備受質疑。 JCWU

  7. 研究動機與背景 • 根據賽門鐵克(Symantec)公司2011年網路調查報告指出，過去12個月台灣就有67%公司遭受網路攻擊，且有96%的公司因網路攻擊而受其損失；在服務品質方面，而中華電信資安辦公室的統計資料亦顯示，2009年中華電信每天平均發生大約3.7次的分散式阻斷服務攻擊(Distributed Denial of Service, DDoS)，其中較大規模的攻擊是以每秒流量約8GB進行攻擊，嚴重影響網路所提供的服務品質。 2014/9/23 JCWU 7

  8. 研究動機與背景 • 新版個資法已於2012年10月1號正式上路，其適用對象包括了自然人、法人或其他任何3人以上的團體。對公司企業而言，如果洩露消費者的個資，天價的損害賠償金額很嚴重。因此，對於網站與資料的保護已成為現今刻不容緩的重要資安議題。 2014/9/23 JCWU 8

  9. 現有的網路安全防護機制 2014/9/23 JCWU 9

  10. 現有的網路安全防護機制 2014/9/23 JCWU 10

  11. 現有的網路安全防護機制 • IDS依部署方式的不同主要可以分成兩類： • 網路型入侵偵測系統(Network-Based Intrusion Detection System, NIDS) 2014/9/23 JCWU 11

  12. 現有的網路安全防護機制 • IDS依部署方式的不同主要可以分成兩類： • 主機型入侵偵測系統(Host-Based Intrusion Detection System, HIDS) 2014/9/23 JCWU 12

  13. 2014/9/23 JCWU 13

  14. 現有的網路安全防護機制 • IDS依運行模式大致可分為兩類： • 線上型(In Line)分析 - 直接擷取即時的網路封包 駭客攻擊 入侵攻擊 Internet 擷取封包及解析封包表頭(Header)及內容(Content) 封包延遲 線上型分析系統 （Firewall, IDS） 系統當機 2014/9/23 JCWU 14

  15. 現有的網路安全防護機制 • IDS依運行模式大致可分為兩類： • 離線型(Off Line)分析 入侵攻擊 不擷取封包及解析封包，可接收遠端系統傳來之網路封包資訊 Internet 連外路由器 防火牆安全系統 連內路由器 流量資訊 離線型分析系統 日誌資訊 伺服器(WWW、PROXY…) 伺服器(SMTP、DNS…) 2014/9/23 JCWU 15

  16. 現有的網路安全防護機制 • IDS依偵測的方法亦可以分為兩類： • 誤用偵測系統(Misuse Detection System) • 誤用偵測系統又稱為特徵型偵測(Signature-Based Detection)，其檢測的方法類似防毒軟體的作業方式，利用先前已知的事件建立各種網路攻擊手法、入侵行為及作業系統漏洞，將其相關資料分析整理成入侵特徵(Signature)模式庫。入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵，進行判斷是否符合攻擊者入侵行為，若符合攻擊特徵即發出警告。 2014/9/23 JCWU 16

  17. 現有的網路安全防護機制 • IDS依偵測的方法亦可以分為兩類： • 異常偵測系統(Anomaly Detection System) • 異常偵測系統藉由蒐集過去主機或網路之正常活動數據，建立正常行為模組，將目前蒐集數據與正常行為模組進行比較分析，若比較結果違反正常活動規律時，該使用行為即被判定為可能入侵攻擊。因此，建構異常偵測系統通常藉由統計方法、預測模型、類神經網路或資料採礦等技術，將正常使用的電腦負載率、記憶體利用率、歷史活動資料、訪問時間和次數等行為記錄進行分析，建構出正常行為模組，以提供比較未來的活動行為。 2014/9/23 JCWU 17

  18. 現有的網路安全防護機制 2014/9/23 JCWU 18

  19. 現有的網路安全偵測技術 2014/9/23 JCWU 19

  20. 現有的網路安全偵測技術 2014/9/23 JCWU 20

  21. 現有的網路安全防護機制 • 網路安全偵測系統，已經發展許多年，但偵測系統尚存在一些待解決的問題： • 高誤判率 • 產品適應能力低 • 大型網路的管理問題 • 可擴展性差 • 處理速度上的瓶頸 • …… 2014/9/23 JCWU 21

  22. 研究目的 • 無論哪種形式的偵測系統，網路安全終究需要專業人員進行必要的管理。網管人員為了維持良好的網路傳輸品質，必須經常透過修補主機漏洞、建構防火牆規則、設置入侵偵測系統、分析日誌紀錄檔等，判斷目前網路是否屬於正常的使用行為。另一方面，也需處理更新入侵特徵值、系統當機處理、網路效率降低等維護工作。因此，網管人員需要高度的專業知識才能維護上述防護活動。 2014/9/23 JCWU 22

  23. 研究目的 • 故本研究在不更動既定的網路架構下，考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力，基於統計製程管制(Statistical Process Control, SPC)的原理及方法，同時參照網路流量資料的特性，開發一套離線型網路流量分析系統(Network Traffic Analysis System)。透過自動蒐集流量、繪製管制圖、資料整理與篩選、計算管制界限以及查詢相關資訊等功能，提供網管人員隨時監控網路安全的一種視覺化工具，以滿足現今高速、傳輸大量封包的網路環境。 2014/9/23 JCWU 23

  24. 網路行為分析 • 網路管理需要了解用戶、應用和設備的行為，包括用戶之間的交互行為，用戶與設備或系統的交互行為，亦即進行網路行為分析(Network Behavior Analysis, NBA)。 • 長記憶性(long memory) • 相似性(similarity) • 非常態性(non-normality) • 相關性(correlation) 2014/9/23 JCWU 24

  25. 網路行為分析-長記憶性 • 網路正常流量Netflow封包資料繪製時間序列圖(time sequence plot)，如下圖所示，圖中顯示正常流量Netflow約略呈現非平穩但週期性規律變化。 2014/9/23 JCWU 25

  26. 網路行為分析-長記憶性 2014/9/23 JCWU 26

  27. 網路行為分析-長記憶性 • 重標極差分析法(簡稱R/S分析法) • 其中為樣本平均， • 為樣本標準差。 • Hurst指數H=b=0.93025，故時間序列差分階數d=H-0.5=0.43025並非整數，且介於(0, 0.5)之間，表示網路流量資料具有正向長記憶特性。 2014/9/23 JCWU 27

  28. 網路行為分析-長記憶性 • 最適週期性分數整合移動平均模型為SARFIMA(2,0.43025,2)(1,1,1)144： 2014/9/23 JCWU 28

  29. 網路行為分析-相似性 • 許多實證的網路流量資料顯示，在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下，網路流量會因為使用者上網的習性，在同一時段出現特定形式的模式，使用者的群體行為可能蘊含某些相似的表現，例如學校學期內學生每週上課時間及課後的生活起居大致相同，網路的使用人數、習性(何時上網、連線目的地)、單位時間流量，以及藉由哪個IP或port來提供服務(WEB、E-MAIL、FTP、BBS…)等也都會具有一定的規律。 2014/9/23 JCWU 29

  30. 網路行為分析-相似性 2014/9/23 JCWU 30

  31. 網路行為分析-相似性 • 本研究首次提出以時間縱斷面進行分析，利用相同時間點的流量資料建構管制界限，不同的時間點就有不同的管制界限，最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖。以銘傳大學流量資料為例，若定義每5分鐘為一抽樣時點，一天24小時便有288個時點，樣本為每5分鐘封包數量的平均值，樣本期數為網路流量蒐集之周數，進而計算出各時點的管制界限，最後將各時點之管制界限合併成監控一天的網路流量管制圖，如下圖所示。 2014/9/23 JCWU 31

  32. 時點 288 時點 1 時點 2 μ1 μ2 ‧‧‧ μ288 第1周 第2周 ‧ ‧ ‧ 第m周 訓練資料 UCL CL LCL 1 2 ‧‧‧ 288 Control Chart 2014/9/23 JCWU 32

  33. 網路行為分析-非常態性 • 常用的計量值管制圖均假設製程資料為來自常態分配(normal distribution)，故管制界限常取為平均數加減3倍標準差。然而，網路流量資料不一定服從常態分配，若是流量資料不具有常態分配，管制界限的參數又該如何選擇？ • 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理，分別針對各時點進行常態檢定。底下以早上十點、下午三點及晚上九點的實際網路流量資料為例，繪製其常態機率圖(normal probability plot)並進行S-W檢定(Shapiro-Wilk Test)。 2014/9/23 JCWU 33

  34. 2014/9/23 JCWU 34

  35. 網路行為分析-相關性 • 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律，從而建立起比較完備的規則庫進行檢測。過去有關網路流量分析的研究多為單一流量特徵(單變量)為大宗，事實上反應流量異常的特徵通常不只一項，若能適當地從流量資料當中提取更多的有用資訊，必定能增進偵測系統的效能。 • 本研究提取了三個流量特徵變量，分別為連結數目(Connect Number)、封包數量(Packets)與封包大小(Octets) 。 2014/9/23 JCWU 35

  36. 2014/9/23 JCWU 36

  37. 網路行為分析-相關性 2014/9/23 JCWU 37

  38. 網路流量分析系統系統架構、設計與功能 2014/9/23 JCWU 38

  39. 網路流量分析系統系統架構、設計與功能 Internet (config)# ip flow-export destination ip port … (config-if)# ip route-cache flow Port mirror 完整封包 Netflow 封包 2014/9/23 JCWU 39

  40. 將封包mirror到另外一個port 產生Netflow資料導送給loop address 接收傳來的Netflow封包分析後寫入資料庫 分析系統對資料庫的資料做分析，且處理管理者下的查詢 藉由網頁呈現給管理者 2014/9/23 JCWU 40

  41. 網路流量分析系統系統架構、設計與功能 2014/9/23 JCWU 41

  42. 2014/9/23 JCWU 42

  43. 網路流量分析系統系統架構、設計與功能 • 網站的主要功能項目分為： • 流量與排行查詢 • 流量分析 • 比對分析 • 異常查詢 2014/9/23 JCWU 43

  44. 網路流量分析系統系統架構、設計與功能 • 網站的主要功能項目分為： • 流量與排行查詢 • 當天即時流量圖查詢 • 當天IP使用率/Application排行榜查詢 • 即時單位時間流量圖查詢 2014/9/23 JCWU 44

  45. 網路流量分析系統系統設計工具 • 系統設計工具有： • Cisco Netflow 協定 • C語言 • PHP 語言 • PostgreSQL資料庫 • nProbe程式 • JpGraph繪圖工具 • Ajax技術 2014/9/23 JCWU 47

  46. 網路流量分析系統單變量管制圖 • X-bar管制圖 • 符號定義 • m：訓練資料筆數。 • ：第i筆資料，時點j內的封包大小，j=1,…,T, i=1,…,m。 • ：在時點j，m筆訓練資料的樣本平均數。 • ：在時點j，m筆訓練資料的樣本變異數。 • L：管制界限寬度，傳統工業製程建議設為3。 • ：修正樣本標準差為母體標準差之不偏估計的常數。 2014/9/23 JCWU 48

  47. 網路流量分析系統單變量管制圖 • 在時點j，X-bar管制圖之管制界限為： • , j=1,…,T 管制界限寬度L=? 2014/9/23 JCWU 49

  48. 網路流量分析系統單變量管制圖 • EWMA管制圖 • 符號定義 • j：抽樣時點，j = 1,...,T。 • m：訓練資料集I的筆數。 • n：訓練資料集II的筆數。 • λ：EWMA管制圖之平滑指數。 • L：EWMA管制圖管制界限的寬度。 • ：訓練資料集I中，第i筆資料於時點j之流量資料，i = 1,...,m，j = 1,...,T。 2014/9/23 JCWU 50

More Related