網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

網路入侵行為分析與探勘(Network Intrusion Analysis and Mining)

內容概要 • 簡介 • 網路入侵 • 網路入侵與攻擊行為 • 入侵偵測系統 • 網路入侵行為分析與探勘 • 資料來源分析與整合：以KDD CUP ’99為例 • 入侵偵測的資料分析與探勘：以KDD CUP ’99為例 • 總結

簡介(1) • 網際網路普及與網路應用蓬勃發展 • 優點：資訊傳遞、交換的便利性 • 缺點：利用網路作為攻擊各類重要應用的管道、破壞與癱瘓網路或主機 • 非法侵入並竊取機密 • 寄發廣告與垃圾信件 • 佔據網路頻寬並癱瘓網路或主機 • 如何對網路入侵與破壞行為進行偵測、防範與緊急處理，成為網路時代重要的議題

簡介(2) • 入侵偵測系統(IDS) • 透過專家與領域知識，找出網路攻擊行為的特徵與模式，瞭解現階段網路行為和可能遭遇的弱點，來輔助管理人員對網路異常行為的偵測與緊急處理 • 資料探勘對入侵偵測系統所提供的幫助 • 隨著網路行為的複雜化，越來越多可供侵入的弱點，導致許多既存的保護機制因無法調整或更新其防禦方式，無法阻絕攻擊發揮保護能力 • 利用資料探勘技術，從網路資訊、流量及系統記錄檔中探勘出有用的知識 • 對於傳統防護機制設定固定規則來阻斷可疑攻擊的方式，資料探勘技術可以分析正常與異常網路使用上的差異，動態更新防禦機制

網路入侵(1) • 網路入侵與攻擊事件通報的趨勢 • 根據電腦網路危機處理暨協調中心(CERT/CC)所提供的的統計資訊，網路入侵與攻擊事件逐年不斷的攀升，自1999年後更是年年呈倍數的成長 • 2003 年電腦入侵與攻擊事件的通報數量相較於1992年便增加了約37 倍之多 • FBI 於 2002年提出的一項電腦安全調查報告顯示，有90%的單位發現過去一年內有安全入侵事件發生，74%指出網路為常見的入侵管道，內部系統入侵為33%，損失總額高達455,848,000美元

網路入侵(2)

網路入侵(3) • 根據美國國防部資訊部門的統計顯示，透過網路入侵被發現的比例卻低於百分之四 • 電腦系統與網路應用的多樣，增加了被入侵的管道 • 系統與軟體公司為了市場競爭，壓縮產品發展時程，造成系統與軟體出現瑕疵與漏洞 • 入侵者也由早期針對單一主機、猜測密碼與手動處理的方式，演變為以下的趨勢 • 透過各方技術知識以及對網路結構、作業方式的了解，採用了更加複雜的攻擊手法。 • 不單只針對提供主機入侵與攻擊，對於網路基礎建設的攻擊事件也越來越常見。 • 利用各種隱藏身分的技巧，並採用自動化的攻擊工具進行攻擊

網路入侵(4) • 攻擊者進行網路入侵與攻擊的流程

網路入侵(5) • 入侵動機 • 報復心態、商業競爭、竊取資料等等 • 隱藏身份 • 為了保護自己，攻擊者會盡力將自己真正的身分以及網路位址 (IP) 隱藏起來，以防止被追踨 • 也可能利用假造他人、間接入侵 (或稱跳板入侵) 的方式，藉由他人身分來攻擊目標主機 • 攻擊目標選擇 • 透過正常管道先來了解對方的網路位址，或利用普及的網路位址掃描工具，隨機尋找下手的目標

網路入侵(6) • 瞭解目標主機存在之網路服務或系統弱點 • 利用掃瞄工具對主機進行服務與系統資訊掃瞄 • 主機必須透過不同的通訊埠 (port) 來提供不同的網路服務(WWW通常利用80此通訊埠、FTP通常利用21通訊埠等等) • 得知目標主機有哪些服務通訊埠是開啟的 • 進行攻擊與入侵 • 針對目標主機之網路服務或系統本身所存在的弱點進行攻擊 • 癱瘓與阻絕服務攻擊(DoS) • 利用緩衝區溢位(buffer overflow)使主機當機或取得主控權

網路入侵(7) • 入侵和攻擊階段的主要步驟 • (1)攻擊端利用特定程式，對目標主機的網路服務或系統資訊發動惡意掃瞄，確認目標主機所提供之網路服務或系統本身存在的弱點 • (2)若受害端在不知情或是疏忽的狀況下，回應這些惡意掃瞄，攻擊端便可得到受害端的弱點資訊 • (3)分析與確認受害端的弱點，攻擊端便可發動正式的攻擊，使受害端服務癱瘓或是使其遭受感染而成為攻擊端的跳板主機 • (4)利用遭受感染的主機，對其他目標主機發動下一波的惡意掃瞄或是攻擊

網路入侵(8) • 入侵和攻擊階段的主要步驟

網路入侵與攻擊行為 • Probe • User to Root (U2R) • Remote to Local (R2L) • Denial of Service (DoS)

Probe • User to Root (U2R) • Remote to Local (R2L) • Denial of Service (DoS)

Probe(1) • 概念 • 利用正常的網路連線行為，來嘗試取得特定主機的各類資訊 • 目標主機提供哪些公用服務(WWW服務、FTP服務等等)，或取得詳細的系統資料(作業平台等等) • 此類行為並不能算是攻擊行為，而是在為後續的攻擊行為做試探的動作 • 雖然Probe不會對系統或網路造成直接損害，但是因其伴隨而來的攻擊行為可能非常猛烈，因此各種入侵偵測系統(IDS)、防火牆 (firewall) 乃至防毒軟體，都致力於偵測與防堵此類探測行為

Probe(2) • Probe類型的攻擊行為 • Ping sweep：利用合法的ICMP (Internet Control Message Protocol) 封包 (pocket) 對網路內多台電腦進行偵測，瞭解主機是否在線上並且可連線 • 工具程式 “ping” 即為使用ICMP echo封包來偵測一台主機是否在線上 • Port scan：對主機進行通訊埠的連線偵測動作。網路服務通常透過特定的網路連接埠提供服務，對這些通訊埠進行連線動作，就可瞭解目標主機上提供服務的狀態

U2R 和R2L(1) • 概念 • 企圖利用各種方式來控制目標主機，其中U2R通常是指攻擊者已擁有目標主機的使用者群限，並企圖取得主機最高權限 (root)；而R2L通常是指攻擊者利用目標主機某些網路服務的弱點，企圖取得主機最高權限的攻擊行為

U2R 和R2L(2) • U2R 和R2L類型的攻擊行為 • 大量嘗試密碼或監聽的方式 • 利用程式緩衝區溢位 (buffer overflow) 的弱點，將程式原本要回傳的位址，改成入侵者想要執行的攻擊程式，對系統的安全性帶來極大的威脅 • 緩衝區溢位的杜絕 • 要防堵U2R或R2L攻擊，應該要避免緩衝溢位的狀況發生。然而，緩衝區溢位問題常常在標準測試期間是不會被發現的，而且即使程式正發生緩衝溢位，但可能沒有任何異常跡象產生，造成除錯上異常棘手

DoS(1) • 概念 • 利用對目標主機要求大量的網路服務，或者進行大量而錯誤的連線動作，使得受攻擊主機忙於處理這些大量、不正常或偽裝的連線，導致無法對其他正常使用者提供服務，甚至造成該主機因消耗過多資源而當機 • 雖然其運作原理相當簡單，但是到目前為止，也是最難以防堵的攻擊行為

DoS(2) • 網路連線：握手機制 (three-way handshaking)

DoS(3) • 握手機制存在問題 • 如果攻擊者一直未回覆已收到連線許可的封包 (ACK) 給目標主機，或者利用 “IP Spoofing” 的技術假造其他主機身分發送封包給目標主機，則目標主機將因為等待對方發出回覆訊息 (ACK)，而保留相關資源給這些未完成的連線 • SYN flood • Land

DoS(4) • DoS類型的攻擊行為 • SYN flood：藉由開啟大量半開 (half-open)、未完成的網路連線，來佔用網路服務的系統資源 • ICMP flood：利用大量的ICMP連線，使受攻擊方主機忙於回應ICMP封包而無法提供正常服務 • UDP flood：UDP (User Datagram Protocol) 協定為一非同步式協定，意即傳送端無須確認接收端是否有收到傳送端送出去的訊息；攻擊方可送出巨量的UDP封包，使目標主機忙於接受與處理這些封包 • Land：送出大量建立網路連線的請求封包(SYN)給網路上的目標主機，並且利用 “IP Spoofing” 的技術讓目標主機以為這些封包都是他自己發送的。當系統在處理這些packet時，由於他自己無法回應給自己，而造成系統當機

DoS(5) • 分散式阻絕服務攻擊 (Distributed Denial of Service, DDoS) • 以DoS為基礎之分散式攻擊，相對於DoS僅有單一攻擊來源端，DDoS則利用多個攻擊來源，企圖讓整個DoS的威力更為強大，並且讓攻擊者的身分更為隱匿

DoS(6) • DDoS攻擊的架構圖

DoS(7) • DDoS攻擊程序 • 首先利用盜用、竊聽取得其他主機上的合法帳號，將入侵程式或後門程式安裝在該主機上面，使該機器成爲控制發動攻擊的主控台 (handler or master) 或者發動攻擊的前端代理人 (agent or zombie) • 當整個攻擊架構完整而且數量達到一定的程度之後，攻擊者將利用遠端操控對主控台下達攻擊指令，於是主控台將驅動所管轄之代理人同時間對目標機器發動大量的DoS攻擊

入侵偵測系統(1) • 防火牆的重要性 • 利用設定過濾法則，有效的偵測與阻擋攻擊行為 • 企業或組織的網路服務都會架設在防火牆之內，由防火牆來保護企業內部網路的主機和伺服器 • 為了防止機器被使用 “land” 攻擊，可以在防火牆上設定「禁止外部網路來的封包其網路位址 (IP) 是內部網路位址」，因為對於一個內部網路而言，外部封包的來源位址絕對不可能是內部的位址

入侵偵測系統(2) • 入侵偵測系統的重要性 • 用以輔助防火牆，提供完整的規則設定甚至更高階的封包追蹤功能；將偵測到的可疑結果回報給網路管理者或利用防火牆進行阻擋工作 • 內部網路所產生的攻擊行為 • 隱匿於正常封包、分散多層次、針對系統安全漏洞等等複雜的攻擊行為 • 入侵偵測系統的類型 • 網路型入侵偵測系統(Network-based IDS, NIDS) • 主機型入侵偵測系統 (Host-based IDS, HIDS)

入侵偵測系統(3) • 防火牆、NIDS和HIDS在內部網路示意圖

入侵偵測系統(4) • 網路型入侵偵測系統 • 針對網路上的封包傳輸、連線狀態內容進行偵測與監控 • 是否有惡意掃瞄的行為 • 是否有大量不正常的網路連線或封包 • 對於系統與網路服務程式所存在的安全漏洞、內部攻擊事件等等，較難偵測 • 主機型入侵偵測系統 • 透過分析系統日誌 (system log)、進出主機的封包內容，除了補足網路型入侵偵測系統的不足，並針對特定主機提供客製化的偵測 • 由於主機型入侵偵測系統幾乎是最後一道防線，因此除了偵測任務外，必須另外扮演主機防火牆的角色，阻擋可能的攻擊行為

網路入侵行為分析與探勘(1) • 目的 • 希望利用電腦高速的運算，從龐大的網路連線資料中探勘可能潛在的異常網路行為，甚至能夠察覺到網路行為的細微變化，協助網路管理者建立網路行為模型與執行進階的網路控管機制 • 動態調整與更新防禦機制 • 減少網路管理者與專家的負擔

網路入侵行為分析與探勘(2) • 可能遭遇的困難 • 網路資料來源的多樣化 • 底層封包資料、封包資訊所產生的網路連線資料外，作業系統系統日誌、甚至其他給定或設計的網路統計資訊等等 • 網路資料龐大且變化快速 • 起始階段的網路攻擊行為通常是少量且隱含於正常網路行為中 • 不同網路應用服務和攻擊行為將有不同的行為模式、不同的行為評估標準 • 以telnet網路應用服務而言，系統呼叫 (system call) 的資訊遠比封包資料與網路連線資料來得重要許多

網路入侵行為分析與探勘(3) • 網路入侵行為分析與探勘之處理步驟

網路入侵行為分析與探勘(4) • 資料來源分析與整合 • 對所要分析的網路應用服務或攻擊行為定義相關的資料來源，並且對這些資料來源進行整合、轉換的動作 • 不同網路架構、不同網路應用服務或不同的攻擊行為，選擇單一或多個較具代表性的資料來源，制訂不同資料來源內容的關連性，將使得後續的處理能夠更為準確和有效率 • 攻擊行為特質分析與建構 • 資料前置處理

網路入侵行為分析與探勘(5) • 資料分析與探勘 • 對產生的資料集合，根據資料特性和所提供的資訊，利用或修改合適的資料探勘演算法來找出偵測與判斷的法則與知識 • 結果呈現與部署 • 利用視覺化的方式來呈現相關結果，幫助管理者與專家瞭解知識的意義，進而作進一步的決策與部署這些知識，以杜絕可能的攻擊行為

資料來源分析與整合：以KDD CUP ’99為例(1) • KDD CUP ’99之資料描述 • 利用一個模擬實驗的網路環境，進行為期9週的網路資料收集，其間除了蒐集正常的封包資料外，更模擬蒐集了多種不同攻擊行為的封包資料 • 所收集到的封包資料轉換成網路連線資料與系統存取資料，並且加入專家所建議的其他網路統計與系統資訊 • 約40個與基本網路連線、網路統計和系統資訊相關的資料維度 • 對每一筆資料記錄給予正常或屬於哪種攻擊行為的標籤

資料來源分析與整合：以KDD CUP ’99為例(2) • KDD CUP ’99所包含之攻擊行為與其所歸屬的攻擊類型

資料來源分析與整合：以KDD CUP ’99為例(3) • KDD CUP ’99提供了一份以網路連線資訊為基礎、加入相關統計資訊和系統資訊的資料集合 • 基本的網路連線資料來源 • 統計資訊資料來源 • 統計資訊資料來源

資料來源分析與整合：以KDD CUP ’99為例(4) • 基本的網路連線資料來源 • 底層的封包資料通常是根據封包格式由一串0與1所組成的資料流，較不具顯著的意義與代表性 • 將所有封包資料轉換為網路連線資料 • 根據TCP/IP協定，由封包資料中所記載的來源端和目的端是否相同，可將屬於同一網路連線的封包，依據封包順序，加以重組還原為基本的網路連線資料

資料來源分析與整合：以KDD CUP ’99為例(5)

資料來源分析與整合：以KDD CUP ’99為例(6) • 部分基本網路連線資料維度

資料來源分析與整合：以KDD CUP ’99為例(7) • 統計資訊資料來源 • 由於Probe與DoS這兩種類型的攻擊是利用正常的網路連線，企圖取得有關主機的各類資訊與癱瘓網路服務，因此可能在短暫的時間內，對特定主機或區域網路產生大量的網路連線資料 • 因此必須增加相關的統計資訊

資料來源分析與整合：以KDD CUP ’99為例(8) • 統計資訊之決定 • 透過專家與領域知識分析相關的攻擊行為 • 以santan此種Probe攻擊而言，其透過某些探測程式對同一主機進行通訊埠掃瞄，企圖找尋此主機上存在的服務以及其可能的弱點，因此可以加入以下三個統計資訊 • 某一短暫時間內連接到同一主機之連線數量或比例 • 某一短暫時間內連接到同一主機但要求不同網路服務之連線數量或比例 • 某一短暫時間內出現狀態為REJ之連線數量或比例

資料來源分析與整合：以KDD CUP ’99為例(9) • 統計資訊之決定 • 以SYN flood此種DoS攻擊而言，其藉由一短暫時間內大量未完成的連線，來佔用網路服務的系統資源，因此可以加入以下三個統計資訊： • 某一短暫時間內連接到同一主機之連線數量或比例。 • 某一短暫時間內要求同一網路服務之連線數量或比例。 • 某一短暫時間內出現狀態為S0之連線數量或比例。

資料來源分析與整合：以KDD CUP ’99為例(10) • 部分統計資訊資料維度

資料來源分析與整合：以KDD CUP ’99為例(11) • 系統資訊資料來源 • 對U2R和R2L這兩種類型的攻擊而言，攻擊者透過探測程式去探測機器上所提供的服務，瞭解這些服務是否存在一些弱點 • 通常不會在短暫的時間內產生大量的網路連線資料，因此並無法由基本網路連線資料或統計資料來看出端倪；反而是解譯封包內容 (data_payload) 以及利用系統日誌檔的記錄，瞭解使用者對主機所下的指令與要求，較能有效判定這兩類的攻擊行為

資料來源分析與整合：以KDD CUP ’99為例(12) • 系統資訊之決定 • 同樣需透過專家與領域知識分析相關的攻擊行為 • 以guess_passwd這種R2L攻擊而言，攻擊者通常從遠端對同一主機進行多次嘗試登入，由於其為非合法使用者，因此嘗試過程中將出現多次登入失敗的封包或者登入失敗的系統日誌，故可以加入以下之系統資訊：『登入失敗的次數』 • 以rootkit這種U2R攻擊而言，攻擊者通常是合法的本機使用者或已取得本機使用者權限，但其企圖取得最高權限者的權限，因此過程中將出現多次嘗試root的次數，此時可以加入以下之系統資訊：『嘗試root的次數』

資料來源分析與整合：以KDD CUP ’99為例(13) • 部分系統資訊資料維度

資料來源分析與整合：以KDD CUP ’99為例(14) • KDD CUP ’99之資料前置處理

網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)