SALDIRI TESPİT SİSTEMLERİ İstatistiksel Anormallik Belirlemeyi Kullanan Sistemler

1. SALDIRI TESPİT SİSTEMLERİİstatistiksel Anormallik Belirlemeyi Kullanan Sistemler Melike EROL erol@cs.itu.edu.tr Bilgisayar Mühensiliği Bölümü

2. PLAN • Giriş • Saldırı çeşitleri • Günümüzde saldırıların boyutları • Saldırı Tespit Sistemleri (STS) • STS’lerin Veri İşleme Zamanına göre sınıflandırılması • STS’lerin Mimarilerine göre sınıflandırılması • STS’lerin Bilgi Kaynaklarına göre sınıflandırılması • STS’lerin Veri İşleme yöntemlerine göre sınıflandırılması • Anormallik Temelli • İmza Temelli • Bazı STS örnekleri • STS’lerin Başarım Ölçütleri • STS testlerinde kullanılan DARPA veri setleri • İstatistiksel anormallik tespiti kullanan yakın tarihli çalışmalar • Bir gerçekleme çalışması Melike Erol

3. Saldırı Çeşitleri • Bilgi Tarama (Probe ya da scan) • Bir sunucunun ya da herhangi makinanın, geçerli ip adreslerini, aktif portlarını veya işletim sistemini öğrenmek için yapılan saldırılardır. • Hizmet Engelleme (Denial of Service - DoS) • Genelde TCP/IP protokol yapısındaki açıklardan faydalanarak veya bir sunucuya çok sayıda istek yönelterek onu tıkamaya sebep olan saldırılardır. • Protokol hatalarına dayalı • Devamlı paket göndermeye dayalı • Çok kaynak kullanarak • Tek kaynak kullanarak Melike Erol

4. Saldırı Çeşitleri (devam) • Yönetici Hesabı ile Yerel Oturum Açma (Remote to Local - R2L) • Kullanıcı haklarına sahip olunmadığı durumda misafir ya da başka bir kullanıcı olarak izinsiz erişim yapılmasıdır. • Kullanıcı Hesabının Yönetici Hesabına Yükseltilmesi (User to Root - U2R) • Bu tip saldırılarda sisteme girme izni olan fakat yönetici olmayan bir kullanıcının yönetici izni gerektirecek işler yapmaya çalışmasıdır. Melike Erol

5. Günümüzde Saldırıların Boyutları • İnternet üzerinde hergün 25000 civarında saldırı gerçekleşmektedir [2002]. • Büyük maddi kayıplar oluşmaktadır. • Saldırı tipleri ve saldırgan profili zamanla değişmektedir. Melike Erol

6. Saldırı Tespit Sistemleri (STS) • Saldırıların tespit edilmesi ve önüne geçilmesi için kullanılan sistemlerdir. • Ağ üzerinden veya direkt makina başından yapılan saldırıları tespit edebilirler. • Biz sadece ağ üzerinden yapılan saldırılara karşı geliştirilen STS’leri inceleyeceğiz. • Ticari, devlete ait ve akademik bir çok STS mevcuttur. Melike Erol

7. STS’lerin Sınıflandırılması • STS’ler 4 ana grupta sınıflandırılırlar. • Veri İşleme Zamanına göre • Mimarilerine göre • Bilgi Kaynaklarına göre • Veri İşleme Yöntemlerine göre • Anormallik Tespiti Temelli • İmza Temelli Melike Erol

8. Veri İşleme Zamanına Göre Sınıflandırma • Gerçek Zamanlı (real time) • Gerçek Zamanlı olmayan (batch) Melike Erol

9. Mimariye Göre Sınıflandırma • Çok sayıda dağıtık merkezden veri toplayıp bir merkezde verileri işleyen STS’ler • Tek bir kaynaktan veri toplayıp aynı yerde bu verileri işleyen STS’ler Melike Erol

10. Bilgi Kaynaklarına Göre Sınıflandırma • Ağ-temelli STS’ler • Ağ paketlerini yakalayıp bunları analiz ederek saldırı tespiti yaparlar. • Sunucu-temelli STS’ler • Bilgisayar sistemi içerisinde toplanan veriler üzerinde çalışırlar. • İşletim sistemine yönelen saldırılar için hangi sistem çağrılarının ve hangi kullanıcıların sorumlu olduğu tespit edilebilir. • Uygulama-temelli STS’ler • Bir yazılım uygulaması ile meydana gelen olayları analiz eden sunucu-temelli STS’lerin özel bir türüdür. • Bilgi kaynağı olarak genellikle uygulamaya ait günlük dosyalar kullanılır. Melike Erol

11. Saldırı Tespit Yöntemlerine Göre Sınıflandırma 1) Anormallik Tespiti: • Anormallik (anomaly) normal davranıştan sapma anlamına gelir. • Normal davranıştan farklılık gösteren davranışlar saldırı olarak işaretlenirler. • Burada normal davranışın bilinmesi ve modelenmesi esastır. Ancak bundan sonra bir anormallik varsa tespit edilebilir. • Normal davranış STS tarafından öğrenilebilir veya baştan programlanabilir. • Avantajı daha önceden tanınmayan saldırıların keşfedilmesi olasılığıdır. • Dezavantajı ise yanlış alarmların (false alarm/positive) sayısının yüksek olmasıdır. • Anormallik tespitinde • kural tabalı teknikler • açıklayıcı istatistikleri kullanan teknikler • yapay sinir ağları • sinyal işleme teknikleri kullanılabilir. Melike Erol

12. Saldırı Tespit Yöntemlerine Göre Sınıflandırma (devam) 2)İmza Temelli Sistemler • Kötüye kullanım tespiti (Misuse detection) olarak da bilinir. • Her davranışın bir imzası-karakteri vardır. • Eğer gözlenlenen davranış daha önceden bilinen bir saldırı imzası ile eşleşiyorsa saldırı olarak sınıflandırılır. • Daha önce karşılaşılmadıysa saldırı olarak nitelenmez. • Avantajı saldırıyı kesin olarak tanıyabilmesidir. • Dezavantajı yeni bir saldırı gelirse bunu sezemez. • İmza temelli yaklaşım daha çok ticari sistemlerde kullanılırlar. • Exper sistemler yaygın olarak kullanılırlar. Melike Erol

13. Bazı STS Örnekleri • Denning’in geliştirdiği IDES (Intrusion Detection with Expert Systems) tipinden STS • Bu konuda en eski ve en çok referans verilen çalışmalardandır. • Exper sistemin karar vermesi için önce kullanıcı kayıtları farklı bir yapıya dönüştürülür. Örneğin: [ali@computer]# COPY GAME.EXE TO <Library> GAME.EXE komutu için oluşturulacak kayıtlar şu şekilde olacaktır. Melike Erol

14. Bazı STS Örnekleri (devam) • Denning’in geliştirdiği IDES anormallik tespitine dayanır ama exper sistem kullanır. • Exper sistem kullanıcı kayıtlarından çıkartılan • Eşik değeri • Momentler • Markov modeli ölçütlerini kullanarak saldırının varlığına ilişkin karar verir. • Diğer STS örnekleri: • NADIR (1991-93) • EMERALD (1997-98) • Bro (1988) • W&S (1989).... Melike Erol

15. PLAN • Giriş • Saldırı çeşitleri • Günümüzde saldırıların boyutları • Saldırı Tespit Sistemleri (STS) • STS’lerin Veri İşleme Zamanına göre sınıflandırılması • STS’lerin Mimarilerine göre sınıflandırılması • STS’lerin Bilgi Kaynaklarına göre sınıflandırılması • STS’lerin Veri İşleme yöntemlerine göre sınıflandırılması • Anormallik Temelli • İmza Temelli • Bazı STS örnekleri • STS’lerin Başarım Ölçütleri • STS testlerinde kullanılan DARPA veri setleri • İstatistiksel anormallik tespiti kullanan yakın tarihli çalışmalar • Bir gerçekleme çalışması Melike Erol

16. STS’lerin Başarım Ölçütleri • Yanlış Alarm Seviyesi • STS’lerde normal bir davranışı yanlışlıkla saldırı olarak etiketlemek yanlış alarmdır. • Bu sadece anormallik tespitine dayanan sistemlerde geçerlidir. • Doğru Tespit Seviyesi • Yakalanan doğru alarmların oranı • Yanlış alarm ve doğru tespit birbiriyle ilintilidir. • STS’lerde sistem başarımını göstermede ROC (Receiver Operating Characteristic) eğrileri kullanılır. Melike Erol

17. STS’lerin Başarım Ölçütleri (devam) • Yoğun veri ile başa çıkabilme • Olayları ilintilendirebilme • Farklı kaynaklardan gelen bilgileri birlikte kullanabilme • Yeni Saldırıları tanıyabilme • Sadece anormallik tespiti ile çalışan STS’ler için • Saldırıyı tanıyabilme • STS’ler saldırı var ya da yok bilgisini verirler genelde • Hangi saldırının gerçekleştiği daha sonradan bilinebilir. • Saldırının başarılı olup olmadığını belirleme Melike Erol

18. STS Testlerinde Kullanılan Veri Setleri • Gerçek veri bulmak her zaman zordur. • Saldırı anı etiketlenmiş veri bulmak daha da zordur. • Bu verileri saklamak masraflıdır. • Simulasyon yapılabilir fakat: • İnternet tarfiğini simule etmek zordur. • DARPA IDEVAL 1998- 1999 (MIT Lincoln Lab.) • En sık kullanılan veri seti • KDD CUP’99 • DARPA’dan türetilmiştir. • MİB verileri • İnternet üzerindeki yönlendirici MİB’lerindeki sayaç değerleri SNMP ile alınabilir. • Yönetici izni gereklidir. • Kısıtlı bilgi içerir. • Buna alternatif ağ dinleyicisi veya IP flow monitorlerdir. Melike Erol

19. DARPA Veri Setleri • STS testlerinde kullanılan, İnternet ortamından ücretsiz alınabilecek veri setidir. • Amerikan Hava Kuvvetlerine ait bir LAN’ın ve trafiğinin simulasyon sonucu oluşturulmuştur. Melike Erol

20. DARPA 1999 Veri Setleri • Toplam 5 haftalık veri • Her hafta 5 gun • Bir gün 22 saatlik veriyi içerir (08:00-06:00). • Her gün için 5 ayrı dosya tutulur. (toplam 7,5GB) • Ağ dinleyicisindan elde dilen dosya • İç ağ dinleyicisindan alınan tcpdump dosyası • Dış ağ dinleyicisidan alınan tcpdump dosyası • Solaris Temel Güvenlik Modülü (Basic Security Module -BSM) audit (kayıt) dosyası • Windows NT olay log dosyası • Kurban makinalardan her gece alınan güvenlik kayıtları. • Test haftalarında 58 farklı tipte 200’e yakın saldırı mevcuttur. Melike Erol

21. DARPA’nın Problemleri • Yeni geliştirilecek STS’lerin DARPA veri setlerini temel alması ve buradan alacakları sonuca göre hareket etmeleri, kendilerini kalibre etmeleri DARPA’nın temel amacı olarak düşünülürse bu verilerin gerçeğe yakın olması son derece önemlidir. • Simule edilen arka plan trafiği ile Hava Kuvvetleri trafiğinin hangi özelliklerinin benzediği belirtilmemiştir [McHugh]. • İletişim yoğunluğunun ne olduğu DARPA setlerinde belirtilmemiştir. • Hesaplandığında İnternet trafiğinin çok altında olduğu görülmüş. Melike Erol

22. DARPA’nın Problemleri • DARPA veri setlerinin özbenzeşimliliği: • Hurst parametresi günün değişik saatlerinde farklı • gündüz (H=0.7) → özbezeşimli • gece (H=0.5) → özbenzeşimli değil yani özbenzeşimli yapının her zaman korunmadığı gözlenmiştir. [Allen et al.] • Propagasyon gecikmesi ya da en azından TCP bağlantılarına ait ortalama RTT değerleri verilmemiştir. • Zaman serisi oluşturulurken örnekleme frekansının seçilmesi için bu bilgilerin elde edilmesi önemlidir. Melike Erol

23. Anormallik tespitinde istatistiksel yöntemleri kullanan yakın tarihli çalışmalar - 1 • Cabrera et al. [2000], DARPA veri setinden zaman serileri oluşturmuştur. • Günün değişik saatlerinde farklı rejimler görülmüş • Gunduz • Aksam • Gece • Bunlar için farklı örnekleme frekansının kullanılmasıyla saldırı tespitinin başarımının arttığını söylemiştir. Melike Erol

24. Anormallik tespitinde istatistiksel yöntemleri kullanan yakın tarihli çalışmalar - 2 • Lazarevic et al. [2003], DARPA setlerini kullanarak ayrıksı eleman tespiti (outlier detection) yapar. • kaynak_varış_paket_sayısı • varış_kaynak_paket_sayısı • son 15saniyede bir kaynağa yapılan bağlantılar gibi 23 değişik özellik seçilmiş. • Bunların sayısal değerleri ile saldırı içermeyen veri setinden normal bir küme oluşturulmuştur. • Daha sonra test verileri bu küme ile karşılaştırılıp genel davranıştan ayrılma varsa bunun tespitine çalışılmıştır. • En yakın komşu (nearest neighbor) • Mahalanobis uzaklığı algoritması gibi örüntü tanımadan bilinen yaklaşımlar uygulanmıştır. Melike Erol

25. Anormallik tespitinde istatistiksel yöntemleri kullanan yakın tarihli çalışmalar - 3 • Shyu et al. [2003], KDD Cup veri setini kullanır. • Sinyal işleme tekniklerinden Temel Bileşen Analizi -TBA (Principle Component Analysis - PCA) kullanır. • TBA verinin, özdeğerleri kullanarak daha düşük bir boyutta ifade edilmesine yarar. • Temel bileşen yi için: • Yapılan hesapta c1 ve c2 aşılıyorsa saldırı tespit edilir. • Eşik değerleri yanlış alarm seviyesini belirli düzeyde tutacak şekilde seçilir. Melike Erol

26. Anormallik tespitinde istatistiksel yöntemleri kullanan yakın tarihli çalışmalar - 4 • MIB verisi ile çalışan Barford et al. [2002] ait STS. • Dalgacık yöntemi kullanılarak veri ayrıştırılmıştır. • Verinin kendisinden oluşturulan zaman serisi ve • filtrelemenin sonundaki, 3 değişik ölçekteki zaman serisine kayan ortalama hesabı (moving average) uygulanıp belirlenen bir eşik değerinden sapmalara saldırı etiketi konmuştur. • Saldırılar uzun-vadeli (long-lived) ve kısa-vadeli (short-lived) olarak sınıflandırılabilmiştir. Melike Erol

27. PLAN • Giriş • Saldırı çeşitleri • Günümüzde saldırıların boyutları • Saldırı Tespit Sistemleri (STS) • STS’lerin Veri İşleme Zamanına göre sınıflandırılması • STS’lerin Mimarilerine göre sınıflandırılması • STS’lerin Bilgi Kaynaklarına göre sınıflandırılması • STS’lerin Veri İşleme yöntemlerine göre sınıflandırılması • Anormallik Temelli • İmza Temelli • Bazı STS örnekleri • STS’lerin Başarım Ölçütleri • STS testlerinde kullanılan DARPA veri setleri • İstatistiksel anormallik tespiti kullanan yakın tarihli çalışmalar • Bir gerçekleme çalışması Melike Erol

28. Bir Saldırı Veri Analizi Çalışması • DARPA 1999 veri setlerinden • 3. hafta Pazartesi • 5. hafta Pazartesi • İç ağ dinleyicisi verileri kullanıldı. • Veri tcpdump formatındadır. • Ethereal veya benzeri bir programda açılmalı. Melike Erol

29. Ağ Dinleyici Dosyası • Zaman serisi oluşturmak için • Veri tek yönlü hale getirilmelidir. • Yönlendirme paketleri süzülmelidir. • Ethereal’da filtreleme uygulanmalı Melike Erol

30. Bir Saldırı Veri Analizi Çalışması • Filtreleme sonucu kalan verinin sadece zaman damgası ve paket boyu alanları bir text dosyasına alındı. • Burada text dosyası C++ kodu ile 5sn ve 10sn’lik kovalarda toplandı. • Bu dosya MATLAB’de zaman serisi çizdirmek için kullanıldı. Melike Erol

31. Bir Saldırı Veri Analizi Çalışması 5sn’lik kovalar 10sn’lik kovalar 3. hafta pazartesi 5. Hafta pazartesi Melike Erol

32. Bir Saldırı Veri Analizi Çalışması • Paketleri saymanın yeterli bilgi vermediği görülmüştür. • Burdan sonra bağlantı bilgisi kullanılması düşünülmüştür. • Bağlantı sayısı bağlantı açma paketi SYN’leri sayarak belirlenebilir. • Sadece TCP bağlantılarını içerecek şekilde veri Ethreal’de filtrelendi. • Kalan veriden C++ kullanarak SYN içeren paketler ayıklandı. • 100sn’lik kovalarda gelen SYN mesajları tutuldu. • MATLAB’ e aktarılıp zaman serisi çizdirildi. Melike Erol

33. Bir Saldırı Veri Analizi Çalışması 3. Hafta (100sn) 5. hafta (100sn) Melike Erol

34. Sonuçlar • Analizlerimizin sonucunda: • Zaman serisi yöntemleri için MİB verileri daha uygundur. • DARPA veri setlerinin normal günler için bile durağan olmaması analizde zorluk çıkartmaktadır. • Sadece paket sayılarına bakmak yeterli bir bilgi vermemektedir. • Her konağa yapılan bağlantı sayısını tutmak faydalı olabilir. Fakat bu: • kurban makinalar hakkında ön bilgi sahibi olmak • her konak için ayrı zaman serisi oluşturmak anlamına gelir. • Bunun için bağlantı istek bilgisini içeren SYN paketlerini kullanmak düşünülmüştür. Fakat; • analiz sonucunda saldırı içeren haftada daha az bağlantı bilgisi bulunmuştur. Melike Erol

35. Sonuçlar • Bu projede saldırılar hakkında genel bir bilgi birikimi oluşması amaçlanmıştır. • Literatür taramasıyla oluşturulan bilgi birikimi, kendi çabamızla tasarladığımız bir analize dönüştürülmüştür. • Bu sayede STS çalışmalarının temel aşamaları hakkında bilgi sahibi olunmuştur. Melike Erol

36. Referanslar • M. A. aydın, “Bilgisayar Ağlarında Saldırı Tespiti için İstatistiksel Yöntem Kullanılması”, Yüksek Lisans Tezi, 2005. • N. Wu, J. Zhang, “Factor Analysis Based Anomaly Detection”, Proc. IEEE Workshop on Information Assurance, 2003. • S. Axelsson, “Intrusion Detection Systems: A Survey and Taxonomy”, Technical Report Dept. of Computer Eng., Chalmers University, March 2000. • D. Denning, “An Intrusion-Detection Model”, IEEE Trans on Software Enginering, vol. 13, no. 2,1987. • P. Barford, J. Kline, D. Plonka, A. Ron, “A Signal Analysis of Network Traffic Anomalies”, Proc. of ACM/SIGCOMM, 2002. • R. Lippmann, J. W. Haines, D. J. Fried, J. Korba, K. Das, “Analysis and Results of the 1999 DARPA Off-Line Intrusion Detection Evaluation”, 2000. • J. McHugh, “Testing Intrusion Detection Systems: A Critique of the 1998 and 1999 DARPA Intrusion Detection System Evaluations as Performed by Lincoln Laboratory”, ACM Trans on Information and System Security, vol. 3, no. 4, 2000. • M. Thottan, C. Ji, “Anomaly detection in IP Networks”, IEEE Trans on Signal Processing, vol. 51, no. 8, 2003. • J.B.D. Cabrera, B. Ravichandran, R. K. Mehra, “Statistical Traffic Modeling for Network Intrusion Detection”, Proc. of International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems, 2000. • P. Mell, V. Hu, R. Lippmann, J. Haines, M. Zissman, “An Overview of Issues in testing Intrusion Detection Systems”, NIST Technical Report, Haziran 2003. • DARPA IDEVALweb sitesi, “http://www.ll.mit.edu/IST/ideval/data”. • W. H. Allen, G. A. Marin, “On the Self-similairty of Synthetic Traffic for Evaluation of Intrusion Detection Systems”, Symp. On the Applications and the Internet, 2003. Melike Erol

37. Questions? Thank you....