Analýza DAT Pro infosec

1. Analýza DAT Pro infosec Luboš Musil Solutionarchitect

2. Big Data, Analýza dat pro Infosec Výzvy kybernetické bezpečnosti • Kybernetické útoky rostou závratným tempem. Aktuální systémy a procesy obtížně drží krok. • Limitovaná granularita a nízké samplovací frakvence ohrožují schopnost analyzovat data a reagovat • Pomalé reakční doba na identifikaci nových neznámých událostí v síti snižuje schopnost učinné reakce. • Hackeři neustále hledají nové způsoby, jak napadnout sítě, což vede k vysokým investicím do kontroly a zabezpečení sítí. Problémy kybernetické bezpečnosti • Neschopnost rozpoznat a reagovat na předzvěsti DDoS (Distributed Denial of Service) a další škodlivé počítačové útoky, než dojde k nějakému poškození. • Neschopnost zabránit narušení legitimního provozu v síti. • Špatná informovanost o škodlivém provozu na siti oproti obvyklému provozu • Stávající řešení se zaměřují buď na základní analýzu v reálném čase nebo na sběr dat pro pozdější forenzní analýzu. • V době, kdy Bezpečnostní innženýr (SOC) nebo Síťový inženýr (NOC) zjistí, identifikuje, analyzuje, reaguje a blokuje kybernetický útok, je obvykle příliš pozdě. Cílem je zvýšit znalost a reakční čas • Implementovat řešení, které poskytuje vysokorychlostní, detailní monitorování provozu sítě, korelaci událostí téměř v reálném čase a analýzy dat s cílem zlepšit povědomí o situaci • Zkrátit dobu odezvy na události o provozu na síti • Zvýšit účinnost kontrol • Analyzovat a hodnotit příchozí a odchozí provoz „Co, kdo, jak, kdy téměř v reálném čase“ • Aktivně reagovat na dosud neznámé riziko To vše jsou obvyklé výzvy pro řešení z oblasti „Big dat“

3. Analýza dat pro InfoSec Jak problematiku řešit? • Integrací bezpečnostních datTradiční přístup hiearchie vrstev v zabezpečení lze významně zefektivnit díky integraci a korelaci událostí síťových aktivit vznikajících ve stávajících bezpečnostních nástrojích, jako jsou např. firewally, IDS / IPS, proxy servery, routery a další nástroje nebo referenční zdroje dat. • Integrací siťových dat(Big Data & Analytics Integration w/ Near-Real-Time Performance)Použití analýz velkých dat integrovaných s běžnými bezpečnostními produkty, široké zachycování paketů a jejich kontrola. • Využitím prověřených řešení z oblasti BI/DWH Řešení poskytuje • Jedno, komplexní a autorizované, prostředí integrující InfoSec a Cyber ​​Security datové infrastruktury. Analyzy a reporty, které poskytují nové pohledy na podporu zjednodušení procesů a zvýšení urovně zabezpečení. • PodporuCISO výstupy datovýchanalýzv Near-Real-Time rychlosti nad výše uvedenými integrovanými daty • Lepší, rychlejší, žalovatelné bezpečnostní informace - zmenšující kritický čas od detekce po nápravu (sanaci) umožňující odborníkům aktivně bránit a chránit vaši síť v dnešní „kybernetické válce „ Data Volume (Raw, User Data) Mixed Workload Query Concurrency Technologické požadavky • Extrémní rozšiřitelnost • Extrémní výkon • Vysoká dostupnost • Výkonný load dat a přístup k datům Mission Critical 7 x 24 Data Freshness Query Complexity Query Freedom Schema Sophistication Query Data Volume

4. Koncepce přítupu: Session, Vector Každá jednotlivá Session má nVectorů Příklad: Start a End Session Vector pro jednu SMTP Session 421029792443108623|172.33.0.51|0|ndsta1|1169099420|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|START|1489|25|88|173|0|85|2|2|0|0|0|0||4268602930|0|TCP 421029792443108623|172.33.0.51|0|ndsta1|1169099421|01-18-2007|5|50|-300|0|EST|EDT|10.88.69.211|10.88.69.216|SMTP|END|1489|25|1692|935|1244|407|11|13|0|0|1|0||243385948|0|TCP Start . . . End Tabular View of same Session Vectors

5. Koncepce přítupu shromažďování dat

6. Aktuální stav InfoSec architektury Fraud Analysts Data Scientists Network Engineers (NOC) CISO Legal / Compliance Security Engineers (SOC) Forensic Analysts Executives Languages Math & stats Data Mining BUSINESS INTELLIGENCE applications Koncoví uživatelé používají preferované vizualizací nástroje, programovací jazyky, skripty, reporty a statistické balíčky k analýze a reakci na bezpečnostní síťové událostí Netflow/IPFIX, Firewall, IDS/IPS, Router & Uživatelské aktivitylog data, Referenční & produčnídata z vícero zdrojů, aplikacía zařízení E-mail Gateways SIEM data APT data URL Filtering data Sys logs Deep Packet Inspection Sniffer tools Internet Gateway data

7. Gateway Router Internet Nové prvky InfoSec architektury Fraud Analysts Data Scientists Network Engineers (NOC) CISO Legal / Compliance Security Engineers (SOC) Forensic Analysts Executives Languages Math & stats Data Mining BUSINESS INTELLIGENCE applications Internal Network Discovery platform Integrated Data Analytics • Discovery platforma • Specializovaná platforma na bázi MapReduce s MapReduce SQL rozhraním • Vlastní databáze, opuštění HDFS • Anylýzy časových řad jedním průchodem • Předdefinované analitycké funkce nPath,Graph analyses • Integrovaná data • Masivně parallení databázová platforma • Linearně skálovatelná ve všech dimenzích • Indusrty data modely a IDW business model • Mixovaná workload, Garantovaný výkon • Vysoká dostupnst (HA) Capture | Store | Refine • Hadoop • Uložení velkého objemu dat za nízké náklady na 1 TB v HDFS • Výkonný batch load • Není – plnohodnotné SQL, interaktivni session, konkurenční workload, HA E-mail Gateways SIEM data APT data URL Filtering data Sys logs Deep Packet Inspection Sniffer tools Internet Gateway data

8. Gateway Router Ukládání packet & Inspekce a analýza spartnerskými produkty (Narus, SAS,Aster,...) Internet Analýza Infosec Fraud Analysts Data Scientists Network Engineers (NOC) CISO Legal / Compliance Security Engineers (SOC) Forensic Analysts Executives Languages Math & stats Data Mining BUSINESS INTELLIGENCE applications Interní Síť Discovery platform • Krok2: • Užití Discovery Platformy s konektory do Integrovaných datnebo Hadoop pro extrakci podmnožiny dat vzorů chování síťových aktivit v Discovery platformě • Používá „Path“ analýzu pro identifikaci vzoru útoku na vector „malicious codu“ a jeho šíření; • Použítí Graf analýzy k forensní identifikaci infikovaných systémů v rámci sítě • Krok3: • Přesun zjištění discovery platformy do integrovaných dat • Kombinuje pohled na síťové aktivity v Integrovaném datovém engine s daty jiných bezpečnostních aktivit jako jsou SIEM, SysLoga compliance řešení společně se statickými daty jako jsou konfigurace, prvky sítě, různé metriky atd.. • Vytvoření síťových benchmarků a ‘normal’ limitů (threshold) založených na historických trendech (ročních a sezonních) Integrated Data Analytics Capture | Store | Refine • „Cold” data uložena vHadoop • Data čištěna a předzpracována pro analýzu posloupností • Použitelná pro budoucí forensní analýzya dlouhodobé vyšetřování možných narušení • Krok1: • UloženíTAP/PCAP, Netflow,  log files, sensors, nebo jiné vysoko objemové, měnící se síťová data vHadoop E-mail Gateways SIEM data APT data URL Filtering data Sys logs Deep Packet Inspection Sniffer tools Internet Gateway data

9. Shrnutí koncepce Integrace dat umožňuje odpovědět kdo, co, kde, kdy, jak a proč dělá v probíhajícím provozu na síti v Near-Real-Timemódu • Integrace Bezpečnostních & • Síťových dat: • Identity & Authentication • Firewall • Anti-virus/Anti-Malware • Anti-DoS/DDoS • SIEM • IDS/IPS • Endpoint Security System • Mobile Device Management • Data Loss Prevention • Secure Network Gateway • Zachycení Packet& Inspekce • …Toto není kompletní list • Integrace Big Dat & Analýz • MapReduce • Sessionization • Path Analysis • Graph / Network Analysis • Stat nástroje • SAS & R • Programovací Scripty • Java, C/C++, Python • SQL • BI (BOBJ, Tableau, etc.) • Visualization Tools • …To není kompletní list Co se děje v mé síti?Kdo komunikuje s kým a o čem je komunikace?Jaké údaje „unikají“ ze sítě?Jsou mé stávající bezpečnostní opatření účinná?Jsem v soludu s standardy?Kolik proxy, DNS, SMTP a web serverů běží dnes? .... Monitoring a chápání kybernetických útoků – Zkracuje čas na nápravu (sanaci)

10. Příklad vizualizace síťových dat 10

11. Bezpečnostní scenař: HTTP únik dat • Obvykle HTTP komunikace je mnohem větší ve směru Server  Client • HTTP je často užit pro přenos dat pomocí webmail nebo file-sending utilit(jako je yousendit.com) • Detekčníalgoritmus hledá HTTP kde Send-Receive poměr zatíženíje 100:1 v směru Client Server 11

12. Bezpečnostní scenař: HTTP únik dat Následně je zkoumáno HTTP URL pro odvození chování 12

13. Příklady bezpečnostních scénářů • Firma Associate ve snaze zjednodušení práce, dokončuje nezabezpečené nastavení bezdrátového přístupového bodu k připojení do podnikové sítě. Nezabezpečený bezdrátový přístupový bod (WAP) je nastaven bez hesla a vysílá identifikátor SID. Hloubková inspekce paketů společně s analýzou dat, umožňuje síťovým a bezpečnostním inženýrům rychle identifikovat nezabezpečený WAP, izolovat a vypnout WAP téměř v reálném čase. Také je schopna prokázat, zda datové pakety byly buď příchozí nebo odchozí. Tím je snazší rozpoznat, zda nezabezpečený WAP byl použit k download dat nebo k proniknutí do dat. • Hacker připojený do firemní sítě se pokouší zpřístupnit řídící command line serveru umístěného na internetu. SNMP trap z bezpečnostních zařízení, jako jsou specilizované zařízení, firewally, IPS, antiviry detekují a upozorní na tyto pokusy a případně blokují IP. Integrované bezpečnostní data s hloubkovou inspekci paketů a analýzou dat umožňuje síťovému a bezpečnostnímu týmu rychle identifikovat systémy v síti zapojené do nebezpečné komunikace, dát je do karantény a udělat nápravu v téměř reálném čase.

14. Přínosy • Novýdaty akcelerovanýpohled na kybernetické útoky • Analýzy a nápravu (sanaci) v reálném čase • Redukce nákladů • Zvýšení efektivity • Akcelerace hodnoty odvozené z integrovaných dat(Firewall, ID/IPS, Anti-Virus, Cyber Analytics, atd.) • Jeden pohled na všechny exitující prvky infrastruktury a bezpečnostní nástroje • Vylepšení Risk Profilu • Demonstrace zvýšení schopnosti řídit bezpečnostní audit • Redukceekonomických a reputačních rizik • Potenciál pro redukci pojištění proti kybernetickým útokům • Kybernetické analytické nástroje dovolují bezpečnostním inženýrům, sítovým inženýrům a analytikům sítě snadněji rozpoznat a reagovat na vzory aktivit reprezentující síťové útoky.

15. Děkuji! Pro další informace kontaktujte Luboše Musila Luboš MusilSolutionArchitect Teradata Corporation+420 602 227899 Mobile Lubos.musil@teradata.com

16. Big Data Analytics + Cyber Defense = Stronger Cyber Security Posture • Greatest areas of cyber security risk are attributed to lack of visibility, multiple global interconnected network systemsand mobility. • Cyber-attacks are getting worse – however, only 20 percent state their organizations are more effective at stopping them. Big Data Analytics in Cyber Defense Report by Ponemon is available..

17. Reference - NCDOC • The Navy Cyber Defense Operations Command (NCDOC) coordinates, monitors, and oversees the defense of the Navy’s computer networks and systems.  NCDOC provides Computer Network Defense (CND) services to protect, monitor, analyze, detect and defensively respond to unauthorized activities against and within the Navy’s numerous information systems and computer networks. Teradata is at the heart of the NCDOC project as a “system of systems” that receives, aggregates, processes, correlates, and fuses real-time and near-real-time information from multiple network sources to provide network domain awareness (NDA).  Data is collected from hundreds of sensors on the Navy’s networks, intrusion protection systems, compliance reporting databases, and all types of network logging. • When Teradata initially implemented a pilot project at NCDOC late in 2010, the customer called Teradata’s performance "simply blazing.”  Load times were reduced from 24+ hours to updates every 5 minutes.  Queries that ran in hours took less than a second on Teradata.