실시간 빅데이터 분석 시스템 LOGPRESSO

1. 실시간 빅데이터 분석 시스템LOGPRESSO

2. 목차

3. 1-1 빅 데이터의 특성 빅 데이터는 단순히 큰 데이터가 아닌, 크고, 빠르고, 복잡한 형태를 지닌 데이터를 의미합니다. VOLUME VELOCITY VARIETY 이제는 끊임없이 쏟아지는 다양한 대규모 데이터를 서로 엮어 실시간으로 분석할 수 있는 플랫폼이 필요합니다

4. 1-2 빅데이터? 빅인사이트! 단순히 대규모 데이터를 저장하는 것이 아닌, 다양한 데이터 사이에서 새로운 인사이트를 찾는 것이 필요합니다 BIG BIG DATA? INSIGHT! BIG INSIGHT? 기존엔 기존의 데이터 처리 플랫폼에서 할 수 없었던 엄청난 데이터에서 발견하는 새로운 인사이트 대용량의 데이터에서 지금까지 발견하지 못했던 새로운 패턴을 발견하여 얻는 가치 새로운 패턴을 기반으로, 보다 정확한 마케팅, 높아진 생산성, 비용 절감 등을 통한 기업의 경쟁력 확보

5. 2-1 Logpresso제품 개요 대용량 비정형 데이터를 수집, 검색, 분석, 시각화하여 신속한 의사결정을 돕는 플랫폼 입니다 Finance 입력된 데이터를 실시간으로 압축 저장 Factory 정형/비정형에 상관없이 모든 데이터 수집 입력된 데이터 전체를 실시간으로 인덱싱 분석가/실무진/경영진 Online Game 단어와 조건으로 검색하여 시각화 및 분석 Network Security

6. 2-2 주요기능(대시보드) 애플리케이션 데이터를 수집,분석 후 통계와 추이 등을 쿼리로 위젯화 하여 도킹 배치

7. 2-2 주요기능(대시보드) 위젯 마법사를 이용한 손쉬운 사용자 정의 대시보드 구축

8. 2-2 주요기능(쿼리 유형) 실시간 및 배치 처리에 필요한 4가지 유형의 쿼리를 지원합니다. 애드혹 쿼리 실시간 쿼리 CLI나 GUI를 통하여사용자가 직접 쿼리를 입력하거나, 클라이언트 SDK를 사용하여 프로그래핑 방식으로임의의 쿼리를 직접 실행할 수 있습니다. 윈도우로 지정된 시간 동안 실시간으로 로거에서 수집되는 데이터, 실시간으로 테이블에 입력되는 데이터, 실시간으로 스트림 쿼리에서 출력되는 데이터를 대상으로 쿼리할 수 있습니다. 장시간 실행해야 하는 쿼리는 세션 종료와 관계없이 동작하도록 백그라운드 실행으로 전환하거나, 다시 포어그라운드로 전환하여 쿼리 결과를 확인할 수 있습니다. 디스크에 데이터가 저장되어 있지 않은 상태에서도, 실시간 데이터를 원본으로 하여 쿼리를 수행할 수 있습니다. 스트림 쿼리 스케줄 쿼리 스트리밍 데이터에 대하여 쿼리가 무한히 실행됩니다. 스트리밍 가능한 커멘드로 구성된 경우 쿼리가 시스템 종료 시까지 무한히 실행되며, 통계나 정렬 등이 포함된 경우 쿼리 리프레시 간격에 맞추어 주기적으로 스트림 쿼리가 재시작됩니다. 예약된 일정에 맞추어 쿼리가 실행됩니다. 매시, 매일, 매주, 매월, 매년 혹은 특정 시각에 맞추어 배치 작업을 실행할 수 있습니다. 스트림 쿼리는 쿼리가 재시작되더라도 빈틈없이 실행되므로 쿼리가 재시작되는 사이의 입력 데이터 손실 없이 정합성을 보장합니다. 지정된 시각에 타 시스템의 데이터를 임포트하거나, 배치 쿼리 결과를 익스포트 하는 용도로 사용할 수 있습니다.

9. 2-2 주요기능(로그 쿼리) 로그프레소에 저장된 데이터, 외부 데이터도 간편하게 가공하고 분석합니다.

10. 2-2 주요기능(스트림 쿼리) 스트림 쿼리를 기반으로 실시간 데이터 통계 분석과 타 시스템 연동을 지원합니다. 스트리밍 모드: 시스템 종료 시까지 중단 없이 쿼리 실행 시나리오 예시: 실시간으로 수집되는 데이터를 정규화 후 다른 시스로그 서버로 중계 데이터 수신 REX정규표현식 필드 추출 EVAL라인 포멧팅 SENDSYSLOG전송 리프레시 모드: 설정된 주기로 쿼리를 완료시키고 재생성 시나리오 예시: 실시간으로 수집되는 데이터에서 주기적으로 통계 추출 후 통계 테이블에 적재 데이터 수신 STATS통계 추출 IMPORT테이블 적재

11. 2-2 주요기능(스트림 쿼리) 스트림 쿼리를 기반으로 실시간 대용량 데이터 통계 분석과 타 시스템 연동을 지원합니다. 스트림 쿼리 그래프 다수의 스트림 쿼리를 연결하여 부분적인 쿼리 결과를 공유하면서 고속 처리가 가능합니다. 검색어 통계 유튜브 동영상 통계 데이터 수신 동영상 URL필터링 네이버TV캐스트 통계

12. 2-2 주요기능(데이터 수집 설정) 실시간으로 데이터를 수집하는 로거를 설정합니다

13. 2-2 주요기능(데이터 수집 설정) 실시간으로 데이터를 수집하는 로거를 설정합니다

14. 2-2 주요기능(실시간 써머리로깅) 데이터 적재 단계에서 인메모리 통계 요약으로 추후 대용량 데이터 분석을 고속화합니다. 전처리 없는 통계 분석 방식 써머리로깅 방식 데이터 임포트 데이터 임포트 (스트림 쿼리) 디스크 I/O (원본 쓰기) 디스크 I/O 카디널리티에 따라, 수천 배 이상 용량 감소 실시간 압축 쓰기로 인해, 원본과 써머리를 포함해도일반 DB 데이터 임포트보다 빠름 데이터 풀스캔 써머리 데이터 풀스캔 디스크 I/O (원본 읽기) 디스크 I/O 원본 데이터 대비수천배 빠른 통계 조회 가능 통계 결과 통계 결과 대시보드리포팅이 정형화된 경우에도, 원본 데이터 전체를 쓰고 읽는 부하 발생 빈번하게 수행되는 쿼리를 대상으로, 입력 시점에 인메모리 통계 및 기록, 수천배 빠른 어낼리틱 쿼리 달성

15. 2-2 주요기능(태깅 및 필터링) 실시간으로 원본 데이터에 메타 정보를 태깅하거나, 필터링을 수행할 수 있습니다 NAT시 origin메타데이터 태깅 # 으로 시작하는 주석 필터링

16. 2-2 주요기능(스크립팅) 그루비 스크립트를 통해 별도의 컴파일 없이 파서, 쿼리 커맨드, 이벤트처리기를 확장할 수 있습니다. 파서 스크립팅 쿼리스크립팅 이벤트 스크립팅 importgroovy.transform.CompileStatic; importorg.araqne.logdb.Row; importorg.araqne.logdb.RowBatch; importorg.araqne.logdb.RowPipe; importorg.araqne.logdb.QueryStopReason; import org.araqne.logdb.groovy.GroovyQueryScript; @CompileStatic class GroovyTagextends GroovyQueryScript{ defvoid onRow(Row row) { row.put('groovy', 'passed') pipe.onRow(row) } defvoid onClose(QueryStopReasonreason) { println("groovy end") } } import org.araqne.logdb.groovy.GroovyParserScript; class Tagger extends GroovyParserScript { def public Map<String, Object> parse(Map<String, Object> params) { params.put('groovy', 'passed');return params; } } importgroovy.transform.CompileStatic; importorg.araqne.logstorage.Log; import org.araqne.logdb.cep.Event;importorg.araqne.logdb.cep.EventCause; importorg.araqne.logdb.groovy.GroovyEventScript; classTxAlertextendsGroovyEventScript { defvoidonEvent(Event ev) {if (ev.getCause() != EventCause.TIMEOUT)return;deflog = new Log('txmatch', newDate(),['txkey':ev.getKey().getKey() ]) def ref = bc.getServiceReference("org.araqne.logstorage.LogStorage"); defstorage = bc.getService(ref); storage.write(log) } }

17. 2-2 주요기능(파서 설정) 테이블 데이터에 대하여 기본으로 적용할 파서를설정합니다 원본 데이터 무손실 저장, 포맷 무관 1 초기 정규화 없이 수집 및 저장 가능 쿼리 시점 파싱 수행 2 사후 파서 설정 또는 쿼리 시 필드 추출 3 추출된 필드 대상으로 통계 및 분석

18. 2-2 주요기능(파서) 원본 데이터를 파싱하여 필드를 추출합니다

19. 2-2 주요기능(실시간 이벤트 처리) 이벤트 컨텍스트를 사용하여 실시간 이벤트 연관 분석을 수행할 수 있습니다. 디스크 IO없이 실시간으로 메모리에서 처리하므로 고속 이벤트 처리가 가능합니다. 1. 시작과 종료 확인 • 타임아웃 초과 시 • 이벤트 컨텍스트 삭제, 타임아웃 이벤트 발생 • 타임아웃 이전에 종료 이벤트 발생 시 • 이벤트 컨텍스트만 삭제 전문 / 트랜잭션 시작 타임아웃 이벤트 컨텍스트 생성 전문 / 트랜잭션 종료 이벤트 컨텍스트 삭제 2. 임계치 초과 시스템 오류 발생 타임아웃 이벤트 컨텍스트 생성 및 카운트 증가 임계치 초과 시 이벤트 발생, 카운트 초기화 시스템 오류 발생 시스템 오류 발생 3. 조건 만족 시 자동 대응 프로모션 대상 일치 메일, SMS발송

20. 2-2 주요기능(분산 쿼리 옵티마이저) 데이터 로컬리티를 극대화하는 분산 쿼리 플랜을 작성합니다. 분산 어낼리틱 쿼리 플랜 사용자 클라이언트 쿼리: 출발지 IP통계 table n1:t1, n2:t2, n3:t3 | rex | stats count by src_ip • 스토리지 노드 쿼리 • table n1:t1 | rex | stats count by src_ip • table n2:t2 | rex | stats count by src_ip • table n3:t3 | rex | stats count by src_ip 쿼리 마스터 • 마스터 노드 병합 쿼리 • merge | stats sum(count) as count by src_ip 각 노드별로 부분 통계 데이터만 전송하고 마스터에서 병합하여 네트워크를 통한 데이터 전송을 최소화 합니다. 스토리지#1 스토리지#2 스토리지#3

21. 2-2 주요기능(패킷미러링 구성) 기존 망 구성을 변경하지 않고 패킷미러링으로 데이터를 수신하고 타 시스템에 중계할 수 있습니다. 기존 구성 변경 없음 TAP 스마트 기기 (셋탑박스 등) 인터넷 기존 데이터 수신 서버 가공 및 중계 Database App. Server

22. 2-2 주요기능(데이터 수집 HA 지원) 액티브 노드 장애 발생 시 스탠바이 노드가 데이터 수집 상태를 이어받아 데이터 수집을 재개합니다. 액티브 노드 스탠바이 노드 HB체크 및 수집 상태 복제 FTP서버 텍스트 파일 방화벽 시스로그 FTP HA 수집 구성 예 시스로그HA수집 구성 예 • 액티브 로거와 스탠바이 로거가 동일한 FTP디렉터리 감시 • 스탠바이 로거는 액티브 로거의 마지막 파일 수집 위치 복제 • 액티브 로거 장애 시 스탠바이 로거가 마지막 위치부터 수집 재개 • 액티브 로거 복구 시 스탠바이 로거 자동 정지 • 액티브 로거는 스탠바이 로거의 마지막 수집 위치 복제 후 수집 재개 • 방화벽에서 양쪽IP 혹은 가상 IP로 동시에 시스로그 전송 • (가상IP 부여 후 장애 시 스탠바이 노드로 가상 IP전환 가능) • 액티브 로거 장애 시 스탠바이 로가가 자동으로 수신 시작 • 액티브 로거 복구 시 스탠바이 로거 자동 정지 • 스탠바이 로거 정지 확인 후 액티브 로거 자동 시작

23. 실시간 블럭 압축된 원본 데이터 유지 • (deflate, snappy 알고리즘 선택) 2-2 주요기능(실시간 압축저장) 원본 데이터 포맷을 그대로 보존하면서 고속 실시간 압축 저장을 수행합니다 원본 데이터에 대한 바이너리 인코딩 및 실시간 압축 쓰기 수행 (I/O 비용 감소) • 원본 비정형 데이터 • 아라크네 코덱 지원 타입 Oct 7 20:32:06 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 72.52.98.94#5939: query: logpresso.net IN AAAA - Oct 7 20:32:30 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 216.218.207.130#48281: query: logpresso.org IN AAAA - Oct 7 20:32:35 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 216.218.228.98#36493: query: logpresso.com IN AAAA - Oct 7 20:34:33 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 144.76.95.231#54247: query: araqne.org IN A - Oct 7 20:35:44 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 168.126.63.60#57825: query: wpad.hq.eediom.net IN A -E Oct 7 20:36:11 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 168.126.63.59#45355: query: PC-XERAPH.hq.eediom.net IN A -E Oct 7 20:37:48 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 218.85.157.4#16590: query: newmets.net IN AAAA -E Oct 7 20:38:16 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 216.218.139.146#20958: query: newmets.net IN AAAA - Oct 7 20:40:33 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 218.30.103.29#43729: query: c828.com IN A -E Oct 7 20:40:33 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 74.125.191.80#57392: query: ns1.8con.net IN A - Oct 7 20:40:33 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 74.125.191.84#51790: query: c828.com IN A -E Oct 7 20:40:34 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 74.125.191.81#32794: query: c828.com IN A -E Oct 7 20:40:53 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 168.126.63.58#36131: query: isatap.hq.eediom.net IN A -E Oct 7 20:41:10 6ac2553f-fc02-44c8-baab-cc62ad8396d2 named[6187]: client 74.125.191.81#54404: query: staging.araqne.org IN A -E 블럭헤더 압축된 원본 데이터 아라크네 코덱을 통하여 타입(T)-길이(L)-값(V) 형식으로 바이너리 인코딩된 다수의 레코드를 블럭 단위 압축 (ASN.1 DER과 유사함) 블럭헤더 압축된 원본 데이터 검색/애드혹 쿼리 모드: 낮은 압축률 대신 고속 검색 위주 설정대용량 배치 분석 모드: 검색 성능이 떨어지는 대신 고효율 압축 블럭헤더 압축된 원본 데이터 원본 데이터 암호화 및 블럭 단위 무결성 검증 지원 블럭헤더 압축된 원본 데이터 원본 데이터 암호화 및 블럭 단위 무결성 검증 지원 블럭헤더 압축된 원본 데이터 원본 데이터 암호화 및 블럭 단위 무결성 검증 지원

24. 2-2 주요기능(풀텍스트 인덱스) 멀티코어 성능을 극대화하는 병렬처리로 고속 인덱싱 및 풀텍스트 검색을 실현합니다 • 구분자, 고정길이, 정규표현식토크나이저 내장 AND, OR, NOT 조합된 불린 쿼리 지원 110101000101010011001 001101001010101000101 100101010010100101010 010101001010101011100 100101001010100010101 고속 구간 탐색 실제사용량 실제사용량 블룸필터 인덱스 (원본 대비 0.05~0.1%) 역인덱스 (원본 대비 20~30%) 압축된 원본 데이터 (원본 대비 10~25%)

25. 2-2 주요기능(에이전트 연동) 원격 호스트에서 데이터를 수집하거나, 원격 호스트 상태를 실시간으로 모니터링 할 수 있습니다.

26. 2-2 주요기능(실시간 암호화) 수집된 원본 데이터의 전송부터 파일 저장까지 평문을 노출하지 않고 실시간 암호화를 수행합니다 비인가 조회 불가능 위변조 시도 시 무결성 확인 가능 Network Web Server 공격자 암호화된 데이터 App. Server 강도 높은 마스터키를 이용하여 데이터 파일별로대칭키를 생성하고, 마스터키 인증서 파기/교체 시 대칭키 파일만 재암호화 합니다. 전체 과정에서 임시 파일 노출 없이 고속 실시간 암호화가 수행됩니다. Database PKCS#12 인증서비대칭키 (.pfx) 대칭키파일 (.key) 암호화된 데이터파일 (.dat) 로그프레소센트리

27. 2-2 주요기능(비정형 데이터 쿼리) 전용 쿼리 문법을 통해 대용량, 비정형 데이터를 손쉽게 가공하고 분석합니다 Transform(변환) Load(적재) Extract(추출) < 다양한 데이터 원본 공급자 > < 데이터마트 적재> < BI도구 시각화 > 40종 이상의 함수 및 그룹 함수 사용자 정의 쿼리 문법 확장 지원 사용자 정의 함수 (UDF) 확장 지원

28. 2-2 주요기능(예약된 쿼리 경보) 지정된 주기마다 쿼리 실행 후 경보 조건과 일치하면 경보 메일을 전송합니다 쿼리 예약 실행 설정 1 쿼리, 실행 주기, 경보 조건, SMTP 설정 쿼리 결과와 경보조건 매칭 2 경보 조건 매칭 시 쿼리 결과 저장 쿼리결과 첨부된 경보 메일 전송 3 중복 경보 발생 시 일정 시간 무시

29. 2-2 주요기능(계정관리) 로그프레소 계정과 테이블 접근 권한을 관리합니다

30. 2-2 주요기능(엑셀 연동 분석) 엑셀 웹쿼리를 통해 로그프레소 쿼리 결과를 시트에 삽입하고 자동 갱신되도록 설정할 수 있습니다

31. 2-3 외부시스템 연동(관계형 데이터베이스) 각종 상용 RDBMS와 연동하여, RDBMS에 저장한 데이터를 다양하게 분석할 수 있습니다 RDBMS ㅍ JDBC 통한 SQL쿼리 조회 JDBC 쿼리 기반 실시간 수집 (초당 14만건 이상 수집) JDBC로 쿼리 결과 출력(초당 2만건 이상 입력)

32. 2-3 외부시스템 연동(HDFS) 하둡(HDFS)과 완벽하게 연동하여 사용할 수 있어, 하둡으로 수집한 데이터를 로그프레소를 이용해 빠른 분석이 가능합니다 HDFS ㅍ HDFS파일 목록 브라우징 HDFS파일 내용 쿼리 HDFS파일 실시간 수집 시퀀스 파일 (레코드/블럭 압축) 텍스트 파일 (csv, tsv, json) HDFS로 쿼리 결과 출력

33. 2-3 외부시스템 연동(HIVE) HIVE에서 SQL을 사용하여 로그프레소 데이터를 쿼리할 수 있습니다. HDFS파일 직접 접근 구성 HIVE로그프레소 원격 쿼리 구성 • EXTERNAL TABLE 형태로 • HDFS 에 적재된 로그프레소 파일 읽기 • 로그프레소 스토리지 핸들러 지정 • HDFS디렉터리 경로 지정 • 구분자/ 정규표현식 기반 컬럼매핑 HDFS 파일에 쿼리 • EXTERNAL TABLE 형태로 • 로그프레소에 원격 쿼리 • 로그프레소 스토리지 핸들러 지정 • 로그프레소 원격 접속 정보 설정 • 테이블 설정 및 컬럼매핑 로그프레소에 직접 쿼리 • 로그프레소에서HDFS 로 파일 적재 • HDFS스토리지 엔진 설정 • 전용 압축 포맷으로 고속 적재 HDFS에 파일 적재 • HDFS에 로그프레소 전용포맷으로 데이터 파일을 기록 • HIVE로 HDFS에 파티셔닝 된 데이터 파일을 직접 쿼리 • HIVE쿼리를 통해 하둡 클러스터의 맵리듀스 분산처리를 활용 • 로그프레소 클라이언트를 사용하여 원격으로 데이터 쿼리 • HIVE를 기반으로 기존 EDW등과 연계하려는 경우에 사용

34. 2-4 수집/저장 및 검색성능

35. 2-5 제품 구성 및 서버 사양 일일 데이터 발생량 별 권장 서버사양

36. 3-1 적용사례빅데이터보안 - 연관분석 시나리오 구축사례 시나리오 좀비PC추적 – DNS및 웹프록시 데이터 분석 • 시나리오 기존 탐지방식의 한계 분석 및 대응방안 • APT 공격은 안티바이러스 사전 탐지 불가능 • 정상 웹사이트를 해킹하여 경유지, 유포지 활용 • Fast-Flux 기법으로 IP수시 변경, 방화벽 차단 한계 • 암호화, 그림 파일 위장 다운로드 후 바이너리 변환 • 내부 DNS 서버 요청/응답 로깅 • 웹프록시를 통한 아웃바운드 HTTP 요청 로깅 • 특이 gTLD및 빈도가 적은 도메인 위주로 통계분석 • 맬웨어넷 추적 정보 구독 및 악성코드 상세분석 후 도메인 및 URL기반 데이터 검색으로 감염호스트 조사 악성 도메인 조회 C&C서버 접근 내부감염 호스트 DNS Server 봇넷C&C서버 악성코드 업데이트 비감염 호스트 방화벽

37. 3-1 적용사례빅데이터보안 - 연관분석 시나리오 구축사례 웹 어플리케이션 해킹분석 • 시나리오 기존 탐지방식의 한계 분석 및 대응방안 • 웹방화벽시그니처 탐지를 우회한 침투 가능성 존재 • 에러 및 예외 데이터 분석, 기존 시그니처 검색 병행 • URL별 매개변수 타입 및 길이 통계분석 후 이상탐지 Pivoting내부망침투 웹서버 공격자 WAF DB Server

38. 3-1 적용사례 빅데이터보안 - 연관분석 시나리오 구축사례 방화벽 규칙 최적화 • 시나리오 기존 탐지방식의 한계 분석 및 대응방안 • 일시적으로 허용했던 규칙들이 업무 종료 이후에도 누적되어 • 불필요한 방화벽 성능 저하 유발 및 취약 구간 발생 • 방화벽 허용 로그 활성화 (과거에는 용량및수집속도 문제로 어려움) • 특정 기간동안 방화벽 규칙별 세션, 패킷통계분석하여 휴면 규칙 추출 • 역으로 아웃바운드 규칙을 허용하고 분석 후 차단 전환으로 보안 강화 통과된 패킷이 없는 미사용 규칙 제거

39. 3-1 적용사례빅데이터보안 - 연관분석 시나리오 구축사례 복합 시나리오 연관 분석 – IPS 탐지 시 공격자의 시간대별 침투 경로 확인 • 시나리오 IPS로그에서 공격자 IP추출 조인 : 공격탐지를 기반으로 시간대별 침투경로를 분석 • table ips | stats count by src_ip • table fw| search action == "allow"| stats count, min(_time) as first_seen, max(_time) as last_seen by src_ip,dst_ip| joinsrc_ip [ table ips | stats count bysrc_ip]| sort src_ip, first_seen 방화벽 로그에서 플로우 통계 추출 • table fw| search action == "allow"| stats count, min(_time), max(_time) by src_ip, dst_ip IPS를 통과한 공격자의 타 서버 접근 경로 추출 실제 사례 탐지 서버 A 공격자 IPS 미탐지 서버B

40. 3-1 적용사례빅데이터 보안- 연관분석 시나리오 구축사례 복합 시나리오 연관 분석 – 국외 SSLVPN 접속 • 시나리오 IP의 국가코드 변환 조인 : 해외에서 로그인한 계정목록 조회 • lookup geoipip output country • table ssl_auth | search auth_code == "success"| lookup geoipsrc_ip output country| search isnotnull(country) and country != "KR"| stats count, last(country), last(src_ip) by login_name SSLVPN 로그에서 성공한 로그인 기록 조회 • table ssl_auth | search auth_code == "success" 공격자 SSL VPN 방화벽 내부 업무서버 원격근무자 (보험판매원 등)

41. 3-1 적용사례빅데이터보안 - 연관분석 시나리오 구축사례 복합 시나리오 연관 분석 – 내부 직원의 대량 데이터 유출 시도 • 시나리오 조인 : 대량 문서 복호화 후 외부반출 시도 사용자 조회 권한 인가자의 대량 문서 복호화 탐지 • table device_access | search device_type == "usb“ • | stats count by user | join user [ table drm • | stats count by user| search count >= 500 ] • table drm| stats count by user| search count >= 500 매체제어 로그에서 USB저장 사용자 목록 추출 • table device_access| search device_type == "usb"| stats count by user 탐지 탐지 암호화된 데이터 권한인가자 복호화 USB유출

42. 3-2 적용분야 빅데이터 보안- 통합 모니터링 VPN - 계정 사용 내역/대역 할당/접근 통제/공격의심 현황 UTM - 트래픽, 공격 탐지/차단, 공격자 현황 NAC - 자산/정책/통제 위반/로그 발생 현황 SQL - 서버 접속 ID/위치, 백업/복원 현황

43. 3-2 적용분야 공공/환경 - Co2 배출현황 관리 총괄현황 도로별Co2배출현황 차종별Co2배출현황 연료별Co2배출현황

44. 3-2 적용분야 통신 - 서비스품질 모니터링 총괄현황 – Top 10 호스트별 통신 현황 상세 분석(드릴다운) 원본 데이터 조회 기지국별 통신 현황 상세분석(드릴다운)

45. 3-3 구축실적

46. 4. 경쟁제품과의 비교

47. 5. 로그프레소아키텍쳐 구성 웹 브라우저 로그프레소UI 웹 리소스 로그프레소DB 클라이언트 C#, JAVA 클라이언트 라이브러리 아라크네 웹서버내장 웹서버(comet, 웹소켓지원) 아라크네 웹콘솔 기본 웹서비스 구성요소 아라크네 메시지버스웹소켓RPC 플러그인 시스템 로그프레소 코어로그프레소 시스템 컨트롤 로그프레소 센트리 원격 에이전트 아라크네 코덱 바이너리 인코딩 아라크네 RPC 전용 RPC 프로토콜 로그프레소 인덱스 고성능 풀텍스트 인덱스 로그프레소 베이스 원격 에이전트 관리 Netty 로그프레소 로그스토리지 고성능 병렬 스토리지 확장 아라크네 도메인 개체 모델 공통 데이터 모델 아라크네 로그스토리지 실시간 압축 스토리지 엔진 아라크네 로그 DB 비정형 쿼리 엔진 아라크네 Syslog 시스로그 서버 아라크네 SNMP SNMP 서버 아라크네 Netflow Netflowv5/v9 로그프레소SFTP 원격 SFTP 수집 아라크네 로그 API 실시간 로그 수집 인터페이스 아라크네 iPOJO서비스 컴포넌트 서비스 프로바이더 아라크네 코어 + 설정 DBOSGi R4 애플리케이션 서버

48. Thank You 감사합니다 (주) 에이치티원 http://www.ht1.co.kr +82-(0)10-5171-1966 솔루션사업부 이사 황영호 oho66@naver.com