461 likes | 1.28k Views
Splunk 您的数据引擎. @ 张涵诚大数据 CRM 13501043717 Wayne.zhang@gsavvy.com. 公司介绍. 公司 创立于 04 年, 06 年发布第一个版本 总部位于加州旧金山 区域总部位于香港和伦敦 在 15 个国家 / 地区拥有 650 多名员工 财务 2012 年 4 月 19 日在纳斯达克上市,股票代码为 SPLK 2013 财 年一月份收益达到 1.989 亿美元 年复合增长率为 91% 客户 在 85 个国家 / 地区拥有 5200 多家客户
E N D
Splunk您的数据引擎 @张涵诚大数据CRM 13501043717 Wayne.zhang@gsavvy.com
公司介绍 • 公司 • 创立于 04 年,06 年发布第一个版本 • 总部位于加州旧金山 • 区域总部位于香港和伦敦 • 在 15 个国家/地区拥有 650 多名员工 • 财务 • 2012 年 4 月 19 日在纳斯达克上市,股票代码为 SPLK • 2013 财年一月份收益达到 1.989 亿美元 • 年复合增长率为 91% • 客户 • 在 85个国家/地区拥有 5200 多家客户 • 50% 以上为财富 100 强公司 2
金融服务与保险 零售 技术 云和在线服务 政府 卫生保健 制造 媒体与娱乐 能源与公用事业 教育 电信 旅游与休闲 在 80 多个国家/地区拥有 5200 多家客户
数据增长 = 挑战和机会 数据量 数据速率 数字信息量(1) 全球 IP 流量(2) 万亿千兆字节 (TGB) 拍字节 (PB) CAGR: 30% CAGR: 45% 数据多样性/基础设施复杂性 Web服务 在线购物车 数据库 云 桌面 装运 RFID 开发人员 安全 在线 服务 服务器 能源 GPS/移动电话 虚拟 应用支持 电信 联网 存储 Web点击流 制造 物理 1. IDC 2011 数字宇宙研究报告 2. Cisco 2011 视觉网络指数 消息收发
大数据是极其重要的事务 进入高德纳公司的最重要技术趋势图表,排名第 2 2012 年 10 个主要的 IT 趋势 来源: 高德纳公司 IT 研讨会 2011,451 研究所,福雷斯特 虚拟化的演变 大数据、模式和分析 能源效率和监控 情境感知应用 员工保留和再培训 社交网络 消费化 按每平方英尺计算 云 光纤
Big Data Technologies 大数据技术 Cassandra CouchDB MongoDB TeraData Greenplum Hadoop RDBMS Sharding 关系型数据库管理系统 分片 SQL & Map / Reduce 结构化查询语言 映射 / 化简 HDFS Storage + Map / Reduce Hadoop分布式文件系统存储 + 映射 / 化简 NoSQL 非关系型数据库 Real Time Indexing 实时索引实现 Relational Database (highly structured) 关系数据库 (高度结构化) Distributed File System (semi-structured) 分布式文件系统 (半结构化) Key/Value, Columnar or Other (semi-structured) 键/值、纵列或其它 (半结构化) Temporal, Unstructured Heterogeneous 时序、非结构化、不匹配 Map / Reduce 映射 / 化简
大数据 大数据是超出传统数据库系统处理能力的数据。 如需从这些数据中获得价值,您必须选择其他方式来处理它。 O’Reilly Radar,2012 年 1 月
任务 让机器数据可供所有人 访问、使用和有价值。
任务 让机器数据可供所有人 访问、使用和有价值。
什么是机器数据 行动 说明性业务/IT 洞察 机器数据示例(信息的小子集) 用户会话 用户浏览器信息 行动 产品 客户将产品添加到电子商务/网站购物车 • 客户需求 • 购物车活动 • 网站故障排除 66.57.19.112 ..[05/Dec/2011 07:05:22:152]”GET /card.do?action=addtocart&itemid=EST-17& product_id=K9-BD-01&JSESSIONID.SD7SLSFF8ADFF8HTTP 1.1” 200 3923 AppleWebKit/535.2 (KHTML.like Gecko) Chrome/15.0.874.121 Safari535.2 用户电子邮件 产品 用户城市 客户通过信用卡购买完成交易 • 客户行为 • 库存更新 • 欺诈启发式分析 • 实时产品销售跟踪 2011-12-05 07:04:44 Id=00Q000000Rd910EAJ City=New York Country=US CreatedDate=“2011-12-05 07:06:44” Email.jdoe@gmail.com Email_Opt_In_c Customer_Street_Address_c=“123 Main St.” purchased_product_id=product_i BD-01 twitter_username rollin_in_doe 错误的 性质 软件驱动程序产生错误 连接错误 Web 服务器尝试写入数据库 [1208/11 02:39:03:209 UTC] 000000c6 ConnectionEve A J2CA00561:The exception which was received is com.ibm.websphere.cm.StateConneConnectionExeception:[IBM][CLI Driver] SQL1224N • 应用程序错误的性质 • 错误源
处理机器数据需要新方法 商业应用程序数据 人为产生的数据 机器产生的数据 • 关系型数据、高度结构化、基于僵化模式 • 财务记录、多维数据、数据计算 • 月报,非实时事件 • 由人与人之间的互动而产生 • 包括电子邮件、即时通信、语音、视频和文本 • 储存在集中式公司服务器、文件共享和桌面中 • 时间序列非结构化数据,无预定义模式 • 由所有 IT 系统生成,大量不同类型的格式 • 巨量;快速导航和相关性最重要
Splunk: IT 数据引擎 毋需预定义数据结构, 没有定制化的连接器, 没有 RDBMS, 不需要进行过滤 客户面对的数据 在数据中心之外 • Click-stream data • Shopping cart data • Online transaction data • Manufacturing, logistics… • CDRs & IPDRs • Power consumption • RFID data • GPS data 日志文件 配置信息 消息 Trap告警 指标数据 脚本 变更 工单 虚拟化& 云 Windows Linux/Unix 应用程序 数据库 网络 • Registry • Event logs • File system • sysinternals • Configurations • syslog • File system • ps, iostat, top • Hypervisor • Guest OS, Apps • Cloud • Web logs • Log4J, JMS, JMX • .NET events • Code and scripts • Configurations • Audit/query logs • Tables • Schemas • Configurations • syslog • SNMP • netflow
Splunk产品架构概览 用户编写 Splunk-编写 社区论坛, 合作伙伴 Apps 和使用案例 应用程序 管理 IT 运维管理 安全 合规 业务分析 … … 基于Web 用户界面 API接口 SDK开发包 基于角色 访问控制 核心功能 实时监视 数据钻取 历史数据分析 搜索语言 统计/分析 告警 报表 仪表板 关联 高性能 实时搜索引擎 与其他数据源进行关联 实时 无需预定义 大规模 通用索引和存储 IT 数据源
支持多种Apps/解决方案 Security IronPort WSA
可以线性扩展到每天几十 TB的数据量级 Offload search load to Splunk Search Heads Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols
从部门到企业 > 扩展 企业部署 工作组 > 免费下载 • 企业标准 • 大量用户 • 许多不同的使用实例 • 许多不同的用户 • 更多站点 • 更多地理位置 • 更多数据源 • 更多数据量 > > • 特定使用实例 • 特定用户 初始用户
谁可从机器数据中受益? 开发 团队 安全 分析 审计员 运营 团队 IT 高管 营销与 商业分析 服务台 客服人员 其他 高管与 企业 所有者 客户 支持 团队
安全 & 合规 Web 智能 业务分析 IT 运营 应用程序管理 Splunk 为整个组织传递价值
背景介绍 • 根据不同主机来源的日志分析交易耗时、交易量、响应码成功比率,等等 • 业务系统维护人员可以通过输入简单的条件(例如交易流水号、卡号、账号,等等) • 快速定位匹配的事件 • 关联分析 • 实时业务报表
场景一:交易耗时分析 • 通过对所有交易最大耗时和平均耗时时序变化发现3月10日8点30分到8点33分之间的交易耗时远超过其他时间段
通过对该时段AP1, AP2, GAPSAP 的日志查询得出,交易代码0307的交易数量是最大的
继续查看交易代码0307在该时段的交易耗时情况继续查看交易代码0307在该时段的交易耗时情况 最大耗时和平均耗时都明显高于其他时段
2012.3.10 8:30am-8:33am 根据交易代码列出各个步骤耗时的最大/最小/平均值 启动3的最大耗时远远超过其他几个步骤
基于关键信息快速查询定位 只需键入所要查询的交易流水号,然后点击搜索按钮 1 • 根据交易流水号查询交易总耗时以及各个步骤耗时 列出各个步骤的耗时, 颜色区分大小, 快速定位到最大的耗时步骤 2 列出不同来源主机
统计分析报表/仪表板 • 各种响应码的占比情况展示 通过外部查找对照表列出各种响应码的解释含义 0000(处理返回成功)之外的各种响应码随时间分布情况展示
日志管理面对的挑战 • 日志较分散不便管理。 • 环境复杂,设备品牌较多,包括国产和国外设备,日志格式无法统一。 • 合规性要求: • 重要日志文件不少于半年。 • 应能根据审计记录进行数据分析,并生成统计报表。 • 避免审计记录遭受未预期的删除、修改或覆盖。 • 实施信息系统的统一安全策略,实现集中审计。
应对挑战 • 搭建统一的日志管理系统 • 有足够的存储空间和备份归档策略满足存储时间要求 • 处理多样的日志格式 • 查询快、易分析 • 对审计记录的保护 • 可灵活定制展现层 • 部署统一策略,实现集中审计。
为什么选择 Splunk? • 选型前有与其他工具进行测试比较。 • Splunk优势 • 易操作,易部署 • 能识别日志的种类全面 • 不需要另外做归一化处理 • 查询速度较快 • 仪表盘能灵活定制 • 细粒度用户权限
安装部署 • 收集数据源包括操作系统、网络设备、安全设备和应用程序的日志。(包括linux、Firewall、交换机、路由器、负载均衡,入侵检测,审计系统、身份认证系统等)
使用场景分析 • 日常状态监测(CPU、内存、存储、连接池等资源情况) • 排错查询(硬件错、软件错、人为操作错)利用存储查询语句完成知识转移。 • 基线管理(定期排程) • 告警 • 统计报告
报告举例 • 确保数据并进行相关报告: • 频繁用户登陆出错 • 非授权的访问出错 • 网络接口down • 主备设备切换信息 • 设备紧急故障信息 • 来自安全设备的高级类攻击事件信息 • 一段事件内大量出现的出错信息
使用 Splunk 之后 • 日志管理方面满足合规要求。 • 对IT 数据有全局视角。 • 提高了可视性。 • 提高了排错的效率
如何进一步利用 Splunk? • 梳理各类设备的需关注日志关键字,结合短信网关配置告警。 • 利用 Splunk 分析业务数据。