1 / 39

Splunk 您的数据引擎

Splunk 您的数据引擎. @ 张涵诚大数据 CRM 13501043717 Wayne.zhang@gsavvy.com. 公司介绍. 公司 创立于 04 年, 06 年发布第一个版本 总部位于加州旧金山 区域总部位于香港和伦敦 在 15 个国家 / 地区拥有 650 多名员工 财务 2012 年 4 月 19 日在纳斯达克上市,股票代码为 SPLK 2013 财 年一月份收益达到 1.989 亿美元 年复合增长率为 91% 客户 在 85 个国家 / 地区拥有 5200 多家客户

ohio
Download Presentation

Splunk 您的数据引擎

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Splunk您的数据引擎 @张涵诚大数据CRM 13501043717 Wayne.zhang@gsavvy.com

  2. 公司介绍 • 公司 • 创立于 04 年,06 年发布第一个版本 • 总部位于加州旧金山 • 区域总部位于香港和伦敦 • 在 15 个国家/地区拥有 650 多名员工 • 财务 • 2012 年 4 月 19 日在纳斯达克上市,股票代码为 SPLK • 2013 财年一月份收益达到 1.989 亿美元 • 年复合增长率为 91% • 客户 • 在 85个国家/地区拥有 5200 多家客户 • 50% 以上为财富 100 强公司 2

  3. 2013最具创新公司排名第四

  4. 金融服务与保险 零售 技术 云和在线服务 政府 卫生保健 制造 媒体与娱乐 能源与公用事业 教育 电信 旅游与休闲 在 80 多个国家/地区拥有 5200 多家客户

  5. Splunk中国客户

  6. 数据增长 = 挑战和机会 数据量 数据速率 数字信息量(1) 全球 IP 流量(2) 万亿千兆字节 (TGB) 拍字节 (PB) CAGR: 30% CAGR: 45% 数据多样性/基础设施复杂性 Web服务 在线购物车 数据库 云 桌面 装运 RFID 开发人员 安全 在线 服务 服务器 能源 GPS/移动电话 虚拟 应用支持 电信 联网 存储 Web点击流 制造 物理 1. IDC 2011 数字宇宙研究报告 2. Cisco 2011 视觉网络指数 消息收发

  7. 大数据是极其重要的事务 进入高德纳公司的最重要技术趋势图表,排名第 2 2012 年 10 个主要的 IT 趋势 来源: 高德纳公司 IT 研讨会 2011,451 研究所,福雷斯特 虚拟化的演变 大数据、模式和分析 能源效率和监控 情境感知应用 员工保留和再培训 社交网络 消费化 按每平方英尺计算 云 光纤

  8. Big Data Technologies 大数据技术 Cassandra CouchDB MongoDB TeraData Greenplum Hadoop RDBMS Sharding 关系型数据库管理系统 分片 SQL & Map / Reduce 结构化查询语言 映射 / 化简 HDFS Storage + Map / Reduce Hadoop分布式文件系统存储 + 映射 / 化简 NoSQL 非关系型数据库 Real Time Indexing 实时索引实现 Relational Database (highly structured) 关系数据库 (高度结构化) Distributed File System (semi-structured) 分布式文件系统 (半结构化) Key/Value, Columnar or Other (semi-structured) 键/值、纵列或其它 (半结构化) Temporal, Unstructured Heterogeneous 时序、非结构化、不匹配 Map / Reduce 映射 / 化简

  9. 大数据 大数据是超出传统数据库系统处理能力的数据。 如需从这些数据中获得价值,您必须选择其他方式来处理它。 O’Reilly Radar,2012 年 1 月

  10. 任务 让机器数据可供所有人 访问、使用和有价值。

  11. 任务 让机器数据可供所有人 访问、使用和有价值。

  12. 什么是机器数据 行动 说明性业务/IT 洞察 机器数据示例(信息的小子集) 用户会话 用户浏览器信息 行动 产品 客户将产品添加到电子商务/网站购物车 • 客户需求 • 购物车活动 • 网站故障排除 66.57.19.112 ..[05/Dec/2011 07:05:22:152]”GET /card.do?action=addtocart&itemid=EST-17& product_id=K9-BD-01&JSESSIONID.SD7SLSFF8ADFF8HTTP 1.1” 200 3923 AppleWebKit/535.2 (KHTML.like Gecko) Chrome/15.0.874.121 Safari535.2 用户电子邮件 产品 用户城市 客户通过信用卡购买完成交易 • 客户行为 • 库存更新 • 欺诈启发式分析 • 实时产品销售跟踪 2011-12-05 07:04:44 Id=00Q000000Rd910EAJ City=New York Country=US CreatedDate=“2011-12-05 07:06:44” Email.jdoe@gmail.com Email_Opt_In_c Customer_Street_Address_c=“123 Main St.” purchased_product_id=product_i BD-01 twitter_username rollin_in_doe 错误的 性质 软件驱动程序产生错误 连接错误 Web 服务器尝试写入数据库 [1208/11 02:39:03:209 UTC] 000000c6 ConnectionEve A J2CA00561:The exception which was received is com.ibm.websphere.cm.StateConneConnectionExeception:[IBM][CLI Driver] SQL1224N • 应用程序错误的性质 • 错误源

  13. 处理机器数据需要新方法 商业应用程序数据 人为产生的数据 机器产生的数据 • 关系型数据、高度结构化、基于僵化模式 • 财务记录、多维数据、数据计算 • 月报,非实时事件 • 由人与人之间的互动而产生 • 包括电子邮件、即时通信、语音、视频和文本 • 储存在集中式公司服务器、文件共享和桌面中 • 时间序列非结构化数据,无预定义模式 • 由所有 IT 系统生成,大量不同类型的格式 • 巨量;快速导航和相关性最重要

  14. Splunk: IT 数据引擎 毋需预定义数据结构, 没有定制化的连接器, 没有 RDBMS, 不需要进行过滤 客户面对的数据 在数据中心之外 • Click-stream data • Shopping cart data • Online transaction data • Manufacturing, logistics… • CDRs & IPDRs • Power consumption • RFID data • GPS data 日志文件 配置信息 消息 Trap告警 指标数据 脚本 变更 工单 虚拟化& 云 Windows Linux/Unix 应用程序 数据库 网络 • Registry • Event logs • File system • sysinternals • Configurations • syslog • File system • ps, iostat, top • Hypervisor • Guest OS, Apps • Cloud • Web logs • Log4J, JMS, JMX • .NET events • Code and scripts • Configurations • Audit/query logs • Tables • Schemas • Configurations • syslog • SNMP • netflow

  15. Splunk产品架构概览 用户编写 Splunk-编写 社区论坛, 合作伙伴 Apps 和使用案例 应用程序 管理 IT 运维管理 安全 合规 业务分析 … … 基于Web 用户界面 API接口 SDK开发包 基于角色 访问控制 核心功能 实时监视 数据钻取 历史数据分析 搜索语言 统计/分析 告警 报表 仪表板 关联 高性能 实时搜索引擎 与其他数据源进行关联 实时 无需预定义 大规模 通用索引和存储 IT 数据源

  16. 支持多种Apps/解决方案 Security IronPort WSA

  17. Apps for Citrix

  18. 可以线性扩展到每天几十 TB的数据量级 Offload search load to Splunk Search Heads Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols

  19. 从部门到企业 > 扩展 企业部署 工作组 > 免费下载 • 企业标准 • 大量用户 • 许多不同的使用实例 • 许多不同的用户 • 更多站点 • 更多地理位置 • 更多数据源 • 更多数据量 > > • 特定使用实例 • 特定用户 初始用户

  20. 谁可从机器数据中受益? 开发 团队 安全 分析 审计员 运营 团队 IT 高管 营销与 商业分析 服务台 客服人员 其他 高管与 企业 所有者 客户 支持 团队

  21. 安全 & 合规 Web 智能 业务分析 IT 运营 应用程序管理 Splunk 为整个组织传递价值

  22. 案例分享一

  23. 背景介绍 • 根据不同主机来源的日志分析交易耗时、交易量、响应码成功比率,等等 • 业务系统维护人员可以通过输入简单的条件(例如交易流水号、卡号、账号,等等) • 快速定位匹配的事件 • 关联分析 • 实时业务报表

  24. 场景一:交易耗时分析 • 通过对所有交易最大耗时和平均耗时时序变化发现3月10日8点30分到8点33分之间的交易耗时远超过其他时间段

  25. 通过对该时段AP1, AP2, GAPSAP 的日志查询得出,交易代码0307的交易数量是最大的

  26. 继续查看交易代码0307在该时段的交易耗时情况继续查看交易代码0307在该时段的交易耗时情况 最大耗时和平均耗时都明显高于其他时段

  27. 2012.3.10 8:30am-8:33am 根据交易代码列出各个步骤耗时的最大/最小/平均值 启动3的最大耗时远远超过其他几个步骤

  28. 基于关键信息快速查询定位 只需键入所要查询的交易流水号,然后点击搜索按钮 1 • 根据交易流水号查询交易总耗时以及各个步骤耗时 列出各个步骤的耗时, 颜色区分大小, 快速定位到最大的耗时步骤 2 列出不同来源主机

  29. 统计分析报表/仪表板 • 各种响应码的占比情况展示 通过外部查找对照表列出各种响应码的解释含义 0000(处理返回成功)之外的各种响应码随时间分布情况展示

  30. 案例分享二

  31. 日志管理面对的挑战 • 日志较分散不便管理。 • 环境复杂,设备品牌较多,包括国产和国外设备,日志格式无法统一。 • 合规性要求: • 重要日志文件不少于半年。 • 应能根据审计记录进行数据分析,并生成统计报表。 • 避免审计记录遭受未预期的删除、修改或覆盖。 • 实施信息系统的统一安全策略,实现集中审计。

  32. 应对挑战 • 搭建统一的日志管理系统 • 有足够的存储空间和备份归档策略满足存储时间要求 • 处理多样的日志格式 • 查询快、易分析 • 对审计记录的保护 • 可灵活定制展现层 • 部署统一策略,实现集中审计。

  33. 为什么选择 Splunk? • 选型前有与其他工具进行测试比较。 • Splunk优势 • 易操作,易部署 • 能识别日志的种类全面 • 不需要另外做归一化处理 • 查询速度较快 • 仪表盘能灵活定制 • 细粒度用户权限

  34. 安装部署 • 收集数据源包括操作系统、网络设备、安全设备和应用程序的日志。(包括linux、Firewall、交换机、路由器、负载均衡,入侵检测,审计系统、身份认证系统等)

  35. 使用场景分析 • 日常状态监测(CPU、内存、存储、连接池等资源情况) • 排错查询(硬件错、软件错、人为操作错)利用存储查询语句完成知识转移。 • 基线管理(定期排程) • 告警 • 统计报告

  36. 报告举例 • 确保数据并进行相关报告: • 频繁用户登陆出错 • 非授权的访问出错 • 网络接口down • 主备设备切换信息 • 设备紧急故障信息 • 来自安全设备的高级类攻击事件信息 • 一段事件内大量出现的出错信息

  37. 使用 Splunk 之后 • 日志管理方面满足合规要求。 • 对IT 数据有全局视角。 • 提高了可视性。 • 提高了排错的效率

  38. 如何进一步利用 Splunk? • 梳理各类设备的需关注日志关键字,结合短信网关配置告警。 • 利用 Splunk 分析业务数据。

  39. 问题?

More Related