1 / 28

快数据和大数据相遇

快数据和大数据相遇. VMware , Inc. 付飞 电信行业资深系统架构 师 18600590984 fu@vmware.com. 概述 案例参考 解决方案. 共同点 ?. 共同点 ?. Big Fast Flexible. 快数据与大数据相遇. Big Data 可以让你 从现有但未知 的数据中 发现机会. Fast Data 可以让你在机会溜走前抓住它. 快数据与大数据相遇. Working together 促进形成一种全新的业务模型. 客户案例参考. 这个场景您是否亲身体验过. 案例分析 --- 秒杀现象.

alexandra-buck
Download Presentation

快数据和大数据相遇

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 快数据和大数据相遇 VMware, Inc. 付飞 电信行业资深系统架构师 18600590984 fu@vmware.com

  2. 概述 • 案例参考 • 解决方案

  3. 共同点?

  4. 共同点? Big Fast Flexible

  5. 快数据与大数据相遇 Big Data 可以让你从现有但未知的数据中发现机会 Fast Data 可以让你在机会溜走前抓住它

  6. 快数据与大数据相遇 Working together 促进形成一种全新的业务模型

  7. 客户案例参考

  8. 这个场景您是否亲身体验过

  9. 案例分析 ---秒杀现象 • 高峰交易：1000万笔/天， 15,000-30,000笔/分钟 • 网上交易高峰：400万笔/天，2,500-3,500笔/分钟 • 网上高峰点击： 16亿次/天， 2万-3万次/秒 • 正常交易点击： 20次/笔， 高峰交易点击：600次/笔 • - 网络频宽不是问题 衍生的问题 • 用户无法登陆，或登陆后系统反应非常缓慢 • 提交订单后，系统反应慢或没有反应 • 付款后没反应 • 货品的余量信息更新慢，在交易高峰期余量数据没有参考价值，导致服务质量不好。

  10. 案例分析 数据大集中 云应用架构规划 Web & App Servers N > 100 Rabbit MQ 服务器集群 Gemfire 服务器 x86 集群 实时 数据流 应用 服务器集群 Web 服务器集群 . . . 中央数据库 数据汇总 N >15

  11. 客户案例参考

  12. 数据库查询vsGemFire -- 性能大幅提升 • 非命中数据查询 • 66 msvs 1 ms • ContID并发查询 • 60 msvs 1 ms • 告警信息查询 • 100 msvs 1ms

  13. 更多参考数据 • 多表关联加载 • 单表加载

  14. 解决方案

  15. 数据库被伸展了 Big Data • Petabytes vs. Gigabytes • Democratize BI

  16. 数据库被伸展了 Fast Data • Low latency expectations • Horizontal scale Big Data • Petabytes vs. Gigabytes • Democratize BI

  17. 数据库被伸展了 Fast Data • Low latency expectations • Horizontal scale Big Data Flexible Data • Petabytes vs. Gigabytes • Democratize BI • Multi-structured data • Developer productivity

  18. 数据库被伸展了 Fast Data • Low latency expectations • Horizontal scale Big Data Flexible Data • Petabytes vs. Gigabytes • Democratize BI • Multi-structured data • Developer productivity Cloud Delivery • Virtualized • Offered “-as-a-Service”

  19. 需要一个可横向扩展，弹性数据管理解决方案 弹性 动态增加/删除 数据/服务器 动态的扩展或者收缩，而不会影响服务或者数据

  20. 数据分层级的战略

  21. 回顾 – 传统的批处理分析 Business Events Polling UI OLTP Query/Update Enrich CEP/BAM (vendor proprietary) Online DB Online DB RDBMS (structured) Delayed Batch Processing Analytic Queries Validate OLTP Data Other Data Analytic Queries Transform Transform Delay Batch Data Warehouse (structured)

  22. 实时的传递途径 • Online Apps PROCESS IN REAL TIME ACQUIRE BATCH ANALYZE SQL DB MPP DB Batch/ single events? Low latency Raw Data in batches Derived Insight HDFS, MapReduce Online DB

  23. 实时的新体系结构(客户化) Streams BATCH ANALYZE SQL DB MPP DB HDFS, MapReduce • 内存数据网格化 • Buffer data, process events, In-memory Map-reduce • (VMware GemFire, SQLFire, Oracle Coherence, etc.) • 流处理 • Derive insight with continuous event processing • (Apache S4, STORM, Esper, StreamBase, GemFire)

  24. 都放在一起…会是怎样的呢? 现有的技术 … …一块儿工作

  25. Database as a Service vFabric Data Director Enterprise Services Integration Gateway (API) vCloud Director Provisioning Backup/Restore Clone Database Catalog One click HA Database Ingestion LifecycleServices App Dev DBA Application Director ResourceMgmt Security Mgmt Template Mgmt PatchMgmt Monitor InfrastructureServices Cloud Foundry IT Admin DBA EMC Chorus vPostgres … EMCData Domain ... … Cloud Infrastructure Platform Cloud Infrastructure Platform

  26. Greenplum + Gem/SQLFire 结合的体系结构 SQL MapReduce CQ and Pub/Sub ... MasterSevers Query planning & dispatch GemFire Now Data Active Notification ... Network Interconnect SegmentSevers Query processing & data storage ... ... ExternalSources Fast Ingest --XTP-- SQLFire ... ... Transaction Data

  27. 致谢 谢谢

  28. 快数据和大数据相遇 VMware, Inc.

More Related