600 likes | 823 Views
透视云计算热点 及其应用. 刘 鹏 gloud#126.com 中国云计算 www.chinacloud.cn. 国内外动向. 云计算发展的驱动因素. 新摩尔定律. 全球数据总量每 18 个月翻番。 大数据已经成为一种自然资源 大数据不被利用就是成本. 数据利用比例直降. 计算速度越来越快,企业却越来越笨。 今天很多企业能弄懂 7% 的企业数据,但这个数字很快会下降到 4% ,然后继续螺旋式下降。. IBM 实体分析首席科学家 Jeff Jonas. 数据使用率提升 10% 的影响. 云计算是网络发展的必然结果. 云计算技术体系结构.
E N D
透视云计算热点 及其应用 刘 鹏 gloud#126.com 中国云计算 www.chinacloud.cn
新摩尔定律 • 全球数据总量每18个月翻番。 • 大数据已经成为一种自然资源 • 大数据不被利用就是成本
数据利用比例直降 • 计算速度越来越快,企业却越来越笨。 • 今天很多企业能弄懂7%的企业数据,但这个数字很快会下降到4%,然后继续螺旋式下降。 IBM实体分析首席科学家Jeff Jonas
Google云计算关键技术 • Google文件系统GFS(Google File System) • 并行数据处理MapReduce • 结构化数据表BigTable • 分布式锁管理Chubby MapReduce BigTable Chubby GFS
Google文件系统(GFS) 客户端 客户端 客户端 客户端 客户端 客户端 客户端 客户端 GFS主节点 MSN19% 客户端 互为备份 管理节点 GFS主节点 Google48% C1 C1 C0 C0 C5 Yahoo33% … C2 C2 C5 C5 C1 数据结点2 数据结点N 数据结点1
绿色和平组织的报告 • 2010年,由于数据中心和远程通信网络的快速增长,使得用电量激增,从而对气候变暖产生极大的负面影响。 • 到2020年,数据中心将消耗的电力资源,比法国、德国、加拿大和巴西目前消耗的电力总量还要多。
云计算给用户体验带来的革命 小小终端=超级计算机 更加智能的服务 如影随行的私人数据中心 服务器永远不会塞车 90% Off 的价格 信息随手可得
淘宝分布式数据处理 云可靠性研究小组
腾讯PaaS 云操作系统 WebQQ2.0 云可靠性研究小组
云数据中心开源 与普通数据中心相比,Facebook数据中心的能效高38%,建造成本低24%。
云数据中心开源 俄勒冈州普林维尔(Prineville)
云数据中心开源 电池柜提供备用电源
云计算的能源问题 Atlantic Wind Connection(大西洋风力传输,AWC)计划。总成本约50亿美元,Google将提供该计划37.5%的资金 Intel太阳能面板阵列充分吸太阳能可以产生10千瓦的电力,为数据中心提供部分的电力。
云计算应用 Hadoop节点数:15000 最大Hadoop集群: 3000 节点 每天输入数据:>10PB
云计算应用:淘宝网 • 10亿计的在线宝贝数 • 注册用户4亿,单日UV峰值6000万 • 千万量级交易笔数,单日成交峰值19.5亿
云计算应用:淘宝网 • 50G统计汇总结果 • 千万量级数据查询请求 • 平均20.8ms的响应时间 1500节点,每日40000 JOB,处理数据1.5PB,凌晨2点结束,结果20TB
云计算应用:淘宝网 Source:淘宝网 剑英 《HBase简介与实践分享》