310 likes | 429 Views
云 计算、数据中心与虚拟化. 李振华 lizhenhua1983@gmail.com. 提纲. 忽如一夜春风来,全球遍地 云计算. EC2 , S3, SQS, RDS. Azure , Office365. CloudServers, OpenStack. GFS, BigTable , MapReduce. 蓝云 , 智慧地球. iCloud , iTunes. 第一个商业系统: 2006 年 3 月, Amazon EC2 ( Elastic Compute Cloud )
E N D
云计算、数据中心与虚拟化 李振华 lizhenhua1983@gmail.com
忽如一夜春风来,全球遍地云计算 • EC2, S3, SQS, RDS • Azure, • Office365 • CloudServers, • OpenStack • GFS, BigTable, MapReduce 蓝云, 智慧地球 • iCloud, • iTunes 第一个商业系统:2006年3月,Amazon EC2 (Elastic Compute Cloud) 第一次正式命名:2006年8月,Google 101教学项目
云计算渗透到各行各业、各种应用 云计算 云存储 云数据库 (大数据)
续上 云视频 云游戏 云安全 云商务 云物联
云计算的三个不同层面 • IaaS 偏重硬件 • PaaS 偏重平台 • SaaS 偏重服务
云计算其实老早就有了…… 1946年,世界第一台计算机ENIAC 计算机老贵了,只能大家合着用一台 1961年,MIT开发出CTSS (Compatible Time-Sharing System),可谓最早的“云计算”系统 1973年,Ken Thompson和Dennis Ritchie开发出UNIX,也是为分时计算系统服务的
那么为什么没有流行、后来成了个人电脑(PC)的时代?那么为什么没有流行、后来成了个人电脑(PC)的时代? 因为多媒体应用成为主流, 但是网速不给力啊! 个人电脑上场:
Internet骨干网带宽以及用户接入带宽不断提升 • 15年前,Modem,56 Kbps • 10年前,ADSL,200 Kbps • 5年前,ADSL+,1-4 Mbps • 现在,十二五规划,中国电信“光纤入户”计划投资6000亿人民币,实现10-100 Mbps
带宽足够了,还差一个契机! 2004年,Amazon网站估计其业务量会面临一个“暴增”,于是IT部门买进大量服务器 然而,这个“暴增”出现之后又很快回潮,于是多出了很多很多的空闲服务器 用不掉就租!
租有租的问题 :你们家服务器很好、但太贵!我只需要一台普通配置的就行了。 :你们家服务器太烂!我需要一台超强配置的。 :我时而需要一台普通配置的,时而需要一台超强配置的…… 我们都不是网络专家,不会自己组网、调度。
面对高度复杂的用户需求,怎么办? 构建虚拟化的数据中心! 资源池 1、一台物理机变多台虚拟机 2、多台物理机变一台虚拟机 3、虚拟机配置可动态调整 数据中心
于是,Amazon EC2横空出世! EC2 云计算从EC2开始!
数据中心 用一组路由器/交换机把一堆服务器连接起来构成一个联通的网络、提供/对外出租一套统一的服务。 数据中心老早就有了,但 “云”是虚拟化的数据中心!
虚拟化:一个简单的比喻 一个公司有很多资产(土地、厂房、设备、桌椅、等等),也有很多人,如何把资产合理分配给每个人(衡量其贡献)? 当然不行! 咱们把资产虚拟化成股票!想怎么分就怎么分 拆厂房、 卸桌椅分?
虚拟化:资源的统一调度 把所有的硬件设备抽象成“虚拟机”: * 对于提供方来说——便于即时配置、统一调度; * 对于用户来说——便于自适应扩展、按需付费。 服务器虚拟化 桌面虚拟化
虚拟化:两个身边的实例 建设银行采用Citrix桌面虚拟化产品XenDesktop替换所有员工电脑 “爱奇艺”视频网采用Vmware+ vSphere进行服务器虚拟化
Dropbox:一个综合实例 • 近年来云存储服务快速流行 • Google、微软、苹果、百度、…… • 真正胜出的是一个小公司——Dropbox • Dropbox拥有超过1亿用户、日均存储/更新10亿个文件 • 创始人Drew Houston • 1983年生于美国 • 14岁开始编程 • 在MIT读大学时由于经常忘带U盘、跑回实验室拷文件 • 觉得太麻烦! • 于是休学创办Dropbox • 多地点、多系统、多平台同步存储文件
Dropbox:如何脱颖而出? 在强手如云的云存储领域,小小的Dropbox何以如此流行、稳居第一? 策略上:租用Amazon S3存放文件内容,便于廉价、简单、快速地扩展 商业上:不花钱市场推广、不做广告,利用95%的免费用户进行“病毒式营销”、赚剩下5%的付费用户钱 技术上:文件差分同步 + 同步前数据压缩 非常节流!
Dropbox系统架构 自建“Dropbox云”:存放核心用户信息和文件索引信息,仅使用数百台商品化服务器
QQ旋风:一个本土实例 流行的视频下载速度很高,但问题是那些不流行视频,特别是P2P方式的(BT、电驴、磁链) QQ旋风的功能和迅雷类似,主要用来下载视频 不仅下载巨慢、很不稳定,就连能不能下完都成问题…… 云下载,又称离线下载 普通下载 云下载
云下载的解决方案 • 构造一个集中的云为用户所复用 • 用户提交完下载请求即可离线 • 云下载完成即告知用户 • 云保证用户高速下载且一定成功 Cloud High data rate !
云下载的系统实现 • 663台服务器、73 Gbps带宽 (2011年)
QQ旋风:云转码 • 移动设备数量庞大、远超PC • 互联网视频多为面向PC - 格式单一、解析度高、尺寸大 • 给移动设备带来的问题 - 无法支付视频流量(GPRS/3G/4G) - 视频太大没空间保存 - 强迫本地转码以适应屏幕 - CPU和电池都不够解码大视频
云转码的基本原理 • 移动用户仅提交视频链接和转码需求 • 云代替用户去互联网下载并按需转码 • 云保证高速传送给移动用户 • 只有一个原则:最小化移动用户的资源消耗!
云计算四大优势 易扩展、自适应! 按需付费,用多少资源花多少钱! 让创业者把心思放在内容和商业模式上,无需担心技术架构! 成为它们坚实可靠的后台!
结束语 云计算还处在起步阶段, 核心技术都在美国企业, 国内技术前景大大地有!
附1:课件相关论文 • Above the Clouds: A Berkeley View of Cloud Computing - Berkeley TechReport’09 • MapReduce: Simplified Data Processing on Large Clusters - OSDI’04 • A Scalable, Commodity Data Center Network Architecture - SIGCOMM’08
附2:课后阅读论文 • Xenand the Art of Virtualization - SOSP’03 • Dynamo: Amazon’s Highly Available Key-value Store - SOSP’07 • Cloud Computing and Emerging IT Platforms: Vision, Hype, and Reality for Delivering Computing as the 5th Utility -《Computer Communications》’09