2006 年 10 月

1. 2006年10月 面向数据处理的高端系统 胡雷钧 浪潮公司

2. 高性能计算系统构成

3. 面向数据处理的高端系统 • 具有较高综合能力的计算机系统----高效能系统 • 注重系统的实际应用效果，注重性价比和总体拥有成本 • 用于有挑战性的应用领域，解决复杂问题 • 空间探索、生命科学、气象模式、高能物理、理论化学 • 面向海量数据处理，需要高计算性能 • 应用基于海量数据，需对海量数据进行处理（变换、分析、筛选） • 应用需要较强的计算能力 • 具有较大的系统规模 • 系统处理器规模、节点规模、存储器规模较大 • 系统的空间占用、能源消耗直接影响系统的拥有成本

4. C I/O Unit C I/O Unit … IPN … … … High Speed Switch Path … Manage Unit CPU Memory CPU Memory CPU Memory CPU Memory S I/O Unit S I/O Unit … … SAN … … … 高性能计算系统的构成

5. 议程 • 国内外对高端计算研究上的差异 • 国外主要的技术发展趋势 • 在高端计算领域的机遇

6. 国内外对高端计算研究上的差异 • 高端计算机＝高性能计算＝HPC＝linpack？ • 高端应用＝高性能计算 ＝高性能科学计算＝数值计算？ • HPC并不是高端计算机的全部 • 高性能计算实际是高端计算机的一个应用领域 • 数值计算并不是高性能计算的全部 • 国际市场上90％以上的高端计算机面向商业应用 • 80％以上的高端计算机应用于数据处理（2005年IDG数据） • 95％的高端应用并不需要100个节点的集群系统，而需要4－32个处理器的SMP系统

7. 国内外对高端计算研究上的差异 • 体系结构研究过于注重集群，在其他重要体系结构的研究上投入较少 • 国内的高性能计算系统体系结构以集群为主 • 对SMP/NUMA等体系结构的研究较少 • 过于依赖国外底层技术，对处理器、芯片组、交换互连的研究投入不足 • 重单一指标，不重综合指标 • 重系统浮点计算性能指标，对综合应用能力的重视不够 • 注重数值计算类应用 • 强调高端系统数值计算能力（峰值浮点计算能力、LINPACK） • 不重视OLTP指标、SPECWEB指标等面向商业应用的指标 • 在高性能计算领域注重计算能力的提升，对应用模型、算法、并行编程工具、并行程序的调试与优化方面的研究有待进一步加强

8. 国内外对高端计算研究上的差异 • 高性能计算是一个产业还是一个应用领域？ • 产业注重主要的市场需求，首先满足主要的市场需求 • 主要的市场需求是面向高端的商业应用 • 高性能计算是高端计算机系统的一个主要应用领域 • 高效能还是高性能？ • 国外的技术发展趋势：从注重计算能力到注重系统的综合效能 • 注重系统的性能功耗比、系统面向不同应用的综合处理能力、系统可持续提供服务的能力、系统的数据处理能力、系统的事务处理能力

9. 如何改变？ • 我们应该关注什么方向？ • 从满足高端关键应用的角度考虑国外的发展趋势，考虑我们的战略布局 • 高效能 • 追求系统的性能功耗比 • 追求系统的数据处理能力 • 追求系统性能的平衡 • 计算能力的提升与获取数据的能力提升平衡 • 计算能力的提升与I/O能力的提升平衡发展 • 追求系统资源的有效利用 • 追求对适合多种不同应用

10. 议程 • 国内外对高端计算研究上的差异 • 国外主要的技术发展趋势 • 在高端计算领域的机遇

11. 普适化计算的发展

12. 高效能计算和海量数据处理将成为社会信息与服务的基础高效能计算和海量数据处理将成为社会信息与服务的基础

13. 分层存储 虚拟存储 智能网络存储 协议与安全 虚拟计算 高可信 高效能计算 海量存储 虚拟现实 低成本计算机 高效能服务器 以海量数据为基础的全面信息服务和应用 相关产品和产业的发展事关国家长远发展和国家信息化社会建设的政治经济安全 概念层 普适计算 巨系统 研究层 海量数据处理 实用层

14. 国外主要的技术发展趋势 • 多核技术是提高性能功耗比的有效方法，是提高系统数据处理能力的有效方法 • 多核技术带来的最主要的变化之一是性能功耗比的提升 • 多路交换系统总线技术是提高系统综合能力的有效方法 • 平衡计算能力与内存带宽 • 平衡计算能力与I/O总线带宽 • 虚拟化技术是提高系统资源综合利用率的有效方法 • 虚拟化技术通过重建边界或打破边界彻底改变了系统资源的分配方法 • 基于开放标准的高速互连技术是平衡计算能力与I/O能力的有效方法，是高端系统适应多种应用的一个重要发展方向

15. 处理器向多核演进

16. 100% SINGLE-CORE* 85% MULTI-CORE FORECAST 向多内核的演进

17. 2006年 1995年 2007年之后 超线程（HT）技术 多内核 对称多处理 双路SMP系统 两个内核 2个线程 双路SMP系统 双内核 4个线程 双路SMP系统 4-8个内核 4个线程 向多内核的演进

18. 向多内核的演进 性能 每瓦性能 吞吐量 扩展性 多核 利益 转折点 单核 2008+ 2006 2000 预测 业界革命性的转折点

19. SPECint_rate per System Watt SPECint_rate 400% 350% 3.9 300% 3.4 2.8 250% Woodcrest 3.00/BF1333 2.1 2.0 Clovertown 2.67/BF 1066 2.0 Opteron* 2.8 socket F 200% PaxDP 2.8/LH800 Opteron* 280 (2.4GHz) 1.8 Dempsey 3.73/BF1066 Opteron* 2.6 (socket F) 150% Opteron* Quad Core 1.5 Opteron QC socket F Opteron DC socket F 2.8 Woodcrest 100% Opteron DC socket F 2.6 Clovertown Irwindale Dempsey 95W PaxvilleDP Opteron DC 2.4 50% 2007 2H‘06 1H‘06 Q4‘05 0% 2H’06 1H’05 1H’06 2007 2H’05 多核提高性能功耗比、提高数据处理能力

20. 系统总线的演进 2004 2008 2003 - 2004 2006 vs. 2004 2005 - 2006 DIB 800 FSB 400 • Single-Core • MP front-side bus • Large CPU cache • Centralized Memory • Dual-Core • Dual-independent bus • Cache per core • Memory capacity Chipset Chipset FSB BW peak 6.4 GB/s 6.4 GB/s 17 to 21† GB/s up to 21 GB/s (FBD-667) up to 3x DDR2 400 DDR-II, 200 Memory BW peak 2007 - 2008 Future • Multi-Core • New Bus Architecture • Improved Cache and Memory Architecture • Quad-Core • Dedicated buses • Shared CPU Caches • Chipset Snoop Filter • Next Gen Memory FBD DHSI up to 4x Memory Capacity 16 GB(DDR2-400) 64 GB (FBDIMM) Snoop Filter CHIPSET

21. 虚拟化技术的演进促进资源的充分利用 • 资源分拆的虚拟化 • 将高性能系统分拆成若干虚拟机

22. 虚拟化技术的演进促进资源的充分利用 • 资源整合的虚拟化 • 将多台物理设备整合 成一台虚拟机

23. 高速互连技术的演进促进高端系统的综合应用能力高速互连技术的演进促进高端系统的综合应用能力 • 整合存储I/O、通讯、数据同步、管理网络的高速互连技术将是未来系统间互连的主流

24. 高速互连技术的演进 • Infiniband在存储领域将有快速发展 • 可以实现多种存储协议，并有较高性能 • 可支持块设备协议、文件共享协议（NAS）、并行文件系统协议

25. 高速互连技术的演进 • 高速互连带宽持续提升已接近系统总线的传输速度

26. 高速互连技术的演进 • 高速互连带宽持续提升已接近系统总线的传输速度

27. 高速互连技术的演进 • 高速互连带宽持续提升 • 2008年将达到20Gb-40Gb • 通信延迟将进一步降低 • 2008物理通信延迟达到几十ns

28. 高速互连技术的演进 • 对等带宽方式的互连方法是IB互连的基本方式

29. 高速互连技术的演进 • Torus（立方体）互连是IB的新的互连方法

30. 高速互连技术的演进 • 基于IB的TORUS互连

31. 从机架式结构到刀片式结构的演进 • 刀片式结构将是主流

32. 存储虚拟化技术 • 存储虚拟化 • 设备级 • 文件系统级 • 服务级

33. 基于存储实现虚拟化 将虚拟化层放在存储设备的适配器、控制器等上来实现的

34. 基于主机现实虚拟化 将虚拟化层放在服务器上实现的

35. 基于网络实现虚拟化

36. 基于虚拟化技术的并行存储系统

37. 议程 • 国内外对高端计算研究上的差异 • 国外主要的技术发展趋势 • 在高端计算领域的机遇

38. 面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点

39. 数据量高速增长 电子商务 客户管理 数据量爆炸 数据分析 数据 企业应用 电子政务 基础OA 无线通信 在线视频 科学研究 70年代 80年代 90年代 2000年 新世纪头10年

40. 海量数据处理的需求趋势与市场机会 • 科研应用领域对海量数据处理的需求 • 空间探索、数字天文台、高能物理、生命科学 • 石油勘探、油气田模拟 • 气象预报与气象模式研究 • 飞机船舶设计 • IPTV和数字媒体对海量数据处理系统的需求 • 为满足点播需求 ，IPTV运营商必须存储和处理大量的视频数据，需要海量数据处理系统 • 50个公共频道一天的数据量约为4320GB=4.32TB • 为保障点播质量，在小区内一般会设置视频数据缓存或CDN海量数据缓存服务器(内容分送网络服务器，附带数据缓存存储设备) • 预计2008年全国IPTV用户数将达到6000万 • 3G移动通讯对海量数据处理系统的需求 • 3G移动通讯将在十一五期间正式运营,3G业务将派生多种多媒体应用 • 视频电话、基于手机的媒体点播、视频短信、多媒体邮件、视频直播、手机视频游戏 • 这类业务的发展，需要大量的存储系统由于存储内容、缓存内容 • 假设平均每个3G用户将需要1GB的存储空间，按照4000万3G用户计算，3G应用未来将需要存储容量：40P • 下一代互联网建设使基于因特网的存储服务成为可能 • 这种趋势将催生一批互联网存储服务商，并产生巨大的网络海量存储系统的需求，平均一个用户存储10G数据，100万用户将需要1PB的存储容量

41. 海量数据处理的需求 • 面向海量数据的应用将是未来市场的主流，是市场上商用高端系统的主要增长点 • 面向海量数据处理的高端系统必须满足如下需求 • 系统可以实现PB级海量数据的存储、处理和传输 • 系统需要支撑几十GB/s的数据访问流量 • 由于面向海量数据应用的特点，海量数据处理系统往往面对大量的并发访问，要求系统设计要均衡计算能力与I/O能力 • 海量数据库应用，要求系统能够基于同一组数据进行大规模并行数据处理，计算单元间需要高速交换通道进行数据同步和数据共享 • 由于系统构成复杂，系统的可靠性可用性设计将是系统设计的难点 • 未来应用的数据积累速度会以每日TB的规模增长，并发用户数量也会持续增长，需要海量数据处理系统有较高的可扩展性 • 对高端计算机的能力需求 • 数据处理能力 • 数据I/O能力 • 系统可靠性 • 系统利用率 • 系统功耗性能比

42. C I/O Unit C I/O Unit CPU Memory CPU Memory CPU Memory CPU Memory S I/O Unit S I/O Unit 系统示意图 … IPN … … … High Speed Switch Path … Manage Unit … … SAN … … … VSMP硬件体系结构

43. 最新浪潮存储产品线 AS1000&1000G2 价格 新 AS600&600G2 CX300、500、700 新 存储系统 AS500 AS330G2 新 AS300 AS200 AS系列 CX系列 性能

44. AS500简介 • 3U机架，15槽位 • 可同时支持iSCSI和FC • 单、双控控制器 • 支持SATA硬盘 • 标配P4 CPU；2×512MB DDR ECC内存，最大8GB • 支持RAID0、1、5、10多种级别 • 可支持256个LUN • AS Manager管理软件实现快照、硬件监控等高级功能 • IOPS 8,4000 • 传输带宽：680MB/s 随需而变、弹性架构

45. 控制器1 控制器2 CMI FC x 2 iSCSIx 2 FC x 2 iSCSIx 2 电源 镜像缓存 镜像缓存 CPU CPU 风扇 风扇 风扇 SATA/SAS×4 SATA/SAS×4 后备电源 电源 后备电源 HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM HDM AS500内部体系架构 • 模块化，全冗余结构 • 同时支持FC、iSCSI

46. AS500应用案例—国务院信息办（FC SAN） • 山东移动 • 北京石景山政府 • 安徽信息产业厅 • 黑龙江省委党校 • 山东大学 • 华师数学系 • ……

47. AS500推荐应用—IP SAN & FC SAN • 部分性能要求较高的服务器通过FC连接 • 大量性能要求较低的服务器通过IP连接 • 性能按需分配，共享存储，达到最佳的性价比

48. 谢谢大家!