1 / 100

高性能计算与网格计算

高性能计算与网格计算. 龚 斌 山东省高性能计算中心 山东大学计算机科学与技术学院 山东大学计算中心 2003 年 11 月 2 日. 议程. 高性能计算应用的需求 高性能计算有关概念 网格计算 山东大学高性能计算环境介绍. 指数增长的世界. 网络 vs. 计算机性能 处理器速度每 18 个月翻一番 存储密度 每 12 个月翻一番 网络速度 每 9 个月翻一番 1986 to 2000 计算机 : x 500 网络 : x 340,000 2001 to 2010 计算机 : x 60 网络 : x 4000.

rusti
Download Presentation

高性能计算与网格计算

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高性能计算与网格计算 龚 斌 山东省高性能计算中心 山东大学计算机科学与技术学院 山东大学计算中心 2003年11月2日

  2. 议程 • 高性能计算应用的需求 • 高性能计算有关概念 • 网格计算 • 山东大学高性能计算环境介绍

  3. 指数增长的世界 • 网络 vs. 计算机性能 • 处理器速度每18个月翻一番 • 存储密度 每12个月翻一番 • 网络速度 每9个月翻一番 • 1986 to 2000 • 计算机: x 500 • 网络: x 340,000 • 2001 to 2010 • 计算机: x 60 • 网络: x 4000

  4. 科学研究的三种基本方法 实验 理论 计算

  5. 高性能计算 高性能计算是指采用计算、通信和数据处理能力很强的计算机进行数据处理、信息服务、在线事物处理和科学工程计算，它对增强国家安全、提高企业竞争力、国家科研水平和政府监控能力有广泛而深远的影响，超级计算的能力与水平是一个国家综合国力的重要标志。

  6. 高性能计算 高性能计算已经成为支撑科学研究和高新技术发展的基础交叉学科，越来越多的科学研究和重大工程中的关键问题不能单纯地依靠理论和实践研究方法加以解决，而大规模、高性能的计算和模拟则提供了新的研究途径。

  7. 美国的高性能计算 • 美国国家科学委员会1985年与科学基金会、国防部和能源部联合制定了国家高性能科学计算研究的10年计划，发展万亿次计算机极大规模高性能计算技术 • 1995年又制定了新一轮规划的先进计算框架计划（ACIP），发展面向21世纪的先进计算技术 • 1996年提出加速战略计算创新（ASCI）计划，发展模拟核武器试验计算技术

  8. ASCI计划的前三个阶段

  9. ASCI Red (Intel)

  10. ASCI Blue Mountain (SGI)

  11. ASCI Blue Pacific (IBM)

  12. ASCI White (IBM)

  13. 对性能的需求 CAD/CAM 生命科学 数字生物学

  14. 遥感 天文学

  15. 天气预报　大气海洋模拟

  16. 数字相对论

  17. 航空　航天

  18. 军事

  19. 什么是高性能计算机 • 用于高端科学工程计算的超级计算机 (Supercomputer) • 通用高端计算机：超级服务器 (Superserver) • 价格>￥10万元的高端服务器 (High-end Server)

  20. 高性能计算机历史与现状 • Mainframe：IBM大型机（360、S390）、DEC小型机（PDP、VAX），Bull Gcos、NEC PX7800 • SIMD、Data Flow • 向量机、PVP：Cray1,2,3、XMP,YMP、C90,92，NEC SX-3,4,5，Convex /HP VPP,Exemplar • MPP：Intel Paragon，ASCI Red，Cray T3D,T3E，HITACHI SR2201 • SMP、MSMP：IBM S80，Sun U10000，SGI Power Challenge， Compaq Wildfire • CC-NUMA：SGI Origin2000/3000，Sequent Numa-Q，Unisys CMP • Cluster：IBM SP1,SP2,SP，Compaq TruCluster，ASCI Blue,White • 专用机：日本5代机，Deep Thought，Deep Blue，Blue Gene

  21. 高性能计算机系统的分类 • 超级计算机系统：做科学工程计算 • Cray C9X, T3E, VPP, SR220X • 曙光1000，银河II/III，神威 • 大型主机系统：主要做事务处理 • IBM的S390 • 超级服务器：兼顾科学计算、事务处理、信息服务 • IBM SP，Sun Enterprise10000，曙光3000 • 超级计算机的能力 • 广泛的服务面 • 高端服务器：以事务处理和信息服务为主，兼顾科学计算 • IBM, Sun, HP, Compaq, SGI UNIX服务器 • 高端PC服务器

  22. 高性能计算应用的分类 • 科学与工程计算 • 基础科学理论计算 • 信号处理，卫星云图，石油地震数据处理 • CAD • 模拟仿真 • 商务计算（事务处理） • 银行业务，证券，保险 • 企业管理，合同管理，财务管理，工程管理，人事管理 • 数据仓库与决策支持 • 网络信息服务 • 网络服务：Email, DNS, BBS, Web Server, FTP • 多媒体服务 • 企业信息平台 • 办公自动化

  23. 现代高性能计算机系统 • 并行向量处理机系统(PVP)： • 如CRAY YMP-90, NEC SX-3和FUJITSU VP-2000 • MPP (massively parallel processing)大规模并行处理机 • 如Intel Paragon, CM-5, Cray T3D • SMP (Symmetry MultiProcessors)对称多处理机SMP (Shared Memory MulptiProcessors)共享存储多处理机 • 如SGI Challenge，Sun SparcCenter 2000 • Cluster 机群系统（NOW或COM）

  24. NEC Earth Simulator 5104 processors, 40 TFlop/s peak, 10 TB memory. No.1 4 tennis courts, 3 floors

  25. 大规模并行处理机(SMP) • 虚拟共享存储器(Shared Virtual Memory)也称为共享分布存储器(Distributed Shared Memory)；物理上分布存储器，逻辑上共享存储器。 • 虚拟共享存储器的优点：编程容易, 系统结构灵活可扩充性好, 有较好的软件移植性 • 与消息传递方式相比，程序运行效率高，主要原因： • 数据块缓存在本地 (内存或Cache中), 可以多次使用 • 通信时间分散，提高了并行性 • 扩大存储空间，减少换页操作

  26. Intel Paragon

  27. Cray T3D

  28. 对称多处理机（SMP） • SMP称为共享存储多处理机 (Shared MemorymulptiProcessors),也称为对称多处理机(Symmetry MultiProcessors) • 有三种模型： • UMA多处理机均匀存储器存取模型 (Uniform Memory Access) • 存储器被所有处理机均匀共享 • 所有处理机对所有存储单元具有相同的存取时间 • 每台处理机有局部Cache • 外围设备可以共享

  29. 对称多处理机（续） • NUMA多处理机非均匀存储器存取 (Nonuniform Memory Access)模型存储器访问时间随存储单元的位置不同而变化。 • 共享存储器在物理上是分布在所有处理机中的本地存储器。所有局部存储器地址空间的集合就组成了全局地址空间。 • 处理机访问本地存储器比较快，访问属于另一台处理机的远程存储器则比较慢，因为通过互连网络会产生附加的时间延迟。

  30. 对称多处理机（续） • COMA多处理机 • 只有Cache的存储器结构 (Cache-Only Memory Architecture) 模型；COMA是一种只用Cache的多处理机系统 • 实际上，COMA模型是NUMA模型的一种特例，后者分布存储器换成了Cache • 在每个处理机结点上没有主存储器，全部Cache组成了全局虚拟地址空间 • 远程Cache访问通过分布Cache目录进行 • 共享存储系统拥有统一的寻址空间，程序员不必参与数据分配和传输。

  31. SGI Origin 3000

  32. 机群系统(Cluster) • 机群系统是利用高速网络将一组高性能工作站或高档PC机连接起来，在并行程序设计以及可视化人机交互集成开发环境支持下，统一调度，协调处理，实现高效并行处理的系统。 • Cluster、NOW、COW • 从结构和结点间的通信方式来看，属于分布存储系统。 • 机群系统中的主机和网络可以是同构的，也可以是异构的。

  33. 机群系统(Cluster)（续） • 微处理机技术、网络技术和并行编程环境的发展使得机群系统这一新的并行处理系统形式正成为当前研究的热点。 • 微处理器的性能不断提高。 • 网络技术的进步使得松散耦合系统的通信瓶颈逐步得到缓解。 • 并行编程环境的开发使得新编并行程序或改写串行程序更为容易。

  34. 机群系统(Cluster)（续） • 机群系统的特点 • 系统开发周期短 • 用户投资风险小 • 系统价格低 • 节约系统资源。 • UC Berkeley计算机系100多台工作站的使用情况调查表明，一般单机系统的使用率不到10%，而机群系统中的资源利用率可达到80%左右 • 系统扩展性好 • 用户编程方便。

  35. 1.2 Tflops (Theoretical limit). • Linpack : 355.5 GFLOPS

  36. No3: MCR Linux Cluster (7.6万亿次/秒)

  37. NO51: 中国联想（中国No.1）(1.027万亿次/秒)

  38. 集群计算条件成熟 • Very HP Microprocessors • workstation performance = yesterday supercomputers • High speed communication • Comm. between cluster nodes >= between processors in an SMP. • Tools for parallel/ distributed computing

  39. Benefits of Clustering • Easy to build • High Performance (HP) • High Availability (HA) • Scalability • Cheap

  40. Original Food Chain Picture

  41. 1980s Computer Food Chain Mainframe PC Workstation Mini Computer Vector Supercomputer

  42. 1990s Computer Food Chain (hitting wall soon) Mini Computer PC Workstation Mainframe (future is bleak) Vector Supercomputer MPP

  43. Computer Food Chain (Now and Future)

More Related