1 / 32

第五章 数据管理

第五章 数据管理. 龚 斌 山东大学计算机科学与技术学院 山东省高性能计算中心. 数据资源. 数据是网格中的一种重要资源 具有如下特性： 可复制 可移动 可压缩 可加密. European Data Grid. CERN, the European Organization for Nuclear Research. Challenge 1: Large, distributed community. “Offline” software effort: 1000 person-years per experiment. CMS. ATLAS.

asher-jacobson
Download Presentation

第五章 数据管理

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第五章 数据管理 龚 斌 山东大学计算机科学与技术学院 山东省高性能计算中心

  2. 数据资源 • 数据是网格中的一种重要资源 • 具有如下特性： • 可复制 • 可移动 • 可压缩 • 可加密

  3. European Data Grid CERN, the European Organization for Nuclear Research

  4. Challenge 1: Large, distributed community “Offline” software effort: 1000 person-yearsper experiment CMS ATLAS Software life span: 20 years ~ 5000 Physicistsaround the world- around the clock LHCb

  5. Balloon (30 Km) CD stack with 1 year LHC data! (~ 20 Km) Concorde (15 Km) 6 cm Mt. Blanc (4.8 Km) 50 CD-ROM = 35 GB Challenge 2: Data Volume Annual data storage: 12-14 PetaBytes/year

  6. All interactions 9 orders of magnitude! The HIGGS Rare phenomena - Huge backgroundComplex events Challenge 3: Find the Needle in a Haystack

  7. Therefore: Provide mountains of CPU CalibrationReconstructionSimulationAnalysis For LHC computing,some 100 Million SPECint2000 are needed! Produced by Inteltoday in ~6 hours 1 SPECint2000 = 0.1 SPECint95 = 1 CERN-unit = 4 MIPS - a 3 GHz Pentium 4 has ~ 1000 SPECint2000

  8. ~PBytes/sec ~100 MBytes/sec Offline Processor Farm ~20 TIPS There is a “bunch crossing” every 25 nsecs. There are 100 “triggers” per second Each triggered event is ~1 MByte in size ~100 MBytes/sec Online System Tier 0 CERN Computer Centre ~622 Mbits/sec or Air Freight (deprecated) Tier 1 FermiLab ~4 TIPS France Regional Centre Germany Regional Centre Italy Regional Centre ~622 Mbits/sec Tier 2 Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS Caltech ~1 TIPS Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS HPSS HPSS HPSS HPSS HPSS ~622 Mbits/sec Institute ~0.25TIPS Institute Institute Institute Physics data cache ~1 MBytes/sec 1 TIPS is approximately 25,000 SpecInt95 equivalents Physicists work on analysis “channels”. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Tier 4 Physicist workstations Data Grids for High Energy Physics

  9. 数据资源的特点 • 其他资源的用途由资源提供者或资源本身来决定，但数据资源在访问控制权限许可的情况下，其用途由数据请求者决定 • 数据可视化 • 数据加密 • 过滤、统计分析 • 具有无限复制的特点 • 可以创建副本 • 可以被缓存 • 一个数据集可以存放在不同地方，物理上分布，逻辑上整体

  10. 数据管理的功能 • 为网格用户提供透明地共享使用网格上存储资源和数据资源的手段 • 为用户提供透明地访问、存储、传输、管理数据的界面，使用户能够容易地实现网格中的数据共享

  11. 数据实例 • 网格上数据管理的基本单位 • 一个数据文件 • 一个数据文件的一部分 • 多个数据文件 • 多个数据文件的一部分 • 一个完整的数据库 • 多个数据库 • 多个数据库的一部分

  12. 数据传输 • 不同的应用需要不同质量的数据传输支持 • 并行传输 • 容错传输 • 第三方控制传输 • 分布传输 • 汇集传输

  13. 包1 包2 包3 源 目的 包4 包5 并行传输 • 建立多个数据连接，在不同的数据通道上传输文件的不同部分，把文件并行传输到目的地节点上。

  14. 包1 包1 包1 包1 包1 包2 包2 包2 包2 包2 包3 包3 包3 包3 包3 包4 包4 包4 包4 包4 包5 包5 包5 包5 包5 源 目的 容错传输 • 是在一对通信节点之间建立多条数据连接，同时传输数据，内容一样。 • 在网格环境下，通过预约机制建立冗余通路，提高健壮性。

  15. 数据 数据源 目的地 控制 控制者 第三方控制传输 • 在网格的任何位置，一个活动的实体都可以合法地驱动网格设施，把数据从除了活动实体所在的节点外的任何位置传输到另外一个位置上。 • 为网格应用带来方便，建立复杂的数据流程，实现复杂的数据驱动 • 创建新的安全机制，建立符合习惯的安全体系

  16. 分布传输 • 把一个完整的数据集中的不同部分分散传输到不同节点上。 • 数据块如何划分？ • 数据块的映射？

  17. 1 2 3 4 1 2 1 3 4 2 3 4 数据块的划分

  18. 1 数据1 2 数据源 数据2 3 数据3 分布传输

  19. 1 数据1 数据源 2 数据2 3 数据3 汇集传输 • 把分布在多个源节点上具有某种关系的多个数据子集传输到同一个位置上。

  20. 数据存储 • 是数据管理的重要方面 • 直接影响数据的访问 • 统一的数据视图，统一的访问接口 • 分为： • 分布存储 • 聚集存储 • 缓存存储

  21. 分布存储 • 分布存储的原因 • 单个个人或组织的存储容量有限 • 单个个人或组织的计算资源能力有限 • 接入带宽有限 • 把大的数据集分散存储在网格中不同资源的存储介质上

  22. 聚集存储 • 把文件大小小于一定规模的多个文件聚集成一个复合文件存储在网格存储空间—小文件的汇集存储 • 聚集存储与文件压缩的区别 • 聚集存储对用户是透明的

  23. 缓存存储 • 在系统控制下改善系统的性能 • 对用户完全透明 • 用户不能指定访问某个缓存的文件

  24. 副本管理 • 副本管理系统包括副本管理器、副本目录、副本选择器等 • 副本管理器：核心部件 • 副本目录：等级和查找副本的场所 • 副本选择器：负责从多个可用的副本中选择一个合适的副本

  25. 副本创建 • 目的：为分散在不同地方的用户提供保证质量的数据访问服务，避免因为网格中资源的负载不同给用户带来不同的服务质量 • 缓解由于数据总是从一个地方传输到各地的请求者那里而造成的通信资源阻塞

  26. 数据副本的属性 • 是否有副本、以此为基础创建了几个副本、副本的名称、各自的位置等，例如： <element name=“ReplicaProperties”> <element ref=“replicas” minOcuurs=“0” amxOccurs=“1”/> <element ref=“myParents” minOcuurs=“0” amxOccurs=“1” type=“string”/> <attribute name=“IsReplica” minOccurs=“1” type=“boolean”/> </element> <element name=“Replica”> <element ref=“name” minOcuurs=“1” amxOccurs=“1” type=“string”/> <element ref=“URL” minOcuurs=“1” amxOccurs=“1” type=“string”/> <attribute name=“ReplicaProperties” minOccurs=“0” maxOccurs=“1”/> </element>

  27. 源 数据 副本 数据 副本 数据 副本 数据 副本 数据 副本 数据 副本 数据 副本 数据 树形结构 • 从网格中的原始数据创建部分一级副本，然后根据一级副本在创建二级副本，以此类推 • 适合于在管理域内形成自己的副本管理策略，而不一定用全局策略

  28. 副本 数据 副本 数据 副本 数据 副本 数据 副本 数据 源 数据 副本 数据 副本 数据 副本 数据 星形结构 • 从网格中的原始数据创建所有的副本可以构成星形副本创建结构 • 副本的维护和创建需要全局策略 • 原始数据成为副本维护过程中的瓶颈 • 维护所有数据的一致性

  29. 副本一致性维护 • 由于同一个文件在网格上存在多个副本，在有效期内，如何保证各种访问的正确性-----数据一致性 • 保持一致性的方法 • 写回法：先写入副本，更新时再写入数据源 • 写直达法：写入副本，同时写入数据源

  30. 请求者 数据管理 数据 副本选择 副本目录 副本 副本选择 • 在多个相同副本中如何让选择一个合适的副本让用户使用，对用户透明。 • 考虑的因素 • 数据通路 • 访问负载 • 距离 • 费用

  31. 副本删除 • 防止把副本的连接关系割断，造成信息孤岛和资源浪费 • 星型结构中，修改属性 • 副本只是为了共享数据方便建立的一种机制，不需要时就要删除副本

  32. 数据移动 • 数据移动的需求 • 数据移动的选择 • 数据移动的负载 • 数据移动后属性的修改，包括URL等

More Related