320 likes | 653 Views
科学数据网格与 China-VO. 中科院计算机网络信息中心 许海燕 xhy@cnic.ac.cn. 提纲. China-VO 网格 China-VO 与网格的结合 —— 科学数据网格( SDG ) IT 专业人员与学科领域专家的合作. China-VO. 天文数据的特点 China-VO 的主要任务 China-VO 的关键技术问题. 天文数据的特点. 海量 开放 分布 在线 异构. China-VO 的主要任务. 天文数据融合 天文数据交互 多波段数据处理 VO-enabled LAMOST.
E N D
科学数据网格与China-VO 中科院计算机网络信息中心 许海燕 xhy@cnic.ac.cn
提纲 • China-VO • 网格 • China-VO与网格的结合 —— 科学数据网格(SDG) • IT专业人员与学科领域专家的合作
China-VO • 天文数据的特点 • China-VO的主要任务 • China-VO的关键技术问题
天文数据的特点 • 海量 • 开放 • 分布 • 在线 • 异构
China-VO的主要任务 • 天文数据融合 • 天文数据交互 • 多波段数据处理 • VO-enabled LAMOST
China-VO的关键技术问题 -硬件 • 海量数据的存储和处理 -存储资源:大型天文数据库 -计算资源:超级计算机 -网络资源:高速网络
China-VO的关键技术问题 -软件 • 海量数据的存储与处理 -元数据标准 -资源的注册与发现 -统一访问
网格的优势 • 能实现数据资源、计算资源、存储资源等各种资源的全面共享
相关学科领域 • 天文 • 气候 • 高能物理 • 生物 • 医学
VO与网格的关系 • VO是网格技术最好的实验床 • 网格是VO的最佳技术支柱 —— 两者相辅相成
China-VO与网格的结合—— SDG • SDG概述 • SDG资源/系统平台 • SDG系统平台软件 • 进展情况
SDG概述(1) -目标 • 以科学数据库(SDB)数据资源为基础 • 联接中科院40多个研究所 • 实现分布式异构数据资源的有效共享 • 开发对科学研究有直接实用意义的应用系统
SDG概述(2) -主要研究内容 • SDG基础设施 • SDG系统平台软件 • SDG的示范应用系统-VO • 科学研究领域的网格应用框架
SDG概述(3)-体系结构 应用系统 Application MDS GAPI 面向应用系统的统一编程接口 多个数据资源的协同访问 DRB 单个数据资源的统一访问接口 UAI GSI 本地的数据管理系统,包括各种关系型数据库、文件系统等异构系统 Local DBMS 数据库
SDG资源/系统平台(1) • 科学 数据资源 -科学数据库(SDB) • 网格应用支撑环境 -一个数据中心结点、三个数据分中 心结点、若干数据应用结点
SDG资源(2) -科学数据库(SDB) • 分布式 • 分布在全国的40多个建库单位 • 异构 • 不同时期采用不同技术建设的300多个专业子库 • 大规模 • 10TB
SDG资源(3) -网格应用支撑环境 一个数据中心结点、三个数据分中心结点、若干数据应用结点 • 数据资源: 10TB以上的科学数据 • 存储资源: 15TB以上的网络存储能力 • 计算资源: 1千亿/100亿(数据中心/数据分中心)次以上的计算能力
SDG系统平台软件 • 系统平台中间件/SDG中间件 • 系统平台工具集 • 网格门户
元数据 标准 SDG系统平台软件结构图 应用服务与工具集 通用数据管理工具 证书管理 工具 数据量统计分析工具 其他 数据目录管理工具 访问控制工具包 通用元数据管理工具 系统平台中间件 数据访问子系统 信 息 服 务 子 系 统 安全体系
SDG中间件 • 信息服务子系统 • 数据访问子系统 • 安全体系
SDG系统平台工具集 • 通用元数据管理工具 • 数据量统计服务 • 通用数据管理工具 • 数据目录管理工具 • 证书管理系统 • 访问控制工具包 • 图像数据处理工具/服务 • 存储资源共享服务
进展情况 • SDG Testbed / Access Grid • SDG系统平台软件 -中间件 -工具集 • 通用元数据管理工具2.0版 • 数据量统计服务1.0版 • 访问控制工具包1.0版 • 证书管理系统1.0版 • 图像数据处理服务与工具1.0版 • VO
IT 合作 -天文 天文学家与IT专业人员的协作
合作 -其它学科 China-VO的许多技术难题同样也出现在高能物理、医学、生物学和地球科学等学科领域。这些难题的解决迫切需要IT专业人员的参与。与此同时,网格的发展与各学科领域专家的支持也是密切相关的。