1 / 39

科学数据网格和虚拟天文台 —— 进展报告

科学数据网格和虚拟天文台 —— 进展报告. 中科院计算机网络信息中心 秦欣 2004 年 11 月. 提纲. 科学数据网格（ SDG ） 科学数据网格最新进展 虚拟天文台应用的最新进展. 科学数据网格的背景. 科学技术推动人类社会的发展 E － Science 使得全球性的、跨学科的、大规模科研合作，跨越时间、空间、物理障碍的资源共享与协同工作成为可能. 信息时代之网络. 四大文明之指南针. 工业革命的标志 —— 蒸气机. 科学数据资源的共享. 当前数据共享方式的不足（ ftp ， web ） 不方便（口令，得到的数据格式 /web ，异构性）

derick
Download Presentation

科学数据网格和虚拟天文台 —— 进展报告

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 科学数据网格和虚拟天文台——进展报告 中科院计算机网络信息中心 秦欣 2004年11月

  2. 提纲 • 科学数据网格（SDG） • 科学数据网格最新进展 • 虚拟天文台应用的最新进展

  3. 科学数据网格的背景 • 科学技术推动人类社会的发展 • E－Science使得全球性的、跨学科的、大规模科研合作，跨越时间、空间、物理障碍的资源共享与协同工作成为可能 信息时代之网络 四大文明之指南针 工业革命的标志——蒸气机

  4. 科学数据资源的共享 • 当前数据共享方式的不足（ftp，web） • 不方便（口令，得到的数据格式/web，异构性） • 不完整（缺乏如何使用数据的信息，关联信息，等等） • 不安全（不够安全，难于计费） • 效率低（不能按用户具体需求提供准确的数据） • 太原始（原始数据输出，没有增值服务） • 数据网格技术 • 统一访问接口 • 信息服务 • 安全体系 • 面向学科领域的增值功能（数据挖掘等）

  5. 科学数据网格（SDG） • 以中国科学院科学数据库为主要基础 • 科学数据库是从1983年开始建设的一个大型综合性数据库群，是目前国内信息量最大、学科专业最广、服务层次最高、综合性最强的科技信息服务系统。 • 通过网格计算的相关技术，特别是数据网格技术，促进大量分布式异构数据资源的共享 • 开发对科学研究有直接实用意义的应用系统

  6. 科学数据网格资源建设情况 • 数据中心 • 万亿次的计算能力 • 60TB存储容量 • 科学数据库 • 45个建库单位 • 388专业数据库 • 13TB数据总量

  7. 科学数据网格数据服务架构 Application Clients Grid Level Services Internet Information Service Internet …… Oracle mySQL Member Institutes Member Institutes DB2 SQLServer Foxpro FileSystem

  8. SDG系统平台软件组成结构图 应用服务与工具集 通用数据管理工具 数据量统计分析工具 科学数据库CA系统 网格门户 数据目录管理工具 通用元数据管理工具 访问控制工具包 存储共享工具 系统平台中间件 数据访问服务 信 息 服 务 存 储 服 务 安全体系

  9. 系统平台软件最新进展 网格信息服务系统1.0版 通用元数据管理工具2.0版及建库单位版 数据量统计工具1.1版 网站访问量统计分析工具 • 科学数据网格中间件 • 网格信息服务系统 • 科学数据网格统一访问接口 • 科学数据网格安全体系 • 存储服务 • 科学数据网格应用工具集

  10. 系统平台软件最新进展 • 科学数据网格中间件 • 网格信息服务系统 • 科学数据网格统一访问接口 • 科学数据网格安全体系 • 存储服务 • 科学数据网格应用工具集 数据访问服务1.0α版 通用数据访问工具2.1版

  11. 系统平台软件最新进展 • 科学数据网格中间件 • 网格信息服务系统 • 科学数据网格统一访问接口 • 科学数据网格安全体系 • 存储服务 • 科学数据网格应用工具集 CA管理系统1.0版 资源访问控制工具包1.1版

  12. 系统平台软件最新进展 • 科学数据网格中间件 • 网格信息服务系统 • 科学数据网格统一访问接口 • 科学数据网格安全体系 • 存储服务 • 科学数据网格应用工具集 存储服务1.0β版

  13. 系统平台软件最新进展 • 科学数据网格中间件 • 网格信息服务系统 • 科学数据网格统一访问接口 • 科学数据网格安全体系 • 存储服务 • 科学数据网格应用工具集 网格门户 ……

  14. 科学数据网格CA系统 • 实现证书颁发机构CA（可信第三方）的密钥分配、密钥管理和证书签发、撤销等功能。

  15. 科学数据网格CA系统 科学数据网格CA系统用户接口（PUB）部分 科学数据网格CA系统注册中心（RA）部分

  16. 关系数据库 用户 用户 用户 XML数据库 数据访问服务 文件系统 数据访问服务系统 • 数据访问服务的范围 • 基于内容的数据发现 • 查询和更新 • 元数据管理和变更 • 事务 • 分布式查询和更新 • 通知 接口透明性: 一个DAS支持多种数据库类型

  17. User Query Application Get Metadata Get Data Grid Service Interface Search Engine MappingBuilder Transforming Processor Global Schema Local Schema MySQL Oracle SQL Server 数据访问服务系统V1.0结构图

  18. 数据访问服务——MappingBuilder的用户界面

  19. 存储服务系统 • 前提——保证数据安全，数据完整，使用方便 • 目的——有效利用数据中心的海量存储资源 • 提供一套具有数据传输、存储管理以及配额分配功能的存储共享工具集 • 三大部分 • 文件存储服务 • 数据库服务 • 上网服务

  20. 用户 GSI 安全 框架 文件服务 数据库服务 上网服务 其它服务 操作系统（OS） 备份 存储系统（Storage System） 存储服务架构图

  21. 科学数据网格和虚拟天文台 • 科学数据网格的一个重要研究内容是开发示范应用系统——虚拟天文台，并提出一种科学研究领域的网格应用框架 。 • 虚拟天文台的建设将利用网格技术和科学数据网格中间件所提供的服务，实现国内天文数据的无缝透明融合，并与国际资源进行互联共享。

  22. ROSAT ~keV DSS Optical IRAS 25m 2MASS 2m GB 6cm WENSS 92cm NVSS 20cm IRAS 100m 科学数据网格和虚拟天文台 • 互联网是世界上最好的望远镜 • 天文数据为网格技术提供了很好的测试平台

  23. 传感器、数据源 可视化、 数据挖掘 高速网络 数据资源 SDSS (美国) LAMOST (中国) 计算资源 软件平台

  24. 虚拟天文台最新进展 • 整理接近200G的天文数据 • Hipparcos星表、Tycho2星表和2mass星表导入的数据库系统集成到科学数据网格； • GSC_1.2星表检索网格服务 • USNO_A2星表检索网格服务 • DSS图像检索网格服务

  25. 示例 • 银河系铁元素丰度梯度的统计分析 • GSC星表译码和查询功能的网格服务 • USNO-A2星表查询功能的网格服务

  26. 银河系铁元素丰度梯度的统计分析 • 铁元素丰度梯度统计分析是虚拟天文台应用系统中在大量数据资源的基础上开展深层次的分析和处理的一个示例。 • 完整的网格应用系统 • 注册服务 • 数据服务 • 恒星轨道计算服务 • 可视化服务

  27. 银河系铁元素丰度梯度的统计分析 • 数据服务 • 网格环境下银河系铁元素丰度梯度统计分析示例的数据源是两个异构的数据库，一个采用Postgres数据库管理系统，存储恒星的化学元素丰度信息，一个采用MySql数据库管理系统，存储恒星在银河系中初始的位置及运动速度。这两个数据库分布在两台计算机上。通过网格数据服务分别对这两个数据库进行封装。

  28. 银河系铁元素丰度梯度的统计分析 • 恒星轨道计算服务 • 利用银河系质量分布模型导出的银河系引力场函数拟合出恒星样本在银河系中的运行轨道，把计算得出的最大银心距（DGmax）、最大银盘径向距（Rmax）、最大银盘法向距（Zmax）作为恒星样本的动力学参数，有利于真实反映银河系演化的过程。

  29. 银河系铁元素丰度梯度的统计分析

  30. 银河系铁元素丰度梯度的统计分析 • 可视化服务 • 为了进行丰度梯度分析，对试验的样本进行线性拟合，采用Linear Regression算法拟合样本数据 银河系铁元素丰度梯度统计分析的可视化结果

  31. GSC星表译码和查询功能的网格服务 • GSC （Guide Star Catalog）导星目录为望远镜的观测提供引导星体的信息，也是其他星表的索引。 • 封装GSC星表译码和查询功能的网格服务，为其他的天文运用提供支持，也是虚拟天文台实现的基础

  32. GSC星表译码和查询功能的网格服务 • 提供DecodeService和GSCService服务接口 • 命令行 • Web方式 DecodeService DecodePortType DecodeServiceGridLocator DecodeServiceLocator DecodeServiceSoapBindingStub GSCService GSCPortType GSCServiceGridLocator GSCServiceLocator GSCServiceSoapBindingStub

  33. GSC星表译码和查询功能的网格服务 • 提供DecodeService和GSCService服务接口 • 命令行 • Web方式

  34. JNI 动态链接库 最终用户 WEB服务器 GT3服务器 GSC星表译码和查询功能的网格服务 • 提供DecodeService和GSCService服务接口 • 命令行 • Web方式 译码服务 查询服务 请求服务 请求服务

  35. GSC星表译码和查询功能的网格服务用户界面

  36. USNO-A2星表查询功能的网格服务 • USNO-A2星表是由位于美国海军天文台的一台名为PMM的观测设备采集的天文数据的一部分。 • 将这些数据资源以网格服务的使用方式提供给更多的人使用具有很重要的意义。

  37. USNO-A2星表检索网格服务的用户界面

  38. DEMO!

  39. 谢谢!

More Related