1 / 21

GRASS 文件预留系统

GRASS 文件预留系统. 黄秋兰 / 高能所计算中心 2010-08-17. 主要内容. 项目背景及意义 系统设计与实现 系统的关键技术 总结与展望. 项目背景. GRASS （ Grid-enabled Advanced Storage System ）是异构介质的分级存储系统 GRASS 文件预留系统的处理对象是 GRASS 中的海量数据 GRASS 文件预留系统是 BES 数据管理系统的有机组成部分. 解决的问题. 存在问题 GRASS 的迁移策略：存储池水位和迁移时间间隔（ 系统级的因素 ） 没有全面考虑 用户的使用模式与需求 采取的措施

asher
Download Presentation

GRASS 文件预留系统

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. GRASS文件预留系统 黄秋兰/高能所计算中心 2010-08-17

  2. 主要内容 • 项目背景及意义 • 系统设计与实现 • 系统的关键技术 • 总结与展望

  3. 项目背景 • GRASS（Grid-enabled Advanced Storage System）是异构介质的分级存储系统 • GRASS文件预留系统的处理对象是GRASS中的海量数据 • GRASS文件预留系统是BES数据管理系统的有机组成部分

  4. 解决的问题 • 存在问题 • GRASS的迁移策略：存储池水位和迁移时间间隔（系统级的因素） • 没有全面考虑用户的使用模式与需求 • 采取的措施 • 基于用户级的数据迁移，生成用户指定的文件预留列表 ，根据预留列表将用户预留的文件保存在磁盘上 • 避免用户频繁访问的数据迁移到磁带库，从而提高数据访问速度

  5. 系统总体设计 • 为高能所计算中心的GRASS系统提供服务，改进GRASS系统的数据迁移功能，实现面向用户的数据迁移，从而提高用户访问数据的速度。

  6. GRASS文件预留系统----C/S形式 • 使用形式： reserve 命令参数 [--dataset] 文件名/数据集名 • 命令参数： • -q 查询预留信息 • -c 修改预留天数 • -r 预留文件 • -d 删除预留文件 注：支持正则表达式 File1*,file2?,…,file[x-y] (其中*、？、[x-y]位置任意)

  7. GRASS文件预留系统----B/S形式 系统的WEB形式主要基于Structs+Hibernate+Mysql框架开发

  8. 子模块设计

  9. 功能实现----用户登录界面

  10. 功能实现----主页显示 显示当前的登录用户

  11. 功能实现----GRASS系统的目录信息

  12. search your data Select a destination site Reservation Cancel Reservation Submit Transfer Request Submit Del data Replica Browse dataset hierarchy 功能实现----GRASS数据操作

  13. 功能实现----预留信息修改 • 用户可以对选定的预留信息进行修改，默认的预留天数为30

  14. 功能实现----预留信息浏览

  15. 关键技术----AFS用户登录 • 采用AFS账号登录认证,实现与整个集群环境的有机整合 • 无需对用户管理，节省资源 • 后台实现调用AFS用户认证的klog命令获取tokens

  16. 关键技术----Ajax技术的使用 未使用Ajax和使用Ajax的WEB比较

  17. 关键技术----Ajax技术的使用 • GRASS目录树的实现 采用AJAX技术动态构造目录树，服务器无需一次将海量数据装载到WEB浏览器，这大大缩短服务器的响应时间。 • 预留所有对象按钮的实现 在用户发出请求时，后台才处理nsls –l filepath命令，获取filepath下的所有文件，无需每次装载页面时处理，大大缩短WEB页面与服务器的交互时间

  18. 关键技术----GRASS文件分页显示 • 自定义的分页 • 提出的原因：当目录下文件数目太多时，nsls、nslisttape等命令反应太慢 • 解决的方法：重新编写GRASS文件显示命令，每次只返回一个页面的记录数 ，无需将所有记录数返回给WEB前端，解决文件数目太多（成千上万个）显示慢的问题。 • 使用方法：myls –s startN –e endN(仅返回endN-startN+1条记录)

  19. 性能上已基本满足应用需求 利用Mercury LoadRunner 8.1测试软件进行测试 模拟不同的用户量进行并发测试：10，50，100，500，800等 测试结果显示，目前系统在400到500个用户并发访问下是稳定的 测试环境已部署 http://cdev01.ihep.ac.cn:8080/FileReserve/main.jsp 运行结果

  20. 小结 • 本系统旨在解决GRASS分级存储系统的迁移策略存在的问题，实现面向用户的数据迁移，提高用户访问数据的速度。主要实现的功能有： • 实现命令行和图形界面两种用户接口 • 实现WEB界面上的动态目录树构造，便于浏览GRASS系统的海量数据 • 重写GRASS数据显示命令，从而解决文件数目多，服务器反应慢的问题 • 实现基于文件、数据集以及磁带的预订 • 实现预留信息的浏览、修改、删除、批量预留、批量修改及批量删除功能 • 实现AFS、GRASS及LUSTRE的有机结合 • 具有良好的通用性和扩展性，是较好的海量数据管理软件的辅助工具。 • 本系统正在申请软件著作权。

  21. 谢谢大家！

More Related