1 / 19

JAXA での HPSS 導入

JAXA での HPSS 導入. 宇宙航空研究開発機構　研究開発本部 大川博文 0422-40-3308 ohkawa.hirofumi@jaxa.jp. JAXA での従来研究. 「遠隔研究開発環境実現のための 情報基盤技術の研究開発」 遠隔地からのリソース（ストレージ）の効率的利用 スパコンの巨大ストレージを遠隔地から利用する技術 SRFS on Ether ＝ネットワークファイルシステム技術の研究

trynt
Download Presentation

JAXA での HPSS 導入

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. JAXAでのHPSS導入 宇宙航空研究開発機構　研究開発本部 大川博文 0422-40-3308 ohkawa.hirofumi@jaxa.jp

  2. JAXAでの従来研究 「遠隔研究開発環境実現のための 情報基盤技術の研究開発」 遠隔地からのリソース（ストレージ）の効率的利用 • スパコンの巨大ストレージを遠隔地から利用する技術 SRFS on Ether＝ネットワークファイルシステム技術の研究 • スパコンの分散ノード間のインタフェイスしかもたなかったSRFSに、一般的なインタフェイスであるEther技術を追加することで、スパコン以外のプロジェクトの用途でのストレージ利用を可能とする。 （成果：風洞PIVデータ蓄積、インフラサーバ等のログのバックアップ） 2

  3. JSS稼動開始 ローカルシステム プロジェクト システム メインシステム ストレージシステム 1PB DISK 10PB TAPE 演算ノード 3008 node (12032 Core) 120 TFlops 94TB Mem 遠隔共有ファイル システム(3事業所) 3TB DISK 演算ノード 384 node (1536 Core) 15 TFlops 6TB Mem HSM 入出力ノード 3 node (384 Core) 3TB Mem HPSS 遠隔利用システム （3事業所） 3 node (96 Core) 0.7TB Mem SRFS SRFS SRFS 相互結合網 IB接続＋高機能SW 相互結合網 IB接続＋高機能SW SRFS SRFS on Ether SRFS フロントエンド 2 node (64 Core) 0.5TB Mem SRFS Aシステム 1 node (128 Core) 1TB Mem Vシステム 3 node (48 Core) 3TB Mem フロントエンド 1 node (80 Core) 0.3TB Mem 88TB DISK 遠隔共有ファイル システム 1TB DISK 70TB TAPE 設備連携システム Cluster HPSS SINET3 GEth SW 3

  4. JSSのストレージ • メインストレージシステムは1PB DISK / 70TB TAPE をHSMで階層的に構成 • 入出力ノードを介してSRFSでノード間接続（IB） • フロントエンドを介して、ユーザはアクセス（GbE） • 事業所をまたぐ分散ファイルシステムとして、HPSSも導入 • 調布に3TB、筑波、相模原、角田にそれぞれ1TBのディスク装置、調布に70TBのテープ装置 • 各事業所はSINET3を経由してVPN接続

  5. HPSSの利用構成 一般的なHPSSの利用形態 高速なHDDと、低速なTapeを階層的に利用 高速性と大容量を低コストで同時に実現 Disk Mover Tape Mover マイグレーション／パージ ステージング

  6. JAXAのHPSSの構成 JSSでのHPSSの物理構成 演算ノード ストレージシステム 相互結合網 DDR InfiniBand 1PB 10PB JSSnet　（Gigabit Ether、VPN） Disk Mover Disk Mover Disk Mover Disk Mover 相模原 1TB 筑波 1TB 角田 1TB 調布 3TB Tape Mover 調布 70TB HPSSの利用構成は自由に設定できる 6

  7. 利用構成の例 例１ 例２ Disk Mover Disk Mover Tape Mover Tape Mover 調布 調布 調布 調布 調布 例３ 例４ Disk Mover Disk Mover Disk Mover Disk Mover 調布 筑波 Tape Mover 調布 筑波 調布 7

  8. Class of Service(COS) • COS （Class of Service ） • HPSS上のすべてのファイルはCOSという属性を持つ。 • COSはStorage Class (SC)による階層化構造を持つ。 • 各SCは物理的なテープやディスクに関連付けられる。 • ファイル作成時にCOSを明示的に選択することが可能。デフォルト設定も可能。(pftp, hsi使用時) • 作成後にhsiを使用してCOSを変更することが可能。 • COS, SCの属性は運用ポリシーに従って管理者が作成。一般ユーザーが作成・変更することはできない。 8

  9. COSの設定例(1) • 例１：通常のCOS • COS: COS#1 • 階層１： Storage Class: SC#1-1 ##ディスク領域 • 階層２： Storage Class: SC#1-2 ##テープ領域 • COS#1は2階層の構造を持ち、最上位の階層はSC#1-1、2番目の階層はSC#1-2として定義。 • HPSS にCOS属性がCOS#1であるファイルを作成すると、最初にデータはSC#1-1と関連付けられたディスク領域におかれる。 • SC#1-1に作成されたデータは、一定時間アクセスされないなど一定の条件をみたすと、下位の階層にあるSC#1-2のテープ領域にコピーされる。 • SC#1-2にデータがコピーされた後、さらに一定の条件が満たされると階層SC#1-1にあるデータは消去される。 • HPSSからデータを読み出す際、SC#1-1にデータがまだ存在していれば、そこからデータが読みだされる。最上位の階層にデータがすでに存在しない場合、デフォルトでは、データは下位の階層から一度最上位の階層へ自動的にコピーされ、その後に読み出される。 9

  10. COSの運用例(1) 1. HPSS にデータを書き込み User • COS#1でのデータの流れ 3. HPSS からデータを読み込み Client Machine pftp, hsi or VFS 3 Network 1 HPSS Core Server (AIX machine) HPSS Mover (LINUX machine) 2. HPSSが自動でディスクからテープへ データをコピー(Migration) コピー後一定の条件をみたすとSC#1-1上の データは消去される(Purge) 2 3’ SC#1-1 SC#1-2 3’. 読み出し時に最上位階層にデータがなければ HPSSが自動でデータを最上位階層へコピー(Staging)

  11. COSの設定例(2) • 例2：COSの設定によるサイト間のデータ移動 • COS#2 2階層 • 階層１： SC#2-1 DISK領域 (Site Aのディスク上に定義) • 階層２： SC#2-2 DISK領域 (Site Bのディスク上に定義) • このCOSでは読み出し時にStageを実施しない設定とする。 • ユーザーがHPSS にCOS#2属性のファイルを作成すると、データは最初にSC#2-1と関連付けられたディスク領域におかれる。 • SC#2-1のディスク領域に作成されたデータは、一定時間アクセスされないなど一定の条件をみたすと、下位の階層にあるSC#2-2のディスク領域へHPSSによりコピーされる。 • SC#2-2にデータがコピーされた後、さらに一定の条件が満たされると階層SC#2-1にあるデータは消去される。 • HPSSからデータを読み出す際、最上位の階層SC#2-1にデータがまだ存在していればそこからデータが読みだされるが(3’)、SC#2-1にデータがすでに存在しない場合はSC#2-2から直接データが読み出される(3)。 11

  12. COSの運用例(2) • COS#２でのデータの流れ 3. HPSS からデータを読み込み User User • HPSS にデータを書き込み Client Machine pftp, hsi or VFS Client Machine pftp, hsi or VFS Network 3’ 1 3 HPSS Core Server (AIX machine) HPSS Mover (LINUX machine) HPSS Mover (LINUX machine) 2 Site B Site A SC#2-1 SC#2-2 2. HPSSが自動でSC#-3-1からSC#-3-2へデータをコピー(Migration) 　コピー後一定の条件をみたすとSC#3-1上のデータは消去(Purge)

  13. 成果の活用先（構想） コンテンツ種別データ源 数値シミュレーション結果 試験データ テレメトリデータ ミッションデータ 文書データ 画像データ 動画データ プロジェクト別データ源 スパコン（JSS） 風洞（PIV） 宇宙科学系衛星(あかり、す ざく、はるか、あすか、etc.) かぐや 飛行実験 技術試験系衛星 ロケット 当初ターゲット 当初ターゲット（打診済み） 13

  14. データセンター構想

  15. 考慮する要素 通信遅延の問題 インターネット HPSSインタフェイスの選択 アクセス速度の違い Disk Mover Disk Mover 調布 3TB 筑波 1TB Tape Mover ファイルサイズ ストレージ容量 調布 70TB データ発生源と利用先 通信量、通信頻度、通信パターン 15

  16. 実施内容 • 各拠点のクライアントと各ストレージ間の単独通信性能の測定、評価 • モデルのデータ利用形態の分析 • HPSSの利用構成の決定（パラメータ設定） • 結果の評価 2.～4.をいくつかのモデルで実施 • データ利用形態の分析手法の確立 • 利用構成のパラメータ決定の定式化 16

  17. HPSSのインターフェース

  18. まとめ • JAXAの新スパコンシステムJSSで導入予定の分散ファイルシステム、HPSSをご紹介 • HPSSはCOSの設定によって、様々な利用形態をとることが可能 • JAXAのプロジェクトで扱うデータに対して、利用効率の高い分散ファイル環境を提供したい 遠隔共有データ技術の研究

More Related