1 / 9

JLDG (A04)

JLDG (A04). JLDG: 計算素粒子物理(格子QCD)の為の データグリッド  Japan Lattice Data Grid. JLDG 開発の動機と経緯 JLDG システムとその利用 データグリッドの将来. 筑波大学計算科学研究センター   吉江友照 ワークショップ 「計算科学による素粒子・原子核・宇宙の融合」 2008 年 12 月 1 日. JLDG 開発の動機と経緯. 計算素粒子物理のデータとその共有 基礎データ:QCD配位 (QCD configuration) 生成に膨大な計算機資源を必要とする

davis
Download Presentation

JLDG (A04)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. JLDG(A04) JLDG: 計算素粒子物理(格子QCD)の為の データグリッド Japan Lattice Data Grid JLDG 開発の動機と経緯 JLDG システムとその利用 データグリッドの将来 筑波大学計算科学研究センター   吉江友照 ワークショップ 「計算科学による素粒子・原子核・宇宙の融合」 2008年12月1日

  2. JLDG開発の動機と経緯 • 計算素粒子物理のデータとその共有 • 基礎データ:QCD配位 (QCD configuration) • 生成に膨大な計算機資源を必要とする • 生成されたデータは貴重:QCD配位を用いて素粒子の色々な性質を研究できる(データの解析) • 複数の研究機関に所属する複数の研究者の共同研究 • 複数の研究機関のスーパーコンピュータを活用して基礎データを生成、基礎データを共有し共同で解析 • データのネットワーク上での共有からデータグリッドへ • 計算素粒子物理のデータグリッド • 複数機関のスパコンを駆使して行う共同研究を支援 • 国内の研究グループ内でのデータ共有 • Japan Lattice Data Grid (JLDG) • 格子QCDコミュニティ全体の研究促進 • 世界規模での配位データ共有 • International Lattice Data Grid (ILDG) • 2007年完成・運用開始

  3. JLDG 以前のデータ共有 • hepnet-J/sc 2002 (NII SINET GbE 専用線採用)~ • 目的:広域分散型ファイルシステム • バックボーン: Super SINET VPN (KEK, 筑波, 京都, 大阪, 広島 金沢) • 戦略:管理体制の異なる機関でセキュリティを維持しつつデータを共有:各拠点のスパコンに接続したファイルサーバ間で、管理者権限でファイルをミラー • 有効に機能 (CP-PACS/JLQCD, KEK大型シミュレーション) CP-PACS SR8000 CCP @Tsukuba CRC @ KEK File Server File Server Hepnet-J/sc YITP @Kyoto File Server File Server RCNP @Osaka SX-5 SX-5

  4. 問題の顕在化 • データの所在の管理コストが増大 • ひとまとまりのデータが複数のディスクに分散してしまう • ユーザーは、データの所在・ミラー先を覚えきれない • ユーザー・グループの概念がない • 複数の研究グループのサポートに難 • 必要な機能 • スペースの制限がない(後で追加可能な)フラットなデータ共有システム • 組織をまたがるユーザー管理 • JLDG の開発 • システム設計・設置:筑波大計算機工学者+日立製作所 • NII CSI 予算 • 2005/11 開始、2007/03 完成、2008/05 実運用開始

  5. JLDGシステムとその利用状況 • Grid-FTPクライアントに • ログインし、自サイト • サーバに接続 6TB 6TB • グリッドのどこからでも • ファイルを転送 • ユーザーはファイルの • 所在を知る必要なし Gfarm server Gfarm server • Gfarm(AIST, Tsukuba): global file system(fault tolerant, replica) • VOMS (EDG): virtual organization management • Naregi-CA : user certification • Globus Toolkit (ANL) : GSI- GridFTP • uberftp (NCSA): interactive GridFTP client http://www.jldg.org/ SINET VPN ・・・・ Tsukuba KEK ・・・・ metadata server VOMS server LAN gftp client super computer file server NFS mount Internet

  6. 筑波大学・   計算科学研究センター 宇川彰、佐藤三久、 建部修見、石井理修、 吉江友照 • KEK・ 計算科学センター    松古栄夫 • 京都大学 基礎物理学研究所    大野木哲也 • 大阪大学・ 核物理研究センター    外川浩章 • 広島大学・ 理学部・物理学科    石川健一 • 金沢大学・ 自然科学研究科    出渕卓 接続機関・コアメンバ ディスク容量 35TB + 100TB(hepnet-J/sc)

  7. JLDG と ILDG • 5つの地域グリッドを束ねた Grid of Grids • JLDG は、日本地域グリッド (筑波大計算科学研究センターにて接続) http://www.lqcd.org/ildg

  8. JLDG の利用 • データのグループ内での共有 • 可能であるが、まだ運用していない (ユーザー毎のファイルアクセス権設定機能が未完であるため) • 2008年度中に開始したい • データの一般公開 • CP-PACS, CP-PACS/JLQCD Nf=2, Nf=2+1 QCD 配位   42セット、29Kファイル、7.5TB x 2 • データへのアクセス JLDG 内からは uberftp ILDG 外からは ildg-get (gsiftp) 又は http • ユーザー数 (Lattice QCD Archive 含む) JLDG 内 14, ILDG経由 93, http 経由 189

  9. データグリッドの将来 • データグリッド • 現在、JLDG は主に、データを計算素粒子物理研究者一般に公開するために使われている。近い将来、JLDG を日常の研究のインフラとして利用したい。 • ファイルシステム • 現在、JLDG はスパコンから直接アクセス(読み書き)できない。技術的に問題があるわけではなく、セキュリティポリシーの問題。将来これを解決して、スパコンから事実上無限のディスクスペースをあたかもローカルなファイルシステムであるかの様なパーフォーマンスで使えるシステムに発展させたい。 • 他分野での活用 • JLDGシステムは格子QCDデータに特化したシステムではない。ニーズがあればどの分野でも似たシステムを構築できる。

More Related