gLite とその利用方法に関するご説明

1. gLiteとその利用方法に関するご説明 2006年11月1日 日本アイ・ビー・エム株式会社 日本アイ・ビー・エム・システムズ・エンジニアリング株式会社

2. 免責事項 　この資料に含まれる情報は可能な限り正確を期しておりますが、日本アイ・ビー・エム株式会社および日本アイ・ビー・エム　システムズ・エンジニアリング株式会社の正式なレビューを受けておらず、当資料に記載された内容に関して何ら保証するものではありません。 　従って、この情報の利用またはこれらの技法の実施はひとえに使用者の責任において為されるものであり、資料の内容によって受けたいかなる被害に関しても一切の保証をするものではありません。 　また、当資料に記載された製品名または会社名はそれぞれの各社の商標または登録商標です。 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

3. ご説明の流れ • gLiteと機構内のgLite環境について • gLite環境の利用方法について • 補足：gLite UIコンポーネントの導入方法 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

4. gLiteと機構内のgLite環境について

5. gLiteとは • EGEE（Enabling Grid for E-sciencE）が開発しているグリッドミドルウェア • 各国・地域ごとに整備が進んでいる研究コラボレーション基盤 • Europe : EGEE/gLite • USA : OSG/Grid 3 • Japan : NAREGI/Naregi Middleware ...etc. • 主な機能 • 以下の機能を、複数組織体にまたがって提供する • 電子証明書を利用したユーザ認証・管理機能 ..etc. • 計算ジョブの投入・削除などのジョブ制御機能 • 処理対象データの登録・複製・読出し・削除など管理・共有機能 • 利用可能なリソース情報を公開・共有する機能 グリッドの基本理念 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

6. gLiteのコンポーネント（1/3） • UI（User Interface） • エンドユーザが直接ログインして利用する • ジョブの投入やデータの操作、情報の取得などのコマンドを実行できる • WN（Worker Node） • 計算ジョブを実行する • CE（Compute Element） • 計算ジョブの実行を管理する gLiteは複数のコンポーネントが相互に連携しグリッド環境としての機能を提供します 1台のCEによって 複数のWNが制御される 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

7. gLiteのコンポーネント（2/3） • RB（Resource Broker） • 計算ジョブの受付窓口 • 計算ジョブの処理状況も監視する • SE（Storage Element） • 各種データファイルを保存・管理する • ストレージ資源への実アクセスを制御 • LFC（LCG File Catalog） • データの索引を管理する • 実データファイルへのマッピングやデータ複製を実施する 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

8. gLiteのコンポーネント（3/3） • BDII（Berkley Distributed Information Index） • グリッド環境の情報を収集・公開する • 主にコンポーネント間で相互状況を確認する際に使用する • MON（Monitoring） + Grid ICE • グリッド環境の詳細な稼動情報を収集・管理するコンポーネント • 主に管理者や利用者が使用する • 機構内の場合、以下のURLから情報を参照できる http://rls08.cc.kek.jp/gridice/host/host_summary.php?siteName=JP-KEK-CRC-02 • VOMS (VO Management Server) • グリッドを利用できるユーザの証明書情報を登録・管理する 他にもコンポーネントがありますが、本セッションでは割愛させていただきます 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

9. gLite以外の関連するコンポーネント • Grid CA • ユーザの電子証明書を発行する • サーバの電子証明書を発行する • UI, RB, CE, SE, LFC, VOMSなどが利用している 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

10. 機構内gLite環境 システム概要図 GRID RB LFC MON SE 海外研究所 CERN、DESY rls03 rls05 UI SE rls08 CE PX/BDII rls07 rls06 rac01 rls02 rls04 HPSS システム WN LCGファイルサーバ + DISK (AIX5L 5.3) LCG計算サーバ (CERN SL) rlc13～rlc36 • 今回ご購入いただきましたファイルサーバはrls07となります • UIノードであるrac01dt.cc.kek.jpをご利用いただけます • ただし、ILCグループで所有の既存ファイルサーバは直接マウントできません • 既存ファイルサーバ上のデータを利用するためには、後述の利用案を参照ください 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

11. システム情報（抜粋） • 計算ノード • 24ノードの計算ノード • 各ノードのスペック • CPU：AMD Opteron 2.6GHz • Memory：4GB • OS：Scientific Linux CERN 3.0.8（i386 – 32bit版） • ストレージ • 合計約2.5TBのストレージ領域が利用可能 • Gridシステム用ファイルサーバ 500GB • HPSS 1TB • ご購入いただいたファイルサーバ 1TB 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

12. ILCグループでのご利用形態案 ILCクラスタ この部分をご用意ください ILC用UI 機構内GW NFSマウント ILC既存ファイルサーバ GRID RB LFC MON SE 海外研究所 CERN、DESY rls03 rls05 UI SE rls08 CE PX/BDII rls07 rls06 rac01 rls02 rls04 HPSS システム WN LCG計算サーバ (CERN SL) rlc13～rlc36 LCGファイルサーバ + DISK (AIX5L 5.3) 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

13. gLite環境の利用方法について 本章では概要をご説明いたします。 詳細はgLiteマニュアル（参考資料【3】）をご参照ください。 また、本内容はICEPP坂本先生のサイト（参考資料【6】）を参考に作成しております

14. 前提条件 • 証明書の取得 • KEK CAの証明書取得方法は参考資料【5】を参照ください • 証明書の配置 • ${HOME}/.globusディレクトリを作成し、hostcert.pemとhostkey.pemファイルを配置 • hostkey.pemファイルはchmod 600としておくこと • VOへの登録 • ILCのVOへの登録方法例は次頁を参照 • ILCのVO管理者に対して事前に登録許可の交渉をされることをお勧めいたします 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

15. ILC VOへのユーザ登録方法（1/3） • ILC VOMSサイトへアクセス • https://grid-voms.desy.de:8443/voms/ilc/ ※ ブラウザに証明書が導入されている必要があります • 左側メニューにある「New User Registration」をクリック 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

16. ILC VOへのユーザ登録方法（2/3） • 赤字の項目に必要事項を記入し、「I have read and agree to VO’s Usage Rules」をクリック 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

17. ILC VOへのユーザ登録方法（3/3） • 登録の確認メールが届きますので、入力事項が正しいかを確認し、メール本文中のURLをクリックしてください • 登録リクエストがVO管理者に自動的に送信されます • VO管理者による登録作業完了後、通知メールが届けば登録完了です 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

18. gLite環境の主な利用内容 • 利用頻度の高い操作の利用方法をご説明いたします • グリッドシステム利用のための認証 • グリッドジョブ操作 • ジョブの投入や結果の取得方法など • データ操作 • データの取得やアップロードなど • グリッド情報取得 • グリッドシステム利用にあたり必要となる情報の取得方法 これらの操作はすべてUI上で行います 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

19. グリッドシステム利用のための認証（1/2） • 認証の方法（grid-proxy-init コマンド） • 認証コマンド実行後、通常は一定期間（通常24時間）経過すると認証が破棄されるため、再認証が必要となります • 認証の破棄（grid-proxy-destroy コマンド） • 認証を明示的に破棄する場合に使用 ジョブの投入やデータ操作の前に、グリッドシステムを利用するための認証作業が必要です $ grid-proxy-init Your identity:（ここにユーザの証明書情報（DN）が出力されます） Enter GRID pass phrase for this identity:（証明書取得時に登録したパスワードを入力） Creating proxy .................................................. Done Your proxy is valid until: Mon Oct 30 03:23:11 2006 $ grid-proxy-destroy 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

20. グリッドシステム利用のための認証（2/2） • 認証情報の参照方法（grid-proxy-info コマンド） • 認証の有効期限を調べるときなどに使用 $ grid-proxy-info subject : （ここにユーザの証明書情報（DN）＋αが出力されます） issuer : （ここにユーザの証明書情報（DN）が出力されます） identity : （ここにユーザの証明書情報（DN）が出力されます） type : full legacy globus proxy strength : 512 bits path : /tmp/x509up_u28522 timeleft : 11:58:46 認証が残りどのくらいの時間有効かを示します 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

21. グリッドジョブ操作（1/3） • JDLの例（hostname.jdl） • 文法の詳細については参考資料【6】などを参照ください JDL（Job Description Language）というジョブ記述言語を用いて処理内容を記述し、gLite環境へジョブを投入します コメントの例です // hostname.jdl Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err"; OutputSandbox = { "std.out","std.err" }; 実行するコマンド名を記述します 出力ファイル名です エラー出力ファイル名です 計算ノードから回収するファイルです 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

22. グリッドジョブ操作（2/3） • ジョブの投入（edg-job-submit コマンド） • ジョブを投入するとジョブIDファイルが生成されます • ジョブの状態を調べる（edg-job-status） • ジョブ投入後に生成されたジョブIDファイルを利用します • ジョブの状態の種類は参考資料【6】を参照ください $ edg-job-submit --vo VO名-o ジョブIDファイル名投入するJDLファイル名 例：$ edg-job-submit --vo ilc -o jobid hostname.jdl $ edg-job-status -i ジョブIDファイル名 例：$ edg-job-submit -i jobid 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

23. グリッドジョブ操作（3/3） • ジョブの結果を取り出す（edg-job-get-output） • ジョブ状態がDONE(SUCCESS)となると結果を取り出せます • 取り出した結果は、通常/tmp/jobOutputディレクトリの下に配置されます • コマンド実行後のメッセージに詳細な場所が出力されます • 投入したジョブをキャンセルする（edg-job-cancel） $ edg-job-get-output -i ジョブIDファイル名 例：$ edg-job-get-output -i jobid $ edg-job-cancel -i ジョブIDファイル名 例：$ edg-job-cancel -i jobid 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

24. データ操作（1/4） • 世界中のgLiteサイトからデータにアクセスできるように、「レプリカカタログ」にデータを登録します • 同じデータは複数のサイトに複製保持されることがあります • データの参照方法は論理ファイル名（LFN）と物理ファイル名（SURL）の2種類があります • LFN：論理的に同じ（複製元ファイルと複製先ファイル）ファイルは同じ論理ファイル名となります • 例：lfn:/grid/atlasj/user/data ※ 必ず/grid/VO名が先頭に必要です • SURL：どのSEのどの場所にファイルがあるか、つまり、ファイルの実態がどこにあるかを表します • 例：srm://rls06.cc.kek.jp/dpm/cc.kek.jp/home/atlasj/generated/2006-10-31/file5bf7927c-70d7-4839-b81e-933df333d3bd データの操作には、gLite環境へのデータのアップロードとダウンロード、ファイル情報の取得があります 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

25. データ操作（2/4） • 事前準備として2つの環境変数を設定します • 以下は、機構内環境を利用する場合の例です • カタログ情報の取得（lfc-ls コマンド） • UNIXのlsコマンドと同じような使い方となります $ export LCG_CATALOG_TYPE=lfc $ export LFC_HOST=rls05.cc.kek.jp $ lfc-ls /grid/belle ibm-mat kstrgamma watase 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

26. データ操作（3/4） • ディレクトリの作成（lfc-mkdir コマンド） • 作業用のディレクトリを作成できます • gLite上のホームディレクトリを設定できます • 環境変数LFC_HOMEを設定するとlfc-lsコマンドを引数なしで実行するとlfc-ls ${LFC_HOME}と同義となります $ lfc-mkdir ディレクトリ名 $ export LFC_HOME=ディレクトリ名 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

27. データ操作（4/4） • ファイルのアップロード（lcg-cr コマンド） • ファイルのダウンロード（lcg-cp コマンド） • カタログの削除（lcg-del コマンド） $ lcg-cr --vo VO名-d SEのFQDN -l lfn:論理名file:アップロードするファイルの絶対パス 例：$ lcg-cr --vo ilc -d rls06.cc.kek.jp -l lfn:/grid/ilc/user/hosts file:/etc/hosts $ lcg-cp --vo VO名lfn:論理名file:ダウンロードするファイルの絶対パス 例： $ lcg-cp --vo ilc lfn:/grid/ilc/user/hosts file:/home/user/hosts $ lcg-del --vo VO名-a lfn:論理名 例： $ lcg-del --vo ilc -a lfn:/grid/ilc/user/hosts 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

28. グリッド情報取得（1/2） • 情報の方法（lcg-infosites コマンド） • CEの情報を取得する場合 ジョブ投入やデータ操作コマンドへの引数として必要となる利用可能なCEやSEの情報を取得します 参照したいVO名を入力します（ex. ilc, atlas） $ lcg-infosites --vo ilc ce valor del bdii: rls04.cc.kek.jp:2170 #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 46 38 0 0 0 rls02.cc.kek.jp:2119/jobmanager-lcgpbs-ilc 1038 522 0 0 0 lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-S 1038 522 0 0 0 lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-ilcL CEのサーバ名/ジョブマネージャ名 現時点で利用できる各CE配下のCPU数 各CE配下のCPU数 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

29. グリッド情報取得（2/2） • 情報の方法（lcg-infosites コマンド）（続き） • SEの情報を取得する場合 参照したいVO名を入力します（ex. ilc, atlas） $ lcg-infosites --vo ilc se Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 1600000000 1140000000 n.a rls06.cc.kek.jp 102249365 2610283 n.a dcache.gridpp.rl.ac.uk SEのサーバ名 各SE配下の現時点で利用されているストレージ容量 各SE配下の現時点でデータを書き込めるストレージ容量 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

30. 補足：gLite UIコンポーネントの導入方法 ここでは概要をご説明いたします。詳細はgLiteインストールマニュアル（参考資料【4】）をご参照ください。

31. 導入の流れ • OSのインストール • Javaのインストール • 時刻の設定 • YAIMのインストール • コンフィグレーションファイルの配置 • gLiteコンポーネントのインストール • ホスト証明書の配置 • コンフィグレーションコマンドの実行 rootユーザにてすべての作業を実施ください 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

32. 導入方法詳細（1/3） • OSのインストール • Scientific Linuxのバージョン3をインストール • 導入するコンポーネントの選択はデフォルトで問題ありません • Javaのインストール • j2sdkのバージョン1.4.xをインストールしてください • 最新バージョンは以下のサイトからダウンロードできます • http://java.sun.com/j2se/1.4.2/download.html • 時刻の設定 • NTPの時刻同期を設定してください • 基準時刻をgLite用標準時刻であるUTCに設定します • 下記例のようにタイムゾーンの設定を無効化します # mv /etc/localtime /etc/localtime.orig 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

33. 導入方法詳細（2/3） • YAIMのインストール • 以下のサイトからYAIMの最新バージョンのパッケージをダウンロードし、インストールしてください http://grid-deployment.web.cern.ch/grid-deployment/gis/yaim/ ※ 2006/10/30時点での最新バージョンはglite-yaim-3.0.0-22.noarch.rpm • コンフィグレーションファイルの配置 • コンフィグレーションファイル（site-info.def）を配置します • どのディレクトリに配置しても問題ありません • 本説明では/opt/glite/yaim/etcディレクトリを作成し、そこに配置します • 後続の説明では、適宜ディレクトリ名を置換ください • site-info.defは後ほどメールでお送りいたします 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

34. 導入方法詳細（3/3） • gLiteコンポーネントのインストール • ホスト証明書の配置 • ホスト用の証明書を取得し、/etc/grid-security に配置します • KEK CAの証明書取得方法は参考資料【5】を参照ください • コンフィグレーションコマンドの実行 • 再起動後、grid-proxy-initコマンド等で稼動確認ください # /opt/glite/yaim/scripts/install_node /opt/glite/yaim/etc/site-info.def glte-UI （色々なコンポーネントがインストールされる様子が出力されます） （このコマンドの実行の完了までにはある程度の時間を要します） # /opt/glite/yaim/scripts/configure_node /opt/glite/yaim/etc/site-info.def glte-UI （コンポーネントのコンフィグレーション状況が出力されます） （このコマンドの実行の完了までにはある程度の時間を要します） 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料

35. 参考資料

36. 参考資料 【1】 EGEE gLite 3.0 公式サイト http://glite.web.cern.ch/glite/packages/R3.0/ 【2】 gLite 3.0 Documentation一覧サイト http://glite.web.cern.ch/glite/documentation/ 【3】 gLite 3.0 ユーザガイド https://edms.cern.ch/file/722398//gLite-3-UserGuide.pdf 【4】 gLite 3.0 インストールマニュアル http://grid-deployment.web.cern.ch/grid-deployment/documentation/LCG2-Manual-Install/ 【5】 KEK GRID CA https://gridca.kek.jp/ 【6】 ATLAS日本グループLCG勉強会資料 http://www.icepp.s.u-tokyo.ac.jp/~sakamoto/education/atlasj/lcg/ 高エネルギー加速器研究機構　ILCグループ様向け gLite説明会資料