基幹ネットワークシステムグループ 報告

1. 2004年10月12日 第２回J-PARCでの情報システム研究会 基幹ネットワークシステムグループ報告 苅田

2. 基幹ネットワークシステムグループ（敬称略、順不同）基幹ネットワークシステムグループ（敬称略、順不同） • 原研 • 山田* • 松田 宇野   草野 青柳 久野 大谷 • 矢城 中村 • KEK • 苅田*湯浅 鈴木 広瀬 川端 真鍋 大友 村上 中村 橋本 西口 * : リーダー

3. ・KEK及び原研のLANとは独立のネットワーク ・KEK及び原研のLANとはFWを介して接続 ・インターネットとはFWを介して独立に接続 ・KEK及び原研への通信はそれぞれのセキュリティポリシーを遵守 ・外部からの通信はJ-PARC独自のセキュリティポリシーを遵守 インターネット 原研のLAN KEKのLAN FW 原研のポリシー KEKのポリシー J-PARCのポリシー FW FW J-PARCのポリシー J-PARCのポリシー J-PARCのLAN J-PARC情報検討ワーキンググループ 第2回　J-PARCでの情報システム研究会 J-PARC LANの全体像

4. ・ネットワークトポロジーはセンタースイッチを中心としたスター型・ネットワークトポロジーはセンタースイッチを中心としたスター型 ・各実験施設にエッジスイッチを設け、基幹部と責任分界 リニアック棟 インターネット、KEK、原研 核変換実験施設 50Gev電源棟 センタースイッチ （中央制御棟または情報交流棟） ν施設　 3Gevシンクロトロン棟 ・・・ MLF棟　 3NBT制御棟 L3BT棟 ・・・ J-PARC情報検討ワーキンググループ 第2回　J-PARCでの情報システム研究会 ・エッジスイッチは情報検討WGで整備 ・建屋間のファイバ、建屋内のケーブル等は建屋建設側で整備 ・情報基盤（DNS、Email、WEB等）は情報検討WGで整備 J-PARC LANの全体像

5. J-PARC基幹ネットワーク（J-PARC LAN) の略語が JLAN • 2002年4月9日付計算機ネットワークワーキンググループ提案「大強度陽子加速器計画に関連したKEKと原研東海のネットワークについて」をベース • お金の無い中でやりくりして2002年10月に暫定的に運用開始 • 2004年10月現在、センタースイッチを情報交流棟に置き、ヘンデル棟、リニアック棟等J-PARC関連建家の10箇所にエッジスイッチ • 制御系および放射線安全管理設備系ネットワークとは独立 • 2006年度予算に整備費を要求　2006年度の本格整備に向けて設計中 • 現在のJLANを発展

6. 目次 • J-PARC基幹ネットワーク＝JLAN • 各建家での一般LAN整備に関する基本仕様 • 需要調査と結果 • 調査結果を踏まえての今後の（ハード）整備計画 • JLAN（＝基幹ネット）でのIP • 各端末のVLANへの接続 • VLAN選択機構 • VLAN選択機構の開発スケジュール • JLANのつくばサイト • まとめ

7. ２．各建家での一般LAN整備に関する基本仕様と２．各建家での一般LAN整備に関する基本仕様と その考え方について 　　　何故そうするのか 　　　基本仕様に従わない場合どういう不利点があるか 　　等についても触れたい

8. J-PARC建家における一般LAN整備に関する基本仕様J-PARC建家における一般LAN整備に関する基本仕様 J-PARC建家の一般LAN整備に関しては、建設担当部と以下の要件を満たすよう調整し進めることが必要である。また、この基本仕様の要件に関しては、建家の建設工事に含めることが重要である。なお、本仕様の要件に則って整備することが困難な場合には、J-PARC基幹ネットワーク設計グループと協議すること。 １）　情報機器等の設置に関する要件 • J-PARC一般LAN用機器及び後述するパッチパネルをキーロック付き１９インチラックに収容したものをJ-PARC一般LANハブユニット（以下、ハブユニットと略称）と呼ぶ。各建家では、必要に応じた数のハブユニットを整備すること。ただし、ハブユニットのうち、エッジスイッチはJ-PARC情報検討WGが用意する。 • ハブユニットの設置場所については、ネットワークケーブルの線長制限があるので注意すること。 • ハブユニットの設置にあたっては、保守用スペースを確保すること。 • ハブユニット専用のブレーカー（１００Ｖ２０Ａアース付)を同室内の近場に確保すること。 • ハブユニットの設置環境は、粉塵、温度、湿度等通常の居室と同程度であること。 • ハブユニットは、騒音が発生することもあるので居室に設置するのは避けることが望ましい。

9. ２）　ケーブル敷設に関する要件 • 新規建家建設においては、各ハブユニットのパッチパネルから中央制御棟の一般LAN用パッチパネルまで光ケーブル（シングルモード、SC端子）を敷設すること。なお、既に建設中の建家については、別途協議する。 • 同一の建家内であっても全てのハブユニットを直接センタースイッチから光ケーブルをスター状に接続すること（原則として孫引きは禁止）。なお、光ケーブルの芯数は冗長性を確保するために４芯（２対）を原則とする。 • １つのハブユニットでエッジスイッチが複数台になる場合は、それぞれを並行にセンタースイッチに接続できるような芯数を用意すること。但し、通信トラフィックの観点からスタック構成が効率的な場合においては、この限りではない。 • ハブユニット内にパッチパネルを設置し、そこから建家内の必要箇所までネットワークケーブルを敷設すること。 • 建家内のネットワークケーブルについてはＵＴＰケーブル（エンハンスト・カテゴリー5以上）とし、端末側は情報コンセントとすることを原則とする。 • 必要に応じて、建家内のネットワークケーブルの一部を光ファイバとしてもよい。この場合、端末側は光情報コンセントあるいは光端子盤で終端すること。なお、光ファイバのコネクタ形状は、SC型とする。 • 端末は、直接情報コンセントに接続することを原則とする。 以上。

10. 光パッチパネル (スプライスパネル) 一般LAN標準構成と整備区分 中央制御棟 施設Ａ ハブユニット 光ケーブル 光パッチパネル （スプライスパネル） センタースイッチ エッジスイッチ モジュラーコンセント パッチパネル （＊センタースイッチの設置場所については検討中） 情報コンセント 光ケーブル UTPケーブル 情報交流棟 光パッチパネル ハブユニット 情報コンセント UTPケーブル 基幹施設建設部門 ハブユニット 情報コンセント UTPケーブル 施設建家建設グループ 情報検討WG

11. 冗長化構成 センタースイッチ エッジースイッチ 100BaseTX・10BaseT 48口 1０Gｂｐｓ 1Gｂｐｓ／芯 エッジスイッチの仕様 センタースイッチの仕様 ・アップリンクとして1Gbpsを２本 ・端末接続用に100BaseTX 　（10BaseTとしても動く）を48口 ・GbEで全てのエッジスイッチを収 　容できるものを冗長構成のため 　に2台 ・センタースイッチ2台の間は、 10GbpsEで接続

12. 2） ケーブル敷設に関する要件 • 新規建家建設においては、各ハブユニットのパッチパネルから中央制御棟の一般LAN用パッチパネルまで光ケーブル（シングルモード、SC端子）を敷設すること。なお、既に建設中の建家については、別途協議する。 • 同一の建家内であっても全てのハブユニットを直接センタースイッチから光ケーブルをスター状に接続すること（原則として孫引きは禁止）。なお、光ケーブルの芯数は冗長性を確保するために４芯（２対）を原則とする。 • １つのハブユニットでエッジスイッチが複数台になる場合は、それぞれを並行にセンタースイッチに接続できるような芯数を用意すること。但し、通信トラフィックの観点からスタック構成が効率的な場合においては、この限りではない。 • ハブユニット内にパッチパネルを設置し、そこから建家内の必要箇所までネットワークケーブルを敷設すること。 • 建家内のネットワークケーブルについてはＵＴＰケーブル（エンハンスト・カテゴリー5以上）とし、端末側は情報コンセントとすることを原則とする。 • 必要に応じて、建家内のネットワークケーブルの一部を光ファイバとしてもよい。この場合、端末側は光情報コンセントあるいは光端子盤で終端すること。なお、光ファイバのコネクタ形状は、SC型とする。 • 端末は、直接情報コンセントに接続することを原則とする。 以上。

13. ハブユニットの孫引き接続禁止（センタースイッチからスター状に）ハブユニットの孫引き接続禁止（センタースイッチからスター状に） • 耐障害性（中間スイッチは障害要素） • 保守性（中間スイッチのところに誰かいるか） • 経済性（標準的なエッジスイッチの利用） • 冗長性を確保するために2対（4芯） • 耐障害性 • 直接情報コンセントに接続（ミニハブ禁止） • 保守性 • エッジスイッチの１つのポートで扱えるMACアドレスに制限 • VLAN選択機構を使うには必須 • 専用ラック • 保守性 • トラブル防止（間違って制御系のケーブルを抜いてしまうかも）

14. ３．需要調査と結果 各建家での一般LAN整備に関する基本仕様を提示しての需要調査を8月に実施。 J-PARCが関係する全ての建家から回答を得た（と思っている）。

16. J-PARC一般LANのネットワーク形態図 リニアック棟 HD警備員棟 L3BT棟 HD実験ホール棟 インターネット 3GeVシンクロトン棟 HD実験準備棟 HD第一ビーム 3NBT制御棟 HD第二ビーム 3NBT下流 情報交流棟 MLF棟 HD電源棟 50GeVMRD1 HD搬入棟 核変換実験施設 50GeVMRD2 中央制御棟 50GeVMRD3 ν第1設備棟 50GeVMRC1 ν第2設備棟 ※センタースイッチの設置場所については検討中 50GeVMRC2 ν搬入棟 放射線管理棟 ν第3設備棟 ミューピット制御棟 中央制御棟 νターゲットステーション 50GeV変電所 ν前置検出器室

17. ４．調査結果を踏まえての今後の（ハード）整備計画４．調査結果を踏まえての今後の（ハード）整備計画

18. エッジスイッチの今後の需要 2005年度需要　　8 　　・中央制御棟　　　　　　　　　　　 　　　　　4月　3 　　・リニアック棟　　　　　　　　　　　　　　　　 5月　1 　　・L3BT棟　　　　　　　　　　　　　　　　　　　5月　1 　　・50GeV MR第１電源棟　　 　　　　　　　6月　1 　　・3GeVシンクロトロン棟　　　　　　　　　　7月　1 　　・3NBT棟　　　　　　　　　　　　　　　　　　11月　1 2006年度需要　12 2007年度需要　27 2010年度需要　　4 未定　　　　　　　　 4 （計）　　　　　　　 55

19. 今後の整備スケジュール • 2004.10.12 • JLAN整備の方向性への合意 • 2004年度末　　 • センタースイッチ増設 • 2005年度および2006年度前半までに設置のエッジスイッチを収容可とする • 現在の暫定JLANを最小限の増設 • エッジスイッチ8台購入 • 2005年度設置分 • 本格整備入札仕様案 • 2005年度初 • 本格整備入札仕様案への意見招集 • 2006年度概算要求 • 2005年度末　　 • エッジスイッチ6台購入 • 2006年度前半設置分 • 本格整備入札仕様確定 • 2006年度初　　 • 本格整備入札 • 2006年9月　　　 • 本格整備運用開始 • 原研東海がスーパーSINETノードとなることを期待

20. ５．JLAN（＝基幹ネット）でのIP 　以下で検討中 • 　ドメイン名 　j-parc.jp 　　　アドレス 　　192.153.105～192.153.111＆ 10.105 　　　　（105は統合と読む）   • 192.153.105/24   ネットワーク管理用 192.153.106/23   JLAN-DMZ 192.153.108/22   JLAN-Intra 10.105/16JLAN-local • JLAN-localは原則として/24で256個のサブネットに分割する。 • 必要に応じ、/23あるいは/22等のサブネットを設けることも可能 • 10.105/16で足りなくなれば、10.106以降を使用することも可能 • 各サブネットはVLANとなる。 • JLAN-localの各サブネットだけでなく、JLAN-IntraあるいはJLAN-DMZも VLANである。　

21. 各サブネットはVLANとなる。 • JLAN-localの各VLANはそれぞれが異なる管理者の独立したポリシーを持つ • JLAN内でのVLAN間のルーティングポリシーは各VLAN管理者が決める 　　　　　（もちろんJLAN全体のポリシーの範囲内で） • JLAN-localの各VLANは必要に応じJLAN-IntraにNATし外へのアクセス可 能にできる。JLAN内の通信はNATしないｌ。 • もちろん外へのアクセス不能にもできるし、他のVLANと全く通信しな い閉じたVLANも作れる。 • 閉じたVLANの場合であっても勝手なアドレスを使うのでなくJLAN-local内の許可を得たアドレスを使ってもらう。 • JLAN-localとJLAN-Intraの本質的違いは、JLAN-Intraが原研LANおよびKEK-LANからアクセス可能なのに対し、JLAN-localはアクセス不可。　　　

22. ６．各端末のVLANへの接続 • 各端末のJLANへの接続はMACアドレスで認証 • MACアドレス毎に接続先VLANを登録し、どの情報コンセントに繋いでも自動的に登録VLANに接続

23. ７．VLAN選択機構 • ユーザ認証を経た上で、MACアドレス毎の接続先VLANを許可済みVLANの中から選択できるようにする。　 • ユーザは、自分の管理下の機器（MACアドレス）の接続許可をそれぞれのVLAN管理者に申請し、許可されれば、新たに割り当てられたIPアドレスとともに登録される。 • 現在は一つのVLANにしか許可されないが、これを複数のVLANに重複して許可できるように変更する。 • MACアドレス毎に、その機器の管理者（ユーザ）と許可済みVLANリストおよび現在の接続先VLANが維持される。

24. PCからVLAN選択機構にWebアクセスすると、ユーザ認証を経た上で、そのPCの 許可済みVLANリストが表示され、その中から選択できる。 • PCをリブートすれば新たに選択したVLANに切り替わる。各VLANに応じた割り当て済みIPアドレスへの変更は、自分で設定しても良いしDHCPを利用しても良い。 • VLAN管理者は許可するに際し、例えば、何月何日の何時までとか、平日の9時-5時のみ、等の日時制限をユーザ毎に設定できる。終了時間に至った時はそのVLANから自動的に切り離される。VLAN管理者はそのVLANのデフォルト有効日時を設定できる他、有効日時セットを必要なだけ設定できる。

25. ●ユーザ操作画面－全体構成

26. ●VLAN管理者操作画面－有効日時設定画面構成●VLAN管理者操作画面－有効日時設定画面構成

27. MLFでのイメージ • 共同利用者はMLF生活用VLAN（VLANa）に日時無制限で登録（年度更新？） • ビームライン毎にMLF実験用VLAN（VLANb）を設ける • ビームラインに併設の実験装置はVLANbに日時無制限で登録 • 実験チーム毎の有効日時セットを設定 • 共同利用者をその実験チームの有効日時セットでVLANbに登録 • その実験チームの実験期間（有効日時）内はVLAN選択機構を用いてVLANbに接続切り替えできる • 有効日時が終了するとVLANbから追い出されVLANaに戻る • 実験管理者はVLANbの管理者となり、共同利用者のVLANbへの登録、有効日時セットの設定および変更等ができる

28. ８．VLAN選択機構の開発スケジュール 2004.12までに作成 2005.1～3 試験 2005.4～　運用開始 　　これを機に、JLAN-localのVLANを使い始め、VLAN選択機構の試験にも協力お願いします。

29. ９．JLANのつくばサイト • J-PARCは東海サイトとともにつくばサイトを持つが、その基幹ネットであるJLANも当然に東海サイトだけでなくつくばサイトをカバーする。 • ただし、つくばサイトにおいてはJLAN専用のハブユニットを設けたりJLAN専用のエッジスイッチを導入することはせず、物理的にはKEK－LAN用の設備に間借りする。 • つくばサイトをカバーするKEK-LANのスイッチには、KEK-LAN用のVLANとJLAN用のVLANが同居する。物理的に同居しても、論理的には全く別物であり、両者が混じることはない。 • JLAN用のVLANは東海サイトだけでなくつくばサイトにも延長される。このため、KEK-LANのセンタースイッチとJLANのセンタースイッチを接続する。この接続線はJLANが開始した2002年10月には広域イサーネット（10Mbps）であったが、2004年4月からはIBBN（茨城ブロードバンドネットワーク）上のイサーネット（100Mbps）となっている。2006年にはスーパーSINETのGbE専用線での接続としたい。 • KEK－LAN用のVLANは東海サイトには延長しない。 • つくばサイトにおいては、VLAN選択機構を用いてJLAN用VLANとKEK-LAN用VLANを切り替えることも可能とする。

30. １０．まとめ