Future Internet とフロー指向

1. Future Internetとフロー指向 後藤滋樹, 石井翔, 山田建史,下田晃弘 NEC-早稲田大学技術交流会

2. Future Internet • NSF GENI, Spiral 3http://fif.kr/gfiw/11/mt/GFIW_MT_9_Chip%20Elliot.pdf Chip Elliott, GENI Project Director Trials of “GENI-enabled” commercial equipment NECWiMAX Base Station NEC IP8800 Ethernet Switch • Internet2 Joint Techshttp://events.internet2.edu/2012/jt-loni/ Software Defined Network • Global Future Internet Summit in Korea, Nov-Dec, 2011 http://fif.kr/gfi-summit/11/program.htmSoftware Defined Networking(SDN), Guru Parulkar, Stanford NEC-早稲田大学技術交流会

3. Future Internet • NSF Future Internet Architecture (FIA) Awards August 27, 2010, Press Release 10-156 Named Data NetworkingMobilityFirst NEBULAeXpressive Internet Architecture • The EU Framework Programme for Research and InnovationHORIZON 2020 from 2014 to 2020, 80 billion Euro • OpenFlow in Europe: Linking Infrastructure and Applicaitons http://www.fp7-ofelia.eu/about-ofelia/partners/ Partner: NEC Europe • The European Future Internet Alliancehttp://initiative.future-internet.eu/publications.html NEC-早稲田大学技術交流会

4. Future Internet • Future Internet Assembly (FIA) http://www.springer.com/computer/communication+networks/book/978-3-642-20897-3 • The network of the future • Cloud computing, Internet of services and advanced software engineering • Internet-connected objects • Trustworthy ICT • Networked media and search systems • Socio-economic considerations for the Future Internet • Application domains for the Future Internet • Future Internet research and experimentation (FIRE) NEC-早稲田大学技術交流会

5. 議論の余地あり • 有線と無線昔は長距離が無線、近距離は有線現代は長距離が有線、近距離は無線 • 電信と電話電信はデジタル技術、電話はアナログ技術現代はテレビの信号を電信で送る • 回線交換とパケット交換パケットは独立ではない回線交換は省エネルギー [1] • フロー指向は自然データにタグを付ける←→自動的に判別する怪しいフローの取扱 [1] 持永大, 小林克志, 工藤知宏, 村瀬一郎, 後藤滋樹, 「インターネット上のコンテンツ分布を考慮した光回線交換方式及びCDN方式の採用による省電力の評価」電子通信学会論文誌 B Vol.J94-B, No.10, pp.1293--1302, October, 2011.

6. サーバ負荷分散におけるOpenFlowを用いた省電力法サーバ負荷分散におけるOpenFlowを用いた省電力法 2 NEC-早稲田大技術交流会

7. 背景 • 震災を契機に省電力化が課題 • サーバ負荷分散システムについても省電力化を考える必要 NEC-早稲田大学技術交流会

8. サーバ負荷分散システムの省電力化の既存手法サーバ負荷分散システムの省電力化の既存手法 • サーバ負荷分散システムにおいて、サーバの待機を行うことで動的に稼働サーバ数を制御する手法 [1] • ただし、 DNS(Domain Name System) を用いたサーバ負荷分散システムについては考慮されていない • DNSキャッシュがあるため、動的な制御に適さない ⇒本研究はここに着目 ユーザ群 Suspend! [1] Takayuki Imada, Mitsuhisa Sato, Yoshihiko Hotta, Hideaki Kimura, Power management of distributed web savers by controlling server power state and traffic prediction for QoS, Graduate School of Systems and Information Engineering, University of Tsukuba, IEEE International Symposium on Parallel and Distributed Processing (IPDPS) , pp.1-8, April 2008. NEC-早稲田大学技術交流会

9. 研究目的と提案手法 研究目的 • DNS(Domain Name System) を用いたサーバ負荷分散法を改善 • OpenFlowを用いることで、可用性を維持しつつ短時間でサーバを待機状態にして、消費電力を削減 提案手法 NEC-早稲田大学技術交流会

10. OpenFlow • コントローラでスイッチを集中制御 • 一連の通信をフロー※として扱い、フローごとに制御 OpenFlow Controller (Server Software) • ※ここで述べるフローは以下のパラメータの組み合わせ • 受信したスイッチのポート • 送信元MACアドレス • 宛先MACアドレス • VLANのタグID • 送信元IPアドレス • 宛先IPアドレス • 送信元ポート番号 • 宛先ポート番号 Switch hardware Switch hardware Switch hardware Switch hardware NEC-早稲田大学技術交流会

11. 既存手法におけるサーバ待機の問題点 IP4のサーバを待機したい www.example.com DNSサーバ 通信中待機不可 www.example.com = IP1, IP2, IP3, IP4 IP2 IP4 IP3 IP1 Internet 待機に時間がかかる キャッシュサーバ ユーザ群 www.example.com = IP1, IP2, IP3, IP4 サーバが待機する際にキャッシュがexpireするまでに要求が到着してしまう NEC-早稲田大学技術交流会

12. DNSラウンドロビンの改善 IP4のサーバを待機したい www.example.com DNSサーバ 待機可能!! www.example.com = IP1, IP2, IP3, IP4 IP2 IP4 IP3 IP1 Openflow 転送 Controller The Internet 早期のサーバ待機が可能 キャッシュサーバ 待機時、キャッシュにより到着した要求をアドレスを書き換えて転送 ユーザ群 www.example.com = IP1, IP2, IP3, IP4 NEC-早稲田大学技術交流会

13. サーバ待機時の提案手法の動作 待機実行 待機決定前 待機対象のサーバへの通信が終わるまで 待機 待機対象のサーバ 待機対象のサーバへのパケットが0 待機決定 OpenFlowコントローラ 他のOpenFlowスイッチへ 他のOpenFlowスイッチへ OpenFlowスイッチ 待機決定時に通信途中の通信のみを待機対象のサーバに転送（コントローラを使ってフロー単位で定義） NEC-早稲田大学技術交流会

14. 実証実験 • 提案手法が電力を削減できることを示す • 実験の方針: • 実験1: サーバ待機の省電力効果測定 • 実験2: 待機決定から待機実行までの時間比較 • 実験3: 実トラヒックへの提案手法の電力削減量算出 NEC-早稲田大学技術交流会

15. 実験1 (サーバ待機の省電力効果測定) 結果 表1.1 稼働時と待機時の消費電力 3秒で1Wまで削減 表1.2 待機時の所要時間 図1 待機時のサーバの消費電力推移 • サーバ待機の所要時間と消費電力を測定 • 3秒で、1Wと高速で低い消費電力まで抑えられ、サーバ待機の省電力に対する有効性が示された NEC-早稲田大学技術交流会

16. 実験2 (サーバの待機決定から待機実行までの時間比較) 概要 • サーバの待機を決定してから実行可能となるまでの時間を測定 • 提案手法を用いた場合と、用いない場合を比較 待機対象のサーバへの通信が無くなる 待機実行 待機決定 NEC-早稲田大学技術交流会

17. 実験2 (サーバの待機決定から実行までの時間比較) 実験環境 サーバ1 サーバ2 待機 OpenFlowコントローラ 転送 OpenFlowスイッチ※1台のスイッチ内で仮想的に2台に分離 Layer 2スイッチ • 実機で構築 • 現在OpenFlowスイッチによるIPアドレス書き換えが低速なため、MACアドレス書き換えを用いて実装 ソフトウェアルータ 疑似DNSラウンドロビンクライアント NEC-早稲田大学技術交流会

18. 実験2 (待機決定から待機実行までの時間比較) 実験結果 既存手法は大きく増加 提案手法は常に2~3秒 図2 待機決定から待機実行可能となるまでの時間 • 時間が短いほど良い • 提案手法の場合はキャッシュ時間に関わらず高速に待機可能となる NEC-早稲田大学技術交流会

19. 実験3 (実トラヒックへの提案手法の電力削減量算出) 概要 • 一日の実トラヒックを測定 • ある商用ネットワークにおいて、ポート80 (HTTP)のセッション数を測定したもの • 実トラヒックに対してサーバ稼働数を設定し、提案手法の一日の電力削減量を算出 NEC-早稲田大学技術交流会

20. 実験3(実トラヒックへの提案手法の電力削減量算出) において仮定する環境 www.example.com DNSサーバ Openflow Controller The Internet キャッシュサーバ ユーザ群 実験システムのパラメータは実験1, 2, 3と同一 NEC-早稲田大学技術交流会

21. 実験3(実トラヒックへの提案手法の電力削減量算出)実トラヒックへの提案手法の適用結果DNSキャッシュ時間=3600 [s] この部分の電力が削減 • DNSラウンドロビンのみの待機と比べて5.9%電力量を削減 • 待機を行わない場合と比べて51.5%電力量を削減 NEC-早稲田大学技術交流会

22. 実験3 (実トラヒックへの提案手法の電力削減量算出)実トラヒックへの提案手法の適用結果 最大で消費電力を17%削減 • いずれの場合においても電力量の削減に成功 • 提案手法を実環境に適用した場合の省電力効果を示す NEC-早稲田大学技術交流会

23. まとめ • DNSによるサーバ負荷分散環境において、OpenFlowスイッチを使ってキャッシュ時間による遅延時間を補正して省電力を実現 • DNSのキャッシュ時間が長いほど提案手法による電力削減の効果が大きい NEC-早稲田大学技術交流会

24. 3 OpenFｌowスイッチによる 広域通信の効率的集約法 NEC-早大技術交流会

25. 研究の背景 • 情報量増大に伴い悪意のある通信の問題が顕在化 • 国際的なサイバー攻撃が頻発 • ボットネットの活動の調査が追いつかない • 広域的な調査を行い、多様化した攻撃の実態を掴む • 効率的に攻撃手法の情報収集が必要 • IT利用の利便性と情報セキュリティ対策との両立 通信の選別 NEC-早大技術交流会

26. 研究の目的１ • 既存の悪意のある通信の観測や防御に必要な機器 • 侵入検知システム（IDS） • 侵入防御システム（IPS） • ファイアウォール 　　　　　観測を行う範囲を広げると 　　・設備投資によるコスト増大 　　・機器の運用や設定にかかる人的なコスト 　ネットワーク機器での制御 　観測機器の設置・維持によるコストを抑えられる 　広域な通信を効率良く制御できる NEC-早大技術交流会

27. 関連研究：ポリシールーティングを用いた　　　　　　　ネットワークハニーポットの構築 白畑真,南政樹,村井純（情報処理学会研究報告（DSM-038) pp.55-58, 2005） • ルータにポリシーを与え検知した通信をハニーポットに集約 • 特定のポート番号を元にルーティング • Iptablesとiproute2を組み合わせる ルータ ポート番号による ポリシールーティング ホスト Internet ルータ • ・エントリ数が大きくなるとルータに負荷がかかる • 　　→ ポート番号でのみの制御 • ・制御内容の適用はルータ自身にのみ • 　　→効率が悪く、スケールアウトしない ハニーポット NEC-早大技術交流会

28. 研究の目的２ • 広域な通信を一元管理できるネットワーク管理システムが必要 • スイッチの機能を転送部と制御部に独立 • 制御部による転送部への一元管理 • 広域通信を効率良く制御し、悪意のある通信を集約する • 悪意のある通信の選別 • 安定した通信の集約 OpenFlowスイッチング技術 柔軟かつ集約的な制御 NEC-早大技術交流会

29. 提案手法 OpenFｌowスイッチによる 「悪意のある通信」の集約 NEC-早大技術交流会

30. 提案手法：悪意のある通信の集約 広範囲の通信をOpenFlowスイッチにより選別、誘導 ※ O/F：OpenFlow 選別した通信をハニーポットに集約 ポート番号 送信元IPアドレス dshield.org が 公開している ブラックリスト O/F Controller O/Fスイッチ1 ホスト Internet O/Fスイッチｎ 機能の独立 スケールアウト可能 Controller制御 柔軟かつ動的なポリシー ハニーポット 柔軟かつ安定したセキュアなシステム NEC-早大技術交流会

31. 実証実験：概要 • 攻撃通信をhping3、正常な通信をiperfで再現 • hping3： pingライクなパケット生成ツール • ポートスキャン、スパムによる攻撃（送信元IPアドレスの偽造） • iperf：トラヒック発生ツール • ファイルダウンロード、スループットの測定 • 比較実験項目 • 収集率の比較 • スループットの比較 （平均スループット、分散） • 実験環境 • 仮想サーバ上に仮想ネットワークを構築 NEC-早大技術交流会

32. 悪意のある通信の再現　 • hping3 • icmpプロトコルで動作するping ライクなコマンド • 多種様々なパケットの生成が可能 ポートスキャンとIPスプーフィングを利用 ※IPスプーフィング：送信元IPアドレスの偽造 • iperf • 擬似トラフィック生成ツール • ファイルダウンロードやスループットの測定 • サーバ/クライアント方式で動作 1Mbyteのファイルダウンロードを利用 測定はしばらく時間を置いて、通信が安定してから行う NEC-早大技術交流会

33. 実証実験：基本構成と詳細 ※ O/F：OpenFlow • サーバ‐ホスト間に2つのトラフィックによる通信を観測 • 収集率　　 　：攻撃通信がハニーポットに流れた割合 • スループット：サーバ‐ホスト間を測定 O/F Controller ホスト O/Fスイッチ1 サーバ O/Fスイッチ２ 正常な通信：iperf 攻撃通信　 ：hping3 ハニーポット NEC-早大技術交流会

34. 実験環境：既存手法 • ルータにポリシーを与え検知した通信をハニーポットに集約 • 特定のポート番号を元にルーティング • Iptablesとiproute2を組み合わせる ポリシルータ ポート番号による ポリシールーティング ホスト サーバ ポリシルータ ハニーポット NEC-早大技術交流会

35. ポリシールーティングの構成図 iproute2とiptablesを組み合わせることで ポリシーを設定し、転送を行う ホスト サーバ NEC-早大技術交流会

36. 実験環境：提案手法 ※ O/F：OpenFlow • ポリシーやコントローラの制御により悪意のある通信を選別 送信元IPアドレス ポートポリシー O/F Controller 更新 ホスト The Internet O/Fスイッチ1 サーバ O/Fスイッチ２ ハニーポット NEC-早大技術交流会

37. 使用したポリシー • ポート番号 • nepenthesが対応、検知するポート番号 18種類 • 警察庁セキュリティポータルサイト@police　上位20件 • 参考：インターネット治安情勢　2010年7～9月 • 合計　27種類 • ブラックリスト • Dshield.org が提供 • ホストのIPアドレス群 • スキャンや不正アクセス • 上位100件を使用 NEC-早大技術交流会

38. 実験結果１：収集率 悪意のある全トラフィックから、集約した通信の割合 +22.1％ ポート番号のみ ポート番号+IPブラックリスト NEC-早大技術交流会

39. 実験結果２：平均スループット スループットの ばらつきが少ない NEC-早大技術交流会

40. まとめ 安定した広域通信での通信集約システム 提案手法に優位性、実用性 OpenFlowによる通信選別手法 集約率に大きな改善 安定したスループット NEC-早大技術交流会

41. 今後の課題 • 1. より精度の高いポリシーを検討 • より動的で柔軟なポリシーの設定 • 2. 比較対象の検討 • - vyattaなどの仮想ルータとの比較 • 今回はopenvswitchを使用 • - OpenFlowスイッチとの比較 • ポリシルータではなく、既存のOpenFlowスイッチで 複数種類の手法を検討 • 3. 実機での検証 • 今回は仮想環境での実験 NEC-早大技術交流会

42. 多次元的モニタリングよるフローベースのインターネット脅威検出システム多次元的モニタリングよるフローベースのインターネット脅威検出システム 4 NEC-早大技術交流会

43. インターネットの介した攻撃の早期発見と抑止への取り組みインターネットの介した攻撃の早期発見と抑止への取り組み バックボーン側 インターネットのボットネット、マルウェアによる脅威を ・　バックボーン・ネットワーク側(マクロ) ・　エッジ・ネットワーク側(ミクロ) の双方の視点から分析 従来の方法 バックボーン側(マクロ)の観測 ・ 定点観測システム (JPCERT: ISDAS, NICT: NICTER) ・ ユーザのサブミッションログ エッジ側(ミクロ)の観測 ・ 侵入検知ソフトウェア、ファイアウォール ・ ハニーポット エッジ側 本研究では攻撃を少ないリソースで効率的に収集・検出する方法を 提案することで、ネットワーク管理者の脅威検出をサポート

44. Darknetによる不正なパケットの検出 • 受信専用のサーバにグローバルIPアドレスを割り当て • スキャンニングやDDoSの発生(Backscatter) を効率的に検出 • 観測するアドレス空間を範囲を広げるには多くのサーバ資源が必要 • ネットワークのエッジ側でしか観測できない Block all outgoing packets Anomaly packets logging No response Attacker Firewall PC Sensor Box (DarkNetimplementation) Accept all incomming packets

45. 仮想センサによる広域ネットワーク脅威検出 • バックボーン上でマクロな定点観測を実現 • 測定点はバックボーンのルータ/スイッチ (エッジではない) • 受信のみのIPアドレスを推定、センサとして活用 インターネット 従来の定点観測と比較 ・・・ １．測定に関わるサーバ資源を 　 大幅に削減 ２．バックボーン、ISPに適用可 ３．広範囲のネットーワーク空間を　 　　測定対象としてカバー ・・・ 逆向きフローの存在しない一方通行のフローを検出し、 その宛先IPアドレスを仮想センサとみなす 攻撃元 (ボット、ワーム等) 仮想センサ (数万台規模) [1] Akihiro Shimodaand Shigeki Goto, Virtual Dark IP for Internet Threat Detection, the 25th APAN Meeting, pp.17-23, August, 2007. [2] Akihiro Shimoda, Shigeki Goto, Flow based anomaly traffic detection, The 13th JSPS/NRF Core iversity Program Seminar, Aug, 2009.

46. 広域ハニーポット展開システム DarkPots • 企業・キャンパスネットワークが保有する未使用IPアドレス上に、 センサ、ハニーポットを展開 システムの動作 ハニーポット orセンサ群 １．Vacancy checkerで未使用IP アドレスを検出 (Firewallの情報も利用) ２．Forwarderは未使用IPアドレス 　　宛のパケットをセンサ群に転送 ３．ハニーポット/センサは未使用IPアドレス 　　の代わりにパケットを受信、転送 疑似応答 パケット list of unused-IPs Forwarder Vacancy checker mirroring 特徴 ・ 管理サブネット内部の余剰IPアドレス を脅威観測のために活用 ・ファイアウォールと連携する場合、 　未使用IPアドレスの誤検知は 　一切発生しない。 ゲートウェイ 企業/キャンパス ネットワーク インターネット Akihiro Shimoda, Tatsuya Mori, and Shigeki Goto, Sensor in the Dark: Building Untraceable Large-scale Honeypots using Virtualization Technologies, 2010 10th IEEE/IPSJ International Symposium on Applications and the Internet, pp.22-30, July, 2010. [3] [4] (博士論文) Akihiro Shimoda, “, “Internet Threat Detection Method based on Virtual Sensors“, 2011年3月.

47. Darknet / Darkpots観測の問題点 • IPv4 アドレス枯渇に伴い未使用IPアドレスが減少 • IPv6 等の大きいアドレス空間に適用する場合はシステムの負荷が増大 • 未使用IPアドレスのリストをシステム内部で保持しなければならない • 利用中のIPアドレスに対してはセンサ、ハニーポットを展開できない

48. 提案手法

49. 従来の方式 (IPアドレスベース) active host w/o firewall active host w/ firewall inactive host or unassigned (darknet) 攻撃観測は未使用のIPアドレス上でのみ ・・・ sensor(s) gateway ・・・ scan packets the Internet honeypot(s) worms or botnet Analyzers IP address space

50. 提案手法(フローベース) active host w/o firewall active host w/ firewall フロー単位で正常/不正な通信を識別 → 従来は不可能だったActive なIPアドレス上でも 不正パケットの検出を実現 inactive host or unassigned (darknet) ・・・ sensor(s) gateway ・・・ scan packets the Internet honeypot(s) worms or botnet Analyzers IP address space [5] 下田晃弘, 森達哉, 後藤滋樹, “DarkFlow検出によるリアルタイム・インターネット脅威検出システム”, 電子情報通信学会ネットワーク仮想化研究会(NV), NV2011-4, pp. 33—40, July, 2011.