New generation Network

1. New generation Network 演講:ERIC資料來源:ithome、狐狗

2. “很噱頭的標題”

3. Report • 資料中心網路架構 • 現行3大網路協定的限制 • 資料中心乙太網路的誕生 • 增強型乙太網路的3大特性 • FCoE與iSCSI之間的差異

4. Information centre network framework 1.Introduce 2.CEE/DCE Destination 3. At present information centre network framework 4. Integrationnetwork framework Condition

5. Introduce • 目前Broadcom、Brocade、Cisco、IBM、Intel等廠商正參與一項網路新標準的制定，這種稱為聚合增強型乙太網路（Convergence Enhanced Ethernet，CEE）或資料中心乙太網路（Data Center Ethernet，DCE）的新協定，預定在2009下半年到2010年初通過IEEE審定，正式進入企業市場。

6. CEE/DCE Destination CEE/DCE的目標非常宏大，預定一舉替代掉當前資料中心最常用的3種網路—區域網路用的GbE乙太網路、儲存設備用的光纖通道（Fibre Channel），以及承擔高效能叢集網路的InfiniBand，因此當CEE/DCE實用化後，將可能大幅改變現有資料中心網路架構的風貌。

7. At present information centre network framework CEE的出現是為了解決資料中心既有的網路架構問題。由於企業資料中心同時存在多種不同型態的連線需求，有的資料流對封包很敏感，有的則是對封包遺失很敏感。為滿足這些需求，今日的資料中心通常同時建置了多種不同規格的網路，其中最廣泛的自然是承擔區域網路工作、用於伺服器與伺服器之間連接的GbE，其次是用於連接儲存設備與伺服器的光纖通道儲存區域網路（FC SAN），再來就是一些高效能運算叢集系統使用的InfiniBand或Myrinet等低延遲高頻寬網路。

8. Integrationnetwork framework Condition ● 需提供足夠的原生（raw）效能 ● 需儘可能保障既有IT投資 ● 需具備完善的服務等級管理機制

9. 補充圖資料中心網路環境整合前後的比較

10. 現行3大網路協定的限制 1.三大網路簡介 2.以10GbE為基礎建立整合網路架構 3.比較

11. 三大網路簡介 • InfiniBand • GbE/iSCSI • FC

12. InfiniBand • InfiniBand是當前可用頻寬最高的一種網路連結技術，在12倍並行與4倍傳輸下可有120Gb的原生頻寬，並具備低延遲特性。 但最大弱點在於與企業過去的網路建設完全不具備延續性，InfiniBand需要建置全新的網路設備，從底層的網路卡、交換器與線材到上層的middleware API都是全新的，還須透過複雜的橋接，才能與其他更普遍使用的網路協定互通（如FC SAN或乙太網路等），用戶過去在SAN或LAN上的管理經驗完全派不上用場，也缺乏與既有架構的遷移能力，以致InfiniBand的用途被侷限在獨立的高效能運算環境中。

13. GbE/iSCSI • 當前以GbE為基礎的iSCSI雖是一種理想的乙太網路儲存協定，擁有乙太網路廣大的安裝基礎優勢，但若要應用到資料中心的網路整合上，便會遭遇效能不足、無法保障既有投資，以及無法隔離不同資料流服務等級等問題。 在效能方面，當前流行的GbE只有1Gb頻寬，與4Gb、8Gb的光纖通道或10Gb的行程間通信（IPC）網路完全不能匹配。更麻煩的是，GbE/iSCSI與FC網路間必須透過複雜的橋接才能溝通，這會帶來額外的資源開銷，而且兩種網路各自擁有不同的管理工具與管理知識，彼此不能互通。對多數已導入2Gb或4Gb光纖通道儲存網路的資料中心來說，納入GbE/iSCSI只是另起爐灶建立另一套不同的SAN，而非與原來的FC SAN整合。 另外乙太網路理論上雖然擁有服務品質（Quality of Service，QoS）機制，以及作為防止封包遺失的流量控制手段，但問題是QoS無法與資料流等級隔離同時併用，以致管理者只能在啟用流量控制的無損失傳輸與QoS間擇一使用，連線品質與流量控制機制不足。

14. FC • FC的優缺點介於GbE與InfiniBand之間，具有不錯的頻寬表現，並擁有良好的流量控制與高可用性機制，在資料中心的儲存網路中也已得到大量應用，但FC的物理層與資料鏈結層，與最普遍的乙太網路完全不同，具有獨自的網路設備，安裝數量雖遠高於InfiniBand，但仍遠遜於乙太網路，建置成本比乙太網路高出許多，而且管理技能也與乙太網路大不相同。

15. 以10GbE為基礎建立整合網路架構 • 歷史經驗顯示，任何意圖拋開乙太網路的網路協定規劃，即便擁有更好的規範與控制機制，也不可能成功。但過去的乙太網路，又受到傳輸效能、流量控制機制與可靠性的限制，在資料中心的用途僅限於連接伺服器與伺服器的區域網路，不足已承擔儲存網路或高效能運算網路的需求。而這樣的情況，自10GbE推出後便有了根本性的變化。 10GbE有光纖與銅線兩大類，目前實用化的是光纖版本（802.3ae）。當10GbE投入使用後，乙太網路的物理層已具備可媲美甚至超越光纖通道的原生頻寬。 然而10GbE只是定義了1個效率更高的物理層，乙太網路在資料鏈結層的缺陷仍然存在，若要以10GbE替代光纖通道，則乙太網路也必須提供與光纖通道同等級的可靠性，冗餘路徑與故障切換機制，而這就是新一代的聚合增強型乙太網路所欲達到的目的。

16. 比較

18. 資料中心乙太網路的誕生 • 簡介 • 乙太網路與光纖通道的結合——FCoE • CEE/DCE的結構 • FCoE的結構

19. 簡介 • 當資料中心的規模越來越大，維護、管理不同網路連線系統，就會成為越來越沉重的負擔。若改以頻寬大幅提高的新一代乙太網路做為整合網路的物理層，將可收承繼乙太網路的廣大基礎之效，且頻寬也足以承擔資料中心的應用所需。 目前除了已實用化的10GbE外，40Gbps與100Gbps的次世代乙太網路也已經在研擬中，顯示乙太網路仍是相當具有前景的網路技術。但要讓乙太網路真正承擔起資料中心整合網路的重擔，目前的乙太網路相關協定並無法提供關鍵應用所需的無損失（lossless）傳輸特性、且壅塞管理機制不足等問題也有待解決，這也就是所謂「資料中心乙太網路」所欲達成的目的。

20. 乙太網路與光纖通道的結合——FCoE • FCoE簡介 • FCoE與CEE/DCE • FCoE的特性 • CEE/DCE的結構 • FCoE的結構

21. FCoE簡介 • 顧名思義，FCoE是基於乙太網路的光纖通道協定，也就是將光纖通道協定（Fibre Channel Protocol，FCP）運行在乙太網路的纜線與交換器上，它與現有光纖通道唯一的不同之處，只在於底層協定層（物理層和資料鏈結層）。

22. FCoE與CEE/DCE FCoE與CEE/DCE之間可說是共生的關係，必須要有CEE/DCE對乙太網路資料鏈結層的改進，才能讓FCoE在乙太網路上承載光纖通道協定傳輸的目的付諸實現；但相對的，也要有FCoE這種把主流儲存傳輸協定整合到乙太網路上的應用需求，才有效促進了CEE/DCE的推動。

23. FCoE的特性 • 前面提出的資料中心整合網路的3項標準。首先在頻寬方面，目前的FCoE的物理層是以10GbE為基準，足可匹配當前 FC的效率；其次在保護既有投資方面，由於FCoE的上層協定（FC-2、3、4）與原來的FCP相同，FC SAN環境可以很方便的轉換到FCoE，既有的FC SAN架構如分區（zoning）政策設定與名稱伺服器也能重複利用與擴展。 而透過支援多協定的聚合閘道器或交換器的中介，還可讓FCoE直接與既有的FC SAN連接。也就是可在不變更既有FC SAN架構的情況下，利用「騎」在乙太網路上的FCoE來擴展FC SAN應用範圍。

24. CEE/DCE的結構 CEE/DCE是利用既有的10GbE光纖乙太網的物理層為基礎， 結合改良的資料鏈結層，以便同時承載原有的IP、HPC資料流， 以及與CEE同步發展的FCoE資料流，因應用量更大的儲存網路需求。

25. FCoE的結構 FCoE是把光纖通道協定的ID，透過映射轉為乙太網路的MAC位址，由於訊框仍保 留了原有的FC表頭，很容易就能被既有的FC SAN解析，完成與FC SAN的溝通。不 過FC採用的訊框為2122bytes，所以在底層的乙太網路必須採用2500byte的Jumbo 訊框傳輸。

26. 增強型乙太網路的3大特性 • 為了讓乙太網路承擔更關鍵性的任務，CEE/DCE在10GbE的基礎上，特別強化了確保無損失傳輸、分級流量控制、冗餘路徑與故障失效切換等方面的機制。 1.無損失傳輸 2.基於優先等級的流量控制 3.高可用性機制 4.整合網路的7大效益

27. 無損失傳輸 • 要讓乙太網路承載FC的資料流，就必須具備與FC的「緩衝區到緩衝區保證（Buffer-to-buffer Credits）」機制相似的流量控制機制，以調節流量，防止封包遺失並達成無損失傳輸的效果。 • 乙太網路雖然沒有緩衝區到緩衝區的控制機制，但透過802.3x的暫停訊框流量控制（PAUSE）技術，可允許在全雙工連接下，即使緩衝區不夠也不會丟棄訊框。發送端可向接收端發送1個PAUSE訊框，其中設定了1段停止發送資料的時間，若在這段時間內接收端清除了緩衝區，則會同時向發送端發出另1個PAUSE訊框，將暫停時間歸零，以讓發送端重新發送資料。 • 暫停訊框流量控制機制可用來調節流量，防止因堵塞導致緩衝區溢出而造成資料遺失。但問題在於這種機制會同時影響網路上所有流量（暫停訊框會暫停所有資料流的傳輸），而不能只對特定資料流進行調節。所以業界又提出了基於優先等級的壅塞管理機制，以便結合流量等級管理與無損失傳輸。

28. 基於優先等級的流量控制 • 既有的乙太網路是採用基於802.1Q的固定優先等級流量控制，這對一般LAN環境雖然沒太大問題，但在一個混有多種類型資料流的資料中心中，卻可能造成低優先等級資料流無法獲得足夠頻寬的問題，而且這套機制無法用於設定每種不同資料流對頻寬的分享——既無法保證個別資料流的最小頻寬，也無法設定最大頻寬上限。 • 因此CEE/DCE需要的是基於優先等級的流量控制（Priority-Based Flow Control，PBFC），也就是對單一網路上的每個資料流分別設定流量的優先等級，如可設定高優先等級與低優先等級的資料流平時享有同等頻寬，但在壅塞發生時則暫停低優先等級資料流的傳輸，以保證高優先等級資料流的頻寬。 • 能提供這種機制的協定有802.1p分級流量控制協定（Class-Based Flow Control，CBFC）、802.1Qbb與802.1Qau等，其中最基本的是802.1p，可讓使用者在乙太網路上建立多個擁有不同優先等級的虛擬通道（Virtual Lane，VL），並提供暫停傳送機制，以在高負載時先行暫停低優先等級VL的傳送，把頻寬讓給高優先等級的VL。

29. 802.1Qbb的功能與802.1p相似，但具有強化的服務品質機制，可進一步為每個VL設定保證頻寬與延遲時間。而仍在研擬中的802.1Qau則是1種壅塞通知（Congestion Notification）協定，可提供端點對端點的流量控制能力，當壅塞發生時，可讓壅塞點發出1個速率限制通知，以便調節佔用流量。 • 另外還有1個重要的802.1Qaz增強傳輸選擇（Enhanced Transmission Selection，ETS）協定，除了可保證高優先等級資料流的頻寬外，當高優先等級資料流實際使用的頻寬較低時，可允許低優先等級資料流使用多餘的頻寬，以提高整體頻寬利用率。 • 藉由這些機制，資料中心便可為CEE/DCE中的各種資料流設定個別的優先等級，分離出對延遲、丟失封包較不敏感的LAN資料流，以及對封包遺失敏感的SAN資料流，確保更重要的SAN資料流能優先使用頻寬。

30. 高可用性機制 • CEE/DCE必須具備類似FC的高可用性，以保證高關鍵性應用程式存取路徑的暢通，因此完善的動態路徑生成與故障切換機制亦是不可或缺。 • 這方面目前可用的機制有802.1D的Spanning Tree協定，802.1s的Multiple Spanning Tree協定（MSTP），以及802.1aq最短路徑橋接協定（Shortest path bridging，SPB）等，可監控網路中橋接端點，並在連接失效時迅速啟用可用的連接路徑，最短路徑協定還可依據跳躍次數、可用頻寬、延遲時間與其他測量基準，選出發送點到目的端的最佳路徑，並實現多路徑上的負載平衡。

31. 整合網路的7大效益

32. FCoE與iSCSI之間的差異 • FCoE與iSCSI之間的差異 • FCoE與iSCSI之間訊框比較 • FCoE與FC SAN的整合

33. 差異 • FCoE與iSCSI同為採用乙太網路物理層的區塊型（Block）儲存網路協定，FCoE在底層與iSCSI同樣都是使用乙太網路（不過FCoE要求的乙太網路是基於10GbE光纖乙太網路的CEE，而iSCSI沒有特別要求），兩者均有可承接乙太網路廣大基礎的優點，但FCoE在Layer 2/3直接將FC訊框直接映射為乙太網路訊框，上層仍使用標準的FC-2/3/4，沒有iSCSI訊框中的TCP/IP，因此能避開IP既有的問題，理論上效率可比iSCSI更高。換句話說，與iSCSI相較，FCoE是「取乙太網路的低價、普及利益，而捨TCP/IP帶來的性能問題」。 • 不過，也由於沒有IP的幫助，因此FCoE不適於遠距離傳輸，僅限於本地端的應用。但FCoE除了底層是透過映射轉為乙太網路的MAC位址外，仍保留了FC協定FC-2以上的所有上層格式，很容易就能與FC溝通，共享相同的管理政策。 • 透過整合FCoE與FC的交換器，用戶端只要安裝支援FCoE的CEE網路卡，就可以很方便的接上既有的FC SAN，無需增購昂貴、且用途單一的FC HBA，因此非常適合用在已建置有FC SAN的資料中心，作為1種擴展既有FC SAN的手段。 • 相較下，iSCSI無論格式、運作與連接方式都與FC SAN完全不同，難以像FCoE般「融入」既有的FC SAN，只能作為另一套獨立的SAN存在，因此較適合用在原先沒有建置SAN的中小企業，以較低廉的成本完成SAN的部署。

35. FCoE與FC SAN的整合 • 具體作法上，通常有2種連接方式： （1）E-Port模式：將FCoE網路卡接到內含FCoE-FC閘道器的CEE交換器，然後透過交換器與FC交換器或導向器（director）連接，透過FC交換器或導向器的中介接上FC儲存設備。 （2）F-Port模式：將FCoE網路卡接到內含FCoE-FC閘道器的CEE交換器，然後透過交換器或閘道器直接與FC儲存設備連接。 兩種連接方式的必要前提，都是須建置1套內含FCoE-FC閘道器的CEE交換器。其中E Port模式適用於與規模較大的FC SAN連接；而更直接的F Port模式則適用於連接規模較小的FC SAN。