1 / 46

存储网络（ SAN ）教战手册

存储网络（ SAN ）教战手册. Jason Huang, J erry Liu CSE, Data Center. 思科 SAN 产品（ MDS ）技术优势. 思科 SAN 产品（ MDS ）技术优势. 1 体系架构 2 VSAN 以及 IVR 3 SAN 远程连接 4 FICON 5 Port Channel 6 VMware 环境. Ingress. Crossbar. System Controller. 1. 2. Shared Memory. 3. Egress. …. 16. Ingress. Egress.

jason
Download Presentation

存储网络（ SAN ）教战手册

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 存储网络（SAN）教战手册 Jason Huang, Jerry Liu CSE, Data Center

  2. 思科SAN产品（MDS）技术优势

  3. 思科SAN产品（MDS）技术优势 • 1 体系架构 • 2 VSAN 以及IVR • 3 SAN 远程连接 • 4 FICON • 5 Port Channel • 6 VMware环境

  4. Ingress Crossbar System Controller 1 2 Shared Memory 3 Egress … 16 Ingress Egress 1 体系架构优势Cisco vs. Brocade--两种不同的交换体系架构 Brocade 共享内存交换 Cisco Crossbar 交换 Control, Scheduling • 提供了一个极其有弹性的，高容量的交换体系架构 • 当frame被交换时，会在进端口和出端口之间建立一个临时的连接 • 使用虚拟输出队列可完全消除阻塞 • 使用仲裁机制实现队列交换预测，优先级控制以及平等交换 • 简单, 低成本设计 • 保存在缓存种并等待被传输 • 共享缓存的速率是最主要的限制，因为ASIC的可用缓存空间非常有限 • 访问缓存的过程没有仲裁

  5. 1 体系架构优势－总结 *在Brocade的微码6.4.0b以后，似乎增加了对错误包的处理，但只是限于告警，而非主动的应对机制 关于架构的优势，实战中应以早期引导客户为主，让客户感觉技术的优势，可以辅助一些第三方测试报告，见backup slides。

  6. Zoning Server, Name Server FSPF, Domain Mgr Role-based Access Controls CRM VSAN VSAN header is removed at egress point Zoning Server, Name Server FSPF, Domain Mgr Role-based Access Controls ERP VSAN Enhanced ISL (EISL) Trunk carries tagged traffic from multiple VSANs Zoning Server, Name Server FSPF, Domain Mgr Role-based Access Controls CRM VSAN VSAN header is added at ingress point indicating membership Zoning Server, Name Server FSPF, Domain Mgr Role-based Access Controls No special support required by end nodes ERP VSAN 2 VSAN以及IVRCisco 虚拟fabric(VSAN),静态隔离整合的fabric • VSANs, 定义为Virtual Fabrics, 为ANSI T11 标准 • FC-SW-4 and FC-FS-2 specifications • VSAN可将一个物理SAN分隔成多个虚拟SAN • 每个VSAN在硬件隔离的情况下可以有独立的Fabric服务 • Zoning Server with separate zone sets • Name Server • Domain Manager • Roles-based Access Controls (RBAC) • Domain IDs • FSPF Routing • VSAN可以按端口级别分配 • ISL可以承载多个VSAN的流量 • ISL可以指定给某个VSAN专用

  7. 2 VSAN以及IVR 比较优势(1)

  8. 2 VSAN以及IVR 比较(2)

  9. Dark Fiber 3 SAN 远程连接SAN远程连接技术 LocalDatacenter RemoteDatacenter • FC over DWDM/CWDM • 同城范围内的灾备 • 基于裸光纤 • 专用线路 • 低延时，适合同步数据复制的灾备 SAN SAN Short distance ~ <= 100km • FC over SONET/SDH • 中距离的灾备 • 不能采用裸光纤的情形 • 传输链路可能是共享的 • 适合大多数数据复制环境 LocalDatacenter RemoteDatacenter SONET SAN SAN Medium distance ~ <= 160km • FC and FICON over IP • 通常用于异地灾备 • 不能采用裸光纤的情形 • 传输链路可能是共享的 • 通常用于异步数据复制的灾备 LocalDatacenter RemoteDatacenter IncludesintegratedCompression& Encryption IP RoutedWAN SAN SAN Short – Long distance 0 - 5000+ km

  10. 3 SAN远程连接的优势 • 思科可以提供完整的远程SAN连接方案，包括SAN，DWDM，SONET和IP，技术融合更好 • 相对来说博科需要和第三方合作，才能提供完整的方案。实施中，难于统一协调各方配置；出现问题后，容易互相推诿。 • MDS本身即有CWDM和DWDM模块，集成度高，降低用户的整体方案成本 • 博科本身不提供CWDM和DWDM模块 • 端口的Buffer 更大，即意味着在相同传输速率下，连接的距离更远 • 思科最大为5590，相比较博科为1292 • 思科的FCIP方案集成了硬件压缩和优化的TCP处理技术，传输效率更高，通常可以达到4:1（相比较博科通常为2:1）；同时，FCIP还具有数据加密功能，保证异地数据传输的安全 • 支持多块卡的FCIP端口捆绑，而不需额外的软件许可费用 • 博科只能支持单一板卡的多FCIP端口捆绑，不具备高可用性 • 博科如果需要多端口捆绑，则需要单独的Trunking License • 针对复制的优化技术，例如IOA等，在特定的灾备方案中，极大提高传输效率 • 博科没有相应的优化

  11. 4 FICON思科MDS是替代原有FICON Director的首选 FICON Director MDS • MDS从设计初即支持FICON连接 • MDS的无阻塞架构保证了IBM主机系统对I/O的低延时要求 • MDS的虚拟SAN技术，可以很好地隔离各FICON连接，使得生产、开发/测试互不干扰 • 从原有的FICON Director迁移到MDS环境，原有主机的IOCDS定义无需修改，可以在MDS上配置与原有FICON Director相同的端口地址

  12. 4 FICON环境中的优势 • MDS是成熟的FICON产品，可以支持最新的zHPF • MDS架构的无阻塞优势，更好地满足IBM主机系统对I/O低延时的要求 • 博科的交换机在跨ASIC交换时，时延极大地增加且无保障 • MDS的VSAN技术优势，可以很好地隔离客户的生产和开发/测试环境，降低成本 • 相对来说，博科的LSAN技术有很大的限制 • MDS可以灵活地支持多种远程SAN连接方案，对于远程传输有极大的优化 • MDS针对IBM的XRC（基于主机复制的远程灾备方案，目前四大商业银行均采用此方案），有极大的优化

  13. 5 PortChannels vs. Trunking • MDS PortChannels • Cisco • 不同的ASIC • 不同的端口组 • PortChannel允许最多16个连接 多个故障域提供了高可用性 • Brocade • 同一板卡 • 同一 ASIC • 同一端口组 • Trunk 只允许最多8个ISL 同一个故障域并不支持高可用性 • DCX Trunking 在实战中，明确支持基于不同板卡形成级联链路的捆绑，以保证高可用性。另外，从性能上考虑，需要支持最大16条线路的级联链路捆绑。

  14. 5 PortChannel的优势 • PortChannel有更高的可靠性和灵活性 －分布在不同板卡，不同端口组上 • PortChannel有更高的适用性 －无master/slave 概念，可适用于IVR链路 • 更高的聚合带宽 － 16 x 10G vs 8 x 8G • 更好的长距离性能 • 免费提供

  15. 6 VMware环境优势 • 提供可预测的，稳定的运行速率 • 可提供VM层面的VSAN和IVR • VM层面的QoS • VM层面的安全访问控制 • VM层面的距离延伸（通过FC或FCIP)

  16. 思科SAN产品（MDS）应用场景

  17. 思科SAN产品（MDS）应用场景 • 1 SAN 整合/核心－边缘体系结构 • 2 灾难备份 • 3 FICON环境 • 4 VMware应用环境 • 5 存储加密(SME) • 6 数据迁移(DMM) • 7 SAN 安全管理 • 8 智能存储应用(SANTap) • 9 FCoE应用环境

  18. IndustryFirst! SAN的整合与资源共享 基于应用或部门的SAN孤岛 Cisco MDS 9000 Family 部门一的VSAN 部门一的SAN 在VSAN间 建立统一的 存储资源 共享池 部门二的SAN 部门三的VSAN 部门二的VSAN Collapsed Fabric with VSANs 部门三的SAN • 独立的物理SAN，存储难以在部门间共享 • 每个物理SAN需要配置独立的冗余端口，成本高 • 需要管理的交换机数量多，管理工作量大 • 各个SAN端口不能迁移 • 统一的物理SAN，存储易于在部门间共享 • 统一规划冗余端口配置，降低成本 • 所需管理的交换机数量少，管理工作量小 • 端口可以方便地在VSAN间迁移，易于调整与配置

  19. 采用基于磁盘复制的灾备方案，往往都是在实现了存储整合的基础上，即实现了业务处理、数据的大集中采用基于磁盘复制的灾备方案，往往都是在实现了存储整合的基础上，即实现了业务处理、数据的大集中 生产数据采用基于磁盘复制的灾备方式，例如EMC/SRDF，HDS/UR，IBM/MM、GM等 客户可以按照需要，选择两中心灾备模式，两地三中心高可用灾备模式，或多中心高可用灾备模式 对SAN的要求是实现Fiber Channel（FC）的远程传输，以实现SAN的同城、异地连接，保证数据复制 选择同城、异地的数据复制，决定于客户的应用对灾备目标的选择以及对远程数据复制时延的忍受程度 灾备方案的SAN环境 SalesSAN HRSAN MarketingSAN SAN Extension Services 利用思科的VSAN及IVR，将生产环境与灾备环境相连接，但避免异地SAN融合

  20. 方案特点： 整体架构采用核心－边缘的设计，核心与边缘之间采用多路的高可用Port Channel连接，保证性能与高可用性。 整体架构的扩展能力强，核心建议采用MDS 9513，其本身的扩展能力非常强，单台可以提供528端口的连接。边缘配置灵活，可以从MDS全系列中按需选择。 存储设备连接到核心层面，提供给服务器的共享存储，可以满足不同部门共享存储的需求。 服务器遵循高可用性的设计原则，对称连接到冗余的边缘交换机上。 MDS的VSAN功能可以很好地实现对不同虚拟存储网络的隔离，可以隔离生产与办公、开发、测试等环境；同时帮助客户更有效地利用存储，可以很快地帮助客户复制生产环境的数据到开发、测试环境。 大规模的SAN网络设计模式 存储设备 磁盘阵列 16 16 16 16 16 16 16 16 服务器： 双链接到冗余的交换机

  21. IPS-8 IPS-8 使用集成FICON over FCIP实现灵活的远程访问和数据复制 RemoteSites • Cisco的技术简化了业务连续性 • 适合各距离要求的解决方案 • CWDM SFPs • DWDM 及 SONET 光产品 • MDS 9000 IP存储服务板卡 MDS 9000 CWDM DWDM/SONET Backup Servers MDS 9000 MDS 9509 FCIP 跨越全球的距离 IP网络 MDS 9000 Corporate HQ

  22. 中国建设银行

  23. 中国建设银行 方案特点： • 超大型SAN 网络设计和部署 • 洋桥数据中心采用双fabric, 每fabric双核心-边缘体系架构，最大限度的提升系统可用性和可扩展性 • MDS9513无阻塞的体系架构保证作为SAN核心提供最优的业务性能 • MDS 9513高端口密度和高带宽保证了各楼层机房与核心之间互连有足够的冗余性和带宽 • 洋桥核心MDS9513仅用来连接各楼层机房和亦庄机房的边缘SAN交换机，不连接任何设备 • 经过计算的超载比优化系统端口的分布和PortChannel的利用率 • VSAN的应用将多个业务清晰的隔离并可对不同业务实施不同的管理策略 • 洋桥与亦庄机房全部SAN交换机，以及中间的链路DWDM连接设备全部由Cisco提供，为客户提供了全局的解决方案 • 架构支持未来FCoE设备的连接

  24. 针对客户现有第三方SAN环境的策略和切入点

  25. 策略一：先渗透，再迁移 • 整体上，建议客户从进一步SAN整合入手考虑设计，从架构优势和整体方案上，介绍思科SAN方案的优势。 • 在过度阶段，有可能出现与第三方SAN共存的阶段。在设计上，尽量采用双SAN架构的设计，即思科SAN与第三方SAN各自独立，这样，即避免了兼容性的问题，又可以相互备份。 • 在上述方案的基础上，逐步扩大思科SAN环境。第一步将新的系统接入到思科SAN环境，让客户初步尝试思科SAN的好处；第二步将现有的一些核心业务迁移到思科SAN环境中；最终完成所有核心生产系统的迁移。这样，能充分发挥思科SAN的优势，让客户满意。 • 思科有相关的服务部门提供SAN迁移的服务。 • 在博科FOS 6.4.0后，博科封闭了对第三方SAN交换机的连接！这意味着客户选择博科，那么将被迫与博科的未来绑定，这及其不符合开放市场竞争的原则，希望客户慎重考虑。 • 相对来说，思科的SAN交换机设计更符合开放的标准，可以给客户更多的选择。

  26. 策略二：灾备与生产独立建设 • 在客户建立生产中心的SAN环境，同时考虑到灾备中心的建设时；或客户稍后考虑灾备中心建设时，是思科SAN很好的切入点。 • 一般情况下，灾备中心的SAN环境可以独立于生产中心的SAN环境，可以在灾备中心让客户采用思科的SAN方案，这样，避免了兼容性问题。 • 同时，可以向客户推荐思科的远程SAN连接方案，作为整体灾备方案的一部分。此远程SAN连接方案，尽量只涉及存储之间或服务器与存储之间的连接，这样也避免了与第三方SAN的兼容性问题。

  27. MDS 在国内的主要客户 • SP: • 中国移动(16省) • 中国联通(10省) • 中国电信(14省) • Government and Enterprise: • 铁道部 • 国家电网 • 部分省公安厅／局 • 部分省财政厅／局 • 国税总局 • 部分地方税务局 • FSI: • 中国银行 • 中国建设银行 • 中国农业银行 • 中国人民银行 • 交通银行 • 招商银行 • 民生银行 • 华夏银行 • 中信银行 • 广发银行 • 中国银联 • 广发银行 • 中国人民保险公司 • 中国人寿 • 上海证交所 • 国泰君安证券 • 中信证券 • 海通证券 • CCTV • 青岛海尔 • 一汽大众 • 上海汽车 • 东风汽车 • 首都机场 • 浦东机场

  28. MDS 9000系列产品中国区联系人

  29. Backup slides

  30. 8Gb环境下的性能测试 Miercom 测试 Brocade DCX 带有2块32端口板，16个单一方向数据流， 1个8G数据流，31个4G数据流 Miercom 报告 “Cisco MDS 可以通过所有混合速率环境的的测试，但是在某些条件下，Brocade却显示出一定的性能下降，最多高达50％！当31个端口并发混合速率4G模式被应用时，一个8-Gbps连接的吞吐量从840-Gbps降低到420-Gbps。 DCX 是有阻塞的交换机 8G只能达到4G的传输带宽.

  31. Cisco MDS与Brocade本地交换的对比测试（1） Cisco测试结果 • 混合数据流，8个initiator, 1个target • 每个initiator应该有105MB带宽到target 测试: 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 结果: SANtester 有固定的，随机的和增加的OXID队列 任何流量都不受影响 – 一致的公平的性能

  32. 15 31 14 30 13 29 12 28 11 27 10 26 9 25 8 24 7 23 6 22 5 21 4 20 3 19 2 18 1 17 0 16 Cisco MDS与Brocade本地交换的对比测试（2） Brocade测试结果 27 31 • 混合流量从4个initiator到1个target • 每个initiator应该得到210MB的带宽 26 30 8 x 8G unused 25 29 8 x 8G Condor 2 ASIC (40 x 4G) 28 24 11 15 8 x 8G 10 14 9 13 12 8 19 23 22 18 8 x 8G unused 17 8 x 8G 21 Condor 2 ASIC (40 x 4G) 16 20 3 7 8 x 8G 6 2 Traffic Flows: 端口15到端口31 – 本地交换 端口30到端口31 －本地交换 端口7到端口31 －背板交换 端口23到端口31 －背板交换 1 5 0 4

  33. Cisco MDS与Brocade本地交换的对比测试（3） Brocade测试结果 SANtester 使用随机OXID队列 本地交换流量受到影响 SANtester 使用固定OXID队列 本地交换不受影响 Brocade本地交换或非本地交换都无法实现线速，且相互干扰

  34. Brocade DCX 并不阻止损坏的数据 沉默的数据损坏总是会发生的，这对业务来讲是灾难性的 DCX在SAN中转发损坏的帧 这将导致 消耗故障排除的时间和精力 偶尔发生的性能问题必须要追踪数据损坏 Cisco MDS检测并丢弃损坏的帧，防止fabric阻塞和数据损坏，并可根据事先定义好的阈值关闭损坏的端口 Frame with bad CRC… is forwarded through DCX FC Frame FC Frame Bad CRC Bad CRC *Data Corruption at Netflix: http://blog.netflix.com/2008/08/shipping-delay-recap.html

  35. 坏帧测试(1) • Brocade交换机向全fabric转发有CRC错误的帧 • Brocade交换机依赖于相连的设备来丢弃收到的坏帧 • Brocade交换机对进入fabric的坏帧没有保护机制，这个坏帧可能来自： • 一个损坏的HBA卡 • 一个损坏的SFP模块 • 一条损坏的线缆 • 客户为什么要接受这样的处理方式？ • Cisco MDS 会自动丢弃损坏的帧

  36. 坏帧测试(2) Initiator 101/1 Initiator 101/2 Initiator 101/3 Initiator 101/4 Target 102/1 48000 Initiator 201/1 Initiator 201/2 Initiator 201/3 Initiator 201/4 Target 202/1 DCX Initiator 301/1 Initiator 301/2 Initiator 301/3 Initiator 301/4 Target 302/1 9509

  37. Initiator x01/1 - 没有错误 Initiator x01/2 - 没有错误 Target x02/1 Initiator x01/3 - CRC错误 Initiator x01/4 - 丢弃帧尾 交换机 坏帧测试(3) Initiator x01/1 Initiator x01/2 Initiator x01/3 Initiator x01/4

  38. 坏帧测试(4)

  39. Port Channel 测试 (1) 测试环境 拓扑结构 Single Fabric Dual Fabric

  40. Port Channel Test (2) 测试方法 通过SMIT在其上创建的ciscovg，然后创建了两个文件系统。在其中一个文件系统（源文件系统）中预先拷贝了11GB 左右的文件。在测试中，通过cp的方式，将这些文件拷贝到另一文件系统（目标文件系统），来模拟应用系统的并发 的读写I/O。 在测试中，通过在服务器上的iostat命令查看HBA卡和磁盘的I/O状况。

  41. Port Channel Test (3) 测试结果 结论 从以上的测试过程中，思科的MDS交换机在级联的配置下，级联链路可以很好的负载分担流量。当级联链路发生故障时，对于主机的I/O没有影响。同时，级联链路在配置了port channel或没有配置port channel的情况下，均可以自动分配流量到剩余的级联链路上，很好地实现了负载分担和高可用性。

  42. DCX 高可用性测试－使用Oracle测试脚本 Oracle数据库性能测试，使用HammerOra提供测试流量（http://hammerora.sourceforge.net） - 两台Win 2003服务器 (8G HBAs) 两台SATAbeast存储阵列 (双 4G 端口) 每台服务器的I/O负载都很轻: - 5MB/s (小于8G的1％) - 60% 读和40% 写

  43. MDS 高可用性测试结果- Oracle 数据库流量 9513 FAB-2(交换板）下电，拔出，插入，再上电 No impact to traffic 9509主动引擎板带电拔出 No impact to traffic 9509 引擎板插入，上电 No impact to traffic

  44. DCX 高可用性测试- Oracle 数据库流量 DCX CR8 交换板下电 应用流量停顿30－35秒！ DCX CR8 上电.当自检完成后进入在线状态时

  45. 结论 Brocade 交换机无法很好处理不同速率的混合环境，尤其是在SAN上出现非常低速的设备时，Cisco MDS无此问题 Brocade 交换机无法很好处理坏帧，Cisco MDS无此问题 Brocade 交换机无法提供恒定的性能，尤其是当出现端口阻塞时. Trunk中有物理链路不稳定时，Brocade 交换机会导致IO Hung。Cisco MDS无此问题 都是架构惹的祸 *Data Corruption at Netflix: http://blog.netflix.com/2008/08/shipping-delay-recap.html

More Related