420 likes | 722 Views
使用 EMC XtremSW Cache 提升 Microsoft Exchange 性能 EMC VNX 存储和 VMware vSphere. EMC Solutions Group SSE Midrange Apps Engineering 2013 年 3 月. 关于此解决 方案. 这一经验证的解决方案展示了 EMC XtremSW Cache 如何能在 EMC VNX 存储和 VMware 虚拟基础架构上提升 Exchange 2010 性能。
E N D
使用 EMC XtremSW Cache 提升 Microsoft Exchange 性能EMC VNX 存储和 VMware vSphere EMC Solutions Group SSE Midrange Apps Engineering 2013 年 3 月
关于此解决方案 • 这一经验证的解决方案展示了 EMC XtremSW Cache 如何能在 EMC VNX 存储和 VMware 虚拟基础架构上提升 Exchange 2010 性能。 • 该解决方案介绍了 XtremSW Cache 的设计、部署、最佳做法和性能结果。 • 该解决方案的详细白皮书发布在:china.emc.com。
解决方案范围 • 评估将 XtremSW Cache 与 Exchange 2010 搭配使用的优势 • 评估 XtremSW Cache 是否会提升 Exchange 2010 性能 • 评估具有重复数据消除选项的 XtremSW Cache 的性能优势 • 为 vSphere 上的 Exchange 2010 提供 XtremSW Cache 设计和配置最佳实践
解决方案概述 • 将 Exchange 2010 环境中的 15,000 位用户在 DAG 中部署,并在 VMware vSphere 上提供两个副本 • 为 Exchange 数据库和日志配置 VNX 存储(NL-SAS 存储池) • 配置 XtremSW Cache 以提升数据库卷的性能 已测试多个用户工作负载配置文件(150-300 封邮件/用户/天)
解决方案组件 • VNX 5700 Block OE 5.32 (5.32.000.5.015) • 具有 2 TB NL-SAS (7.2k rpm) 磁盘的存储池,用于 Exchange 数据库和日志 • 非精简 LUN • vSphere5.0 更新版 1 • 两个服务器,配有 Intel Xeon X7560 CPU,2.27 GHz,32 个 (4x8) CPU 和 192 GB RAM,用于托管 Exchange 邮箱服务器虚拟机 • 禁用超线程 • EMC XtremSW Cache • 每个 ESXi 5.0 服务器都拥有 XtremSF300 GB PCIe卡 • XtremSW Cache 版本 1.5.1 SP1(内部版本 224) • Exchange 2010 • 15,000 位用户 • DAG,具有 2 个副本,6 个服务器 • 每个邮箱服务器虚拟机 5,000 位用户 • 专为 150 封邮件/用户/天配置文件设计
关于 XtremSW Cache • XtremSW Cache 是一款服务器闪存缓存解决方案,可通过利用智能软件和 PCIe 闪存技术缩短延迟并增加吞吐量,从而提高应用程序性能。 • 对于那些需要最高 IOPS 和最短响应时间的应用程序,XtremSW Cache 可加快其数据块 I/O 读取速度。 • XtremSW Cache 可通过使用连接到网络存储的直写缓存来加快读取速度和保护数据,从而实现持久的高可用性和灾难恢复。 • 与基于阵列的 EMC 全自动存储分层 (FAST) 软件和 FAST Cache 配合使用 • 针对物理和虚拟环境而优化
XtremSW Cache 高级体系结构 1 2 9 8 3 4 PCI 闪存卡提供较低读取延迟 5 7 6 • 读取操作由 XtremSW Cache 提供服务以优化 性能 • 写入操作将传递到存储阵列以实现 保护 直通写入,以便 VNX 存储提供保护
使用 XtremSW Cache 的存储设计 • 为数据库创建两个存储池 • 每个池 48 个 2 TB 7.2k rpm NL-SAS 驱动器,RAID 1/0 • 每个池包含来自不同虚拟机的多个副本 • 3 个构造块(3 个虚拟机) • 18 个 1.6 TB LUN(每个虚拟机 6 个 LUN) • 通过 XtremFS卡在每个 vSphere服务器创建 326 GB VFMS 数据存储 • 通过 VMFS 缓存数据存储为每个 Exchange 虚拟机创建 50 GB 缓存设备 • 剩余容量为虚拟机保留,可从其他 vSphere服务器迁移
XtremSW Cache 配置详细信息 • 每个 Exchange 虚拟机都配置有 50 GB Cache 设备 • 6 个源设备 — 6 个数据库 LUN (RDM) 1.6 TB,每个均添加到 XtremSW Cache 设备 • XtremSW Cache 页面大小和最大 IO 块大小设置为 64KB CLI 命令用于将缓存设备添加到虚拟机: vfcmt add -cache_dev <harddisk13> -set_page 64 max_io_size 64
为什么为 Exchange 更改 XtremSW Cache 最大 I/O 大小? • Exchange 数据库页面大小为 32 KB • Exchange BDM 为 256 KB 读取 • 当在主机上混合并合并这两个 I/O 时,会产生大约 48 KB 的平均 I/O • 当数据库读取 IO 与 BDM I/O 混合时,平均读取 I/O 大小大约超过 128 KB VNX 存储上的 Exchange 2010 数据库 I/O 大小
如何创建缓存设备 • 使用 vCenter VSI 创建,选择创建 XtremSW Cache 设备 • 选择带有 XtremSF PCIe 闪存卡的 vSphere 服务器 • 选择缓存设备大小和虚拟机,然后单击“确定”完成。
使用 XtremSW 缓存设备进行虚拟机迁移 • 使用 vCenterXtremSW Cache VSI 插件 • 确保目标服务器上有足够的缓存容量 • 在已迁移虚拟机的目标服务器上,缓存将冷启动 缓存效率将降低,直到缓存重新变暖。
启用重复数据消除功能的缓存设备 • 您可通过执行以下命令使用 XtremSW Cache VSI 插件或 CLI 在 Exchange 虚拟机上启用重复数据消除: vfcmt add -cache_dev harddisk13 –set_page_size 64 –set_max_io_size 64 –enable_ddup –ddup_gain 20 • 其中: • harddisk13 是为虚拟机配置的操作系统缓存设备。 • ddup_gain 20 是虚拟机上的系统缓存设备的重复数据消除收益百分比。
使用 XtremSW Cache 设备的 vMotion • 在 XtremSW Cache 设备已连接至 Exchange 虚拟机的情况下,确保执行 vMotion 之前满足以下要求: • 目标数据存储区有足够的容量可供新设备使用 • 主机虚拟机没有其他基于 DAS 闪存的设备 • 在主机虚拟机上仅配置了一个 XtremSW Cache 设备 • 当前未在迁移要迁移的虚拟机 • 源主机和目标主机必须能够彼此通信(确保已正确配置 IP 地址和 DNS)
使用 Jetstress 进行性能验证 • 配置 • 一个 VNX 存储池(48 个 2 TB NL-SAS 驱动器)中 3 个服务器(构造块) • 为每个 Exchange 虚拟机创建 50 GB XtremSW Cache 设备 • 仅对数据库 LUN 启用缓存加速 • 每个服务器 7.8 TB 数据集(每 3 个服务器 23.4) • 模拟的工作负载 • JetStress 总吞吐量测试(2 个小时)
使用 Jetstress 时的 Exchange 性能 (IOPS) • 来自三个邮箱服务器的 IOPS 合计提高 26%,从 2,812 IOPS 提高至 3,545 IOPS • 读取 IOPS 提高 34%,从 1,388 IOPS 提高至 1,862 IOPS • 写入 IOPS 提高 33%,从 851 IOPS 提高至 1,118 IOPS
使用 Jetstress 时的 Exchange 性能(延迟) • 读取延迟降低 3.2 ms。 • 写入延迟稍微提高
VNX 性能(存储池) • 对后端存储阵列的读取 IOPS 降低 16.5%,这是由于 XtremSW Cache 将读取操作从阵列分流到服务器 • 对后端存储的写入 IOPS 降低 50%,这是由于 XtremSW Cache 读取从阵列分流到服务器,从而允许直写缓存处理更多的写入活动 • 磁盘使用率提高 15%,这是由于阵列处理更多的写入活动 • 带宽增加 6.5% (MB/s),这是由于增加的写入活动由阵列处理
使用 LoadGen 进行性能验证 • 配置 • 一个 VNX 存储池(48 个 2 TB NL-SAS 驱动器)中 3 个服务器 • 为每个 Exchange 虚拟机创建 50 GB XtremSW Cache 设备 • 仅对数据库 LUN 启用缓存加速 • 在容量达到 60% 时对用户 1.5 GB 邮箱进行初始化(每个服务器 5.4 TB 数据集(每 3 个服务器 16.2TB)) • 工作负载详细信息 • 采用 Outlook 缓存模式的 Exchange 2010 Loadgen,用户配置文件为 150、250 和 300 封邮件/用户/天(3:2 读/写比率)
使用 LoadGen 获得的性能结果 • 150 封邮件/用户/天的工作负载 • 读取延迟降低 51%(降低 6.4 ms) • 用户 IOPS 提高 14.6%(提高 224 IOPS) • 250 封邮件/用户/天的工作负载 • 读取延迟降低 69.3%(降低 11.1 ms) • 用户 IOPS 提高 12.8%(提高 275 IOPS) • 300 封邮件/用户/天的工作负载 • 读取延迟降低 56.8%(降低 12.5 ms) • 用户 IOPS 提高 12%(提高 346 IOPS)
使用 XtremSW Cache 重复数据消除实现的性能 • 由于对重复数据进行 XtremSW Cache 分析和处理,写入延迟稍微提高 • 每个工作负载的 Exchange Server CPU 利用率降低
使用 XtremSW Cache 重复数据消除实现的性能 • 对 VNX 存储池的写入 IOPS 降低 27.7%
对 XtremSW 缓存效率产生的 BDM 影响 • 最大 I/O 设置为 64 k(默认值) • 当 BDM 未在 Exchange 数据库上运行时,XtremSW Cache 会跳过更少的读取 I/O • 与运行 BDM 的数据库相比,无 BDM 的数据库上的读取延迟更高(提高 3-4 ms)
何时为 Exchange 工作负载考虑使用 XtremSW Cache • 在以下情况下为 Exchange 考虑使用 XtremSW Cache: • 您拥有一个 I/O 绑定 Exchange 解决方案 • 您不确定预期的工作负载 • 您需要保证为特定用户(VIP 服务器、数据库等)提供较高性能和较低延迟
为 Exchange 工作负载使用 XtremSW Cache 的好处 • 根据 EMC 验证,XtremSW Cache 会在以下方面提高 Exchange 2010 性能: • 降低数据库读取延迟 • 提高 I/O 吞吐量 • 消除较高延迟峰值 • 随着工作负载的增加提供更多改进 • RPC 延迟降低 • 对后端存储的读取操作减少 • 利用 XtremSW Cache 重复数据消除时对后端存储的写入操作减少
基于解决方案验证的最佳实践 • 当在 VMware vSphere 上将 XtremSW Cache 实施到现有 Exchange 2010 部署时,请考虑以下因素: • 要部署的 XtremSF PCIe 卡的大小 • 在将使用 XtremSW Cache 的每个 vSphere 主机上部署的 Exchange 虚拟机数量 • Exchange 工作负载特性(读:写比率、用户配置文件类型) • 当缓存来自工作数据集的所有读取时将实现最大优势
基于解决方案验证的最佳实践 • 您可以在物理 Exchange 邮箱服务器或托管 Exchange 邮箱虚拟机的虚拟机监控程序服务器(VMware 或 Hyper-V)上安装 XtremSF Cache PCIe闪存卡 • 仅对数据库卷启用 XtremSW Cache 加速 • XtremSW Cache 大小确定指导: 对于 1,000 GB 工作数据集,配置 10 GB 的 XtremSW Cache 设备
配置建议 • 当将 XtremSW Cache 设备添加到 Exchange 虚拟机时: • 将缓存页面和最大 I/O 大小设置为 64 KB(将不缓存 BDM I/O) 使用 XtremSW Cache CLI 将缓存设备添加到 XtremSW Cache 版本低于 2.0 的虚拟机。借助版本 2.0,您应能够使用 VSI 插件配置页面大小。 • 当将缓存设备添加到虚拟机时,使用以下 CLI 命令设置缓存页面和最大 I/O 大小: vfcmt add -cache <cache_device> -set_page_size 64 -set_max_io_size 64
启用了重复数据消除功能的 XtremSW Cache • 在考虑为加速 Exchange LUN 启用重复数据消除之前,评估您的工作负载 • 在启用重复数据消除时考虑 CPU 开销 • 基于工作负载特性设置重复数据消除比率: • 如果观察到的重复数据消除比率低于 10%,则关闭重复数据消除,或将重复数据消除收益重新配置为 0。如果观察到的比率高于 35%,则提高重复数据消除收益,使其与观察到的重复数据消除匹配。 • 如果观察到的比率在 10% 和 35% 之间,则保持重复数据消除收益不变。
重复数据消除配置建议 • 建议: • 如果观察到的重复数据消除比率低于 10%,则关闭重复数据消除,或将重复数据消除收益重新配置为 0。 • 如果观察到的比率高于 35%,则提高重复数据消除收益,使其与观察到的重复数据消除匹配。 • 如果观察到的比率在 10% 和 35% 之间,则保持重复数据消除收益不变。
如何监视重复数据消除统计信息 • 重复数据消除统计信息命令: vfcmtdisplay -ddup -cache_dev harddisk13 其中:<harddisk13> 是虚拟机上的缓存磁盘设备 • 要手动计算观察到的重复数据消除命中率(缓存中的重复数据量),请使用此公式: (写入命中次数 ÷ 收到的写入) *100 示例:44414733÷125477788 = 35.4% • 要更改已配置的比率,请移除 XtremSW Cache 设备,然后使用vfcmt add -cache_dev命令重新创建一个新设备
总结 • XtremSW Cache 可改进 Exchange 2010 I/O 和读/写延迟 借助 XtremSW Cache,几乎不存在较高的延迟峰值 • XtremSW Cache 可改善 Exchange 用户体验 RPC 延迟得到降低 • 根据测试获得的观察结果,我们建议您将缓存页面和最大 I/O 大小设置为 64 KB • XtremSW Cache 重复数据消除功能与 Exchange 配合非常好,不会影响数据库性能或读/写延迟