1 / 37

通过 Oracle GoldenGate 实现向 Oracle Exadatade 的零停机迁移 : 客户案例分享

通过 Oracle GoldenGate 实现向 Oracle Exadatade 的零停机迁移 : 客户案例分享. 2011年12月15日. 日程. Oracle Exadata 简介 Oracle GoldenGate 概览 通过GoldenGate实现向Exadata迁移 Oracle Data Integration 用于 Oracle Exadata 客户案例分享 : IQNavigator Q&A. 最快的 数据仓库及 OLTP 最低成本，超高性能的 数据仓库及 OLTP 硬件优化（每机架） 处理器： 128 个因特尔内核， 2 TB 内存

blue
Download Presentation

通过 Oracle GoldenGate 实现向 Oracle Exadatade 的零停机迁移 : 客户案例分享

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 通过Oracle GoldenGate实现向Oracle Exadatade 的零停机迁移: 客户案例分享 2011年12月15日

  2. 日程 • Oracle Exadata简介 • Oracle GoldenGate 概览 • 通过GoldenGate实现向Exadata迁移 • Oracle Data Integration用于Oracle Exadata • 客户案例分享: IQNavigator • Q&A

  3. 最快的 数据仓库及OLTP 最低成本，超高性能的数据仓库及OLTP 硬件优化（每机架） 处理器：128个因特尔内核，2 TB 内存 网络：880 Gb/Sec 吞吐量 存储：5 TB 闪存和高达 336 TB 的硬盘 规模从¼机架到全部8个机架 Oracle Exadata 数据库机

  4. Oracle Exadata • 数据库服务器 • 基于Intel的数据库服务器 • Oracle Linux 或 Solaris 11 • 10 G 以太网 (连接数据中心) • 存储服务器 • 硬盘高达 336 TB • 5 TB 闪存存储 • Oracle Exadata 存储软件 • InfiniBand 网络 • 40 Gb/sec InfiniBand

  5. 超高性能和存储效率 • 数据库 • Oracle Database 11g • Oracle Real Application Clusters • 存储 • 智能扫描（Smart Scan） • 混合列压缩 • 智能闪存缓存（Smart Flash Cache）

  6. 创建一个“数据库即服务”平台 Exadata 提供最优整合 HR EDW • 存储量大 • 可实现多数据库整合 • 超高性能 • OLTP，数据仓库，数据挖掘，批处理，报表，加载，备份，数据库文件 • 加密，压缩 • 工作负载管理 • 通过服务器质量（QoS）管理SLA • CPU和I/O资源管理 • Instance caging CRM ERP Supply Chain 数据市场

  7. 通过Oracle GoldenGate实现向Oracle Exadatade 的零停机迁移 ORACLE PRODUCT LOGO

  8. 以下内容旨在概述产品总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。以下内容旨在概述产品总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。 Oracle 有权自行决定任何产品的特性或功能的开发、发布和时间安排。

  9. 日程 • 数据迁移的关键挑战 • Oracle GoldenGate概览 • 通过GoldenGate实现向Exadata迁移 • Oracle Data Integration用于Oracle Exadata

  10. 实例化数TB/PB的内容 临时区域 变更管理 特殊处理 向Exadata 迁移的关键挑战 维持SLA 同步问题 数据问题 • 影响收入 • 客户/合作伙伴预期 • 相互依赖，集成 • 故障恢复策略/选项 • 持续变更 • 增量式数据移动 • 源数据影响

  11. 最大可用性体系架构 下一代数据集成 Oracle GoldenGate

  12. 五大步骤实现最高可用性 Oracle GoldenGate ActiveData Guard • 零停机升级和迁移 • 在线平台和应用升级 • 双向多主复制 • 分发只读与读写工作负载 • 为站点防护提供了物理复制的另一种方法 • 灵活规划的维护和异构迁移 Flashback • 数据库故障 • 系统故障 • 站点故障 • 零数据丢失 • 自动数据库故障转移 • 漏写保护 • 数据库滚动升级 • 卸载只读工作负载和备份 • 进行迁移 Oracle RAC • 连续时点（PIT）恢复 • 修复逻辑损坏 • 事务 • 表 • 数据库 • 实例失败 • 服务器故障 • RAC rolling维护 • 性能 scale-out • 合并 ASM, RMAN,OSB • 存储故障 • 数据恢复 • 备份

  13. Oracle Data Integration下一代企业级数据集成解决方案 • 任意数据 • 弹性架构 • 性能最高的ETL/ELT • 快速、简单部署 • 清洁并与任意数据匹配 Oracle GoldenGate 实时 Oracle Data Integrator 更易用、更快、更低TCO Oracle Enterprise Data Quality 提供企业信任的数据 认可数百种目标地 认可数百种数据来源

  14. 同类最佳的性能和可伸缩性 Oracle Data Integrator 11g实现最快的ETL/E-LT，加快价值实现，降低TCO 降低TCO，轻量级部署 提高可用性和可管理性 异构 Oracle Data Integrator 企业版 开放、基于标准 原有源 任何数据仓库 应用源 任何计划系统 OLTP 数据库源

  15. GoldenGate: Oracle 战略性产品 • 超过1200家客户，包括财富500强企业，金融服务，通讯、医疗、公共机关、零售和公用事业等多个行业。 • 五大商业银行中的4家 • 三大最繁忙ATM网络全部部署 • 五大财务数据服务公司全部部署 • 五大电信运营商全部部署 • 五大食品和药品连锁店中的3家

  16. Data Integrator Oracle GoldenGate 11g低影响、实时数据集成和事务复制 零停机升级&迁移 新数据库/硬件/应用/OS 高可用/灾难恢复 原资源 完全主动的分布式数据库 Query Offloading, Disaster Recovery 基于日志，变更数据 报表数据库 实时BI, 运营报表,MDM 数据仓库 数据库 ODS 整个企业数据同步 全球数据中心 事件驱动架构, SOA 消息总线 消息总线

  17. Oracle GoldenGate 工作原理 捕获:实时读取交易日志，捕获事务数据并可实现过滤。 队列文件: 准备数据，使数据排入队列以备传输。 数据泵:分发数据以便传输至目的地。 传输：数据经过压缩和加密传送到目的地。 提交:保持数据事务完整性，根据需要执行数据转换。 源（Oracle或非Oracle）数据库 目标（Oracle或非Oracle）数据库 双向

  18. Oracle GoldenGate — 与众不同 高性能 • 数据移动亚秒级延迟 • 低影响 可扩展和灵活 • 开放式、模块化体系架构架构 • 支持异构源和目标数据库 • 灵活敏捷，适应现代数据集成架构 高可靠 • 保持事务完整性 • 避免中断或故障 • 进程中断后快速恢复

  19. 零停机整合/迁移 • 解决方案 • 使用Golden Gate在旧数据库与Exadata之间进行双向事件复制。 • 优点 • 保证业务不因迁移/整合而中断 • 通过故障恢复选项将风险降至最低 • 通过逐步迁移促进成功 转换 实时更改数据 Oracle, Legacy,非Oracle 数据库 故障恢复数据流 Oracle Exadata

  20. 日程 • 数据迁移的关键挑战 • Oracle GoldenGate 概览 • 通过GoldenGate实现向Exadata迁移 • Oracle Data Integration用于Oracle Exadata

  21. 零停机转换 数据库滚动升级(10g  11g) 主动-主动，阶段性整合 非侵入式，开支最小化 非Oracle 到 Exadata 与非Oracle设备的连通性 有效的基于工具的解决方案 自动阶段性控制 用于Exadata的数据集成解决方案 - 1推动OLTP 数据库整合 数据库迁移/整合 数据仓库设备迁移

  22. 向Exadata迁移使用原生工具从非Oracle设备向Exadata迁移向Exadata迁移使用原生工具从非Oracle设备向Exadata迁移 • 解决方案 • 利用ODI实现来自非Exadata的数据在Exadata数据模型中建模和映射 • 为Netezza、Teradata、DB2/z及DB Utilities提供原生支持 • GoldenGate 从Teradata 或 DB2 z系列中进行实时CDC 优点 • 基于工具的迁移更具可重复性与自动性 • 主动-主动阶段性转换选项 • ODI和GoldenGate 是更易维护的解决方案，它们可用于长期规划

  23. 持续数据更新 数据流进入Exadata 非侵入式捕捉 事务一致性 调整并优化延迟 非侵入性，高速 微批次 w/DB捕捉 增量， Intra-data Feeds 成本有效运作 没有新 ETL硬件 整合监控与管理 简单并快速安装 最快的E-LT 利用 DBFS w/Exadata SQL 智能扫描进行数据转换 针对Exadata优化 E-LT 用于Exadata的数据集成解决方案 - 2 启动智能数据仓库 数据仓库批量加载 实时数据仓库升级

  24. 解决方案 Oracle GoldenGate 为数据仓库提供基于日志的实时变更数据捕捉、分发和交付 Oracle Data Integrator 可提供一日内或每日或其他任何时段的解决方案 优点 GoldenGate是非侵入式，不影响源系统 使用GoldenGate、CDC Adapters、Triggers或Delta ETL jobs，ODI 工具可模拟任何时段数据的交付 更低成本，数据可按业务要求速度交付 Oracle Data Integration 用于数据仓库随时将数据导入数据仓库 低影响,实时变更数据 Oracle GoldenGate Oracle GoldenGate Oracle Data Integrator ODI Agent 支持绝大多数主流数据库管理员工具 批量处理一日内或每日负载 支持绝大多数主流数据仓库

  25. 客户案例: Exadata上的实时数据仓库AVEA • 目标 • 通过及时客户信息支持活动管理 • 数据增长的同时减少批处理窗口，提升ETL及报表性能 • 投资回报 • 在Siebel CRM活动管理系统中及时访问数据 • 数据仓库批处理窗口减少50% • 从数据仓库生成报告的数量增长10倍 • 解决方案 • GoldenGate 从CRM、Billing和其他关键系统向ODS提供实时数据 • ODI 从ODS中获取近实时数据并载入Exadata数据仓库 • OBI EE 用于实时报告

  26. DIM DIM 为Exadata提供完整数据集成 顶级性能, 集成，“Red Stack Optimized” • 直接在Exadata上运行 • 为数据仓库启用迁移、整合 • 支持任何时间的数据内容 • 提供非侵入式来源捕获 • 最具成本效益、性能超高的数据加载 Oracle Data Integrator tx4 tx3 tx2 tx1 非侵入式实时事务获取 OracleGoldenGate DIM DIM EMP DEPT FACT 通过ELT进行批量供给、增量更新及数据库内转换 26 EMP DEPT Oracle Data Integrator

  27. 总结 通过Oracle GoldenGate 实现零停机迁移

  28. 2011年12月15日 向Oracle Exadata迁移

  29. 服务于电子采购软件供应商 自动端到端：申请，合同，交付，计费 样例服务：临时工，顾问，外包服务，现场服务等 成立于1999年，总部设在科罗拉多州丹佛市。350 名员工 75% 的客户位于全球2000中 40%的使用量位于美国之外 全方位软件即服务 全方位Oracle 技术 实时报告 关注于通用性：定价基于“成本花费”而非用户情况进行定价；约有400万用户 市场领导者 2010 Forrester Wave: 市场现有及未来战略占有率均处于领先位置 每年30%的增长速度 IQNavigator 背景简介

  30. 扩展性战略 2011年初计划进行存储层升级 目标：更快的读写速度 速度问题：报表运行时间和页面响应时间影响用户量 需要继续对OLTP数据库实时报告 Exadata 评估选项 Exadata 优点 10倍性能（2011年2月通过概念证明） OLTP和实时报告工作负载 单一供应商支持模式 整合测试环境与OracleEBS数据库 未来的延伸性&扩展性 通过其他选项无法实现这种性能 无Oracle数据库之外的绑定供应商 2011年2月购入Exadatas两台四分之一机架 一个存储量超大，用于测试；一个吞吐量超大，用于生产。 2011年4月交付 Production & Oracle EBS 在2011年9-10月实行 为何选择 exadata?

  31. 要求零停机，因为: 全球2000家客户的需求 12家公司为财富100强 用户来自124个国家 众多金融服务及多业务客户 最大的客户在马来西亚拥有自己的全球技术支持中心 关键任务业务流程 发放50万名提供服务人员的工资 保障生产企业、配送中心及办公地点系统安全 向非雇员提供访问系统的客户端 通过经济处罚控制系统正常运行时间的SLA 对SaaS供应商而言有些独特 为何要求零停机？

  32. 迁移目标： 零停机(在周末通宵窗口之外) 高可靠迁移 测试与验证 每个步骤回退 对用户和客户完全透明 交换生产 & 灾难恢复数据中心 整合测试环境到二代Exadata上 最大限度减少日常运营及支持需求 起点& 迁移目标

  33. 核心项目规划要点： Proof-of-Concept: 生产数据（清洁），生产工作负载 检测SQL返回时间，CPU利用率，I/O吞吐量 利用Oracle服务安装及配置 迁移多测试环境： 仅供内部的测试环境，用户验收的测试环境 为客户提供性能预览 Exadata2 (测试) -> Exadata1 (成品)迁移 压力测试负载 最终协调 事先练习创建清单，派生回退计划并为每一个步骤获得良好的时序预估 附有多个检测点和清晰沟通步骤的高度结构化的计划 简化计划: 从Exadata迁移中独立出网络变更 单独运行Oracle EBS 升级项目 迁移计划概览

  34. 经验： Exadata 硬件：高容量硬盘，更多内存计算节点 系统制约(即调整目标)从硬盘中去读取CPU DBA角色扩展，可管理数据库中所有事务，包括存储 通过Oracle Support充分利用变更关系 更快的运行时间，以致更高的终端用户需求及新环境要求 终点& 经验

  35. 成果： 网页响应时间由每亚秒92%上升至每亚秒 中位数报告运行时间从2.5分钟缩短为22秒 百万行级别项目创建清单进程提速8倍 未来规划： 继续调整Oracle 11g及Exadata 为一些表单启用压缩 添加GoldenGate，将其转换至Exadata2上的备用数据库 快速运行近实时备用数据库的分析报告 增加扩展存储 成果 & 未来规划

  36. 加入我们 <Insert Picture Here> Oracle.com/Exadata Oracle.com/goto/GoldenGate Twittertwitter.com/ORCLGoldenGate twitter.com/Exadata Facebookfacebook.com/OracleDataIntegration Blogoracle.com/blogs/DataIntegration

  37. 问答 37

More Related