1 / 36

利用 Oracle Database 12c 实现 Oracle 数据库压缩

利用 Oracle Database 12c 实现 Oracle 数据库压缩. Oracle 系统技术 产品管理高级总监 Kevin Jernigan. 以下内容旨在概述产品的总体发展方向 。 该内容仅供参考 ，不可纳入任何合同 。 本演示不承诺提供任何材料、代码或功能，也不应将其作为购买决策的依据 。 此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的 日程安排均由 Oracle 自行决定 。. 议题. 数据增长带来的挑战 Oracle Database 12 c 的新特性 压缩功能 其他功能 优势总结. 数据增长带来的挑战.

dexter-orr
Download Presentation

利用 Oracle Database 12c 实现 Oracle 数据库压缩

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 利用 Oracle Database 12c 实现 Oracle 数据库压缩 Oracle 系统技术 产品管理高级总监 Kevin Jernigan

  2. 以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。本演示不承诺提供任何材料、代码或功能，也不应将其作为购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排均由 Oracle 自行决定。

  3. 议题 • 数据增长带来的挑战 • Oracle Database 12c 的新特性 • 压缩功能 • 其他功能 • 优势总结

  4. 数据增长带来的挑战 • IT 必须支持快速增长的数据量 • 在线访问和内容呈爆发式增长 • 政府数据保留法规 • 性能通常会随着数据增长而下降 • 自动压缩数据和移动数据 • 降低存储成本 • 提升性能 • 需要管理数据增长 • 不降低性能 • 不增加成本 • 尽可能减少管理干预

  5. 高级压缩选件的优势 • 透明：100% 对应用程序透明 • 更小：减少占用空间 • 资本支出：降低生产、备用、备份、测试和开发数据库的服务器和存储成本 … • 运营支出：降低加热、冷却、占地面积成本 … • 随着数据库规模的增长，在数据库的生命周期中实现额外而有持续性的节约 • 更快：事务、分析、数据仓库 • 更快的内存中加速：缓冲区缓存和闪存缓存中能容纳 3 至 10 倍的数据 • 加快查询速度 • 加快备份和恢复速度 • 跨 CPU、DRAM、闪存、磁盘和网络的端到端成本/性能优势

  6. Oracle Database 12c 的新特性

  7. 热图 － 数据的可视化使用 深入洞察有助于识别机会和促进自动化 表级热图 分区级热图 101010101110101001101011100001010001011011101010100101001001000010001010101 行级热图

  8. 热图 • 数据库热图 • 从数据库级热图上可以看出表和分区的使用状态 • 块级热图显示的是行级访问 • 同时显示读取和写入 • 将行访问和全表扫描区分开来 • 显示上次访问以及一段时间内的访问柱状图 • 高性能 • 内存技术 (“In-Memory” technology) • CPU 开销极低

  9. 针对 快速分析的 压缩列存储 针对快速 OLTP 的行存储 自动数据优化 随着数据老化： • 活动减少 • 数据量增加 • 较旧的数据主要 用于报告 合规性和 报告 报表 OLTP 10 倍压缩 15 倍压缩 alter table … add policy … compress for query after 3 months of no modification … compress for archive after 1 year of no modification 本季度 此前几年 今年 针对最大压缩的 存档压缩 列存储 数据使用逐渐减少后，自动数据优化会自动在线的将数据转换为列压缩

  10. 自动数据优化 (ADO) • 声明式策略规范：条件动作 • ALTER TABLE employee ILM ADD POLICY ROW STORE COMPRESS ADVANCED ROW AFTER 3 DAYS OF NO MODIFICATION; • 条件为数据创建、访问、修改后的时段 • 动作可以为压缩分层或表空间分层 • 策略继承自表空间或表 • 新表继承自表空间；也可以应用于现有表 • 新分区（包括间隔分区）继承自表 • 即时和后台策略的执行 • 定期执行行级策略 • 用户可配置执行频率 • 段级策略在维护时段执行 • 策略可以进行扩展，以整合业务规则 • 用户可以添加自定义条件以控制执行 • 例如，自订单发货日起 3 个月内

  11. 自动数据优化简单的声明式 SQL 扩展 活跃 ALTER TABLE sales ILM add… 频繁 访问 偶尔 访问 休眠

  12. 高级网络压缩 • 在发送端压缩即将传输的网络数据，然后在接收端解压缩 • 降低通过数据连接传输的会话数据单元 (SDU) 大小 • 降低数据大小即可减少传输 SDU 所需的时间 • 在窄带宽连接中，借助更快的 CPU，能够显著改进性能 • 由于传输时间的减少，SQL 查询响应明显加快

  13. 闪回数据存档历史表 • 闪回数据存档 － FDA • 在发生更改时，透明地进行跟踪 • 在单独的历史表中进行跟踪 • 历史表具有安全、防篡改的特性 • FDA 历史表优化 • 高级行压缩 • 高级 LOB 压缩和去重 • 压缩分层 • 用例 • 治理 / 监管 / 合规性 (GRC) • 替代应用开发 • 错误纠正 • 替代 CDC 和 DW

  14. 其他 ACO 功能 混合列压缩 • 存储快照优化 • 存储快照只需一步即可恢复 • 无需将数据库置入在线备份模式 • 支持全面恢复或时间点恢复 • 在线移动分区（任何压缩级） • ALTER TABLE ...MOVE PARTITION ONLINE 启用了无阻塞在线 DDL • DML 操作在移动过的分区上持续、不间断地运行 • 支持所有压缩格式 － BASIC、ACO 或 HCC Oracle 数据库企业版 数据分区 选件 高级 压缩选件 活跃 历史 不太活跃 通常为 2 倍至 4 倍压缩

  15. 压缩功能

  16. 压缩技术

  17. ACO 压缩功能 闪回数据归档 历史表 • 高级行压缩 • 压缩数据分区/表 • 高级 LOB 压缩高级 LOB 去重 • 压缩和去重非结构化数据 • RMAN/DataPump压缩 • 压缩备份 • Data Guard Redo传输压缩 • 高级网络压缩 • 压缩网络流量 • 闪回数据归档历史表 Oracle 数据库企业版 数据分区 选件 高级 压缩选件 活跃 历史 不太活跃 通常为 2 倍至 4 倍压缩 18

  18. 高级行压缩 • 分区/表/表空间数据压缩 • 支持常规 DML 操作（插入、更新） • 通常为 2 倍至 4 倍压缩率 • 显著消除/减少 DML 的写入开销 • 批量压缩将对事务性能的影响降至最低 • “数据库感知”压缩 • 无需将数据解压缩 － 数据在内存中保持压缩 • 减少 I/O 操作和提高内存效率通常可提高读取性能

  19. 表扫描性能 DML 性能 小于 3% 的开销 快 2.5 倍 时间 （秒） 时间 （秒） 实际压缩效果 - ERP 数据库 10 个最大的表 存储利用率 缩小 3 倍 MB

  20. 为什么采用混合列压缩 • 通常，数据以行格式来组织 • 可选方法：以列格式存储数据 • 集中存储列数据可大幅增加压缩率 • 优化的Exadata存储可最大程度提高针对 HCC 压缩表的查询性能 • 充分利用Exadata存储服务器中的处理能力、内存和Infiniband网络 • 混合列压缩已扩展至Pillar Axiom 和 Sun ZFS 存储设备 (ZFSSA)

  21. 关于混合列压缩 • 混合列压缩表 • 压缩表可以通过传统 DML 操作修改 • 适用于批量加载和批量查询的数据 • 工作原理 • 将表组织到压缩单元 (CU) 中 • CU 为多个数据库块 • 在压缩单元内，数据按列组织而不是按行组织 • 列组织可收拢类似值，从而增大压缩率 压缩单元 列 4 列 1 列 2 列 5 列 3 缩小 10 到 15 倍

  22. 逻辑压缩单元 块标题 块标题 块标题 块标题 压缩单元标题 C3 C7 C5 C8 C1 C4 C2 C6 C8 压缩单元 • 压缩单元 • 跨多个数据库块的逻辑结构 • 在数据加载期间按列组织数据 • 单独压缩各列 • 一组行的所有列数据存储在压缩单元中

  23. 查询和存档压缩 查询压缩 • 存储空间平均节省 10 倍 • 扫描 IO 减少 10 倍 存档压缩 • 存储空间平均节省 15 倍 • 有些数据可达 70 倍 • 冷数据或历史数据 空间优化 针对 Exadata 上的速度进行了优化 回收 93% 的磁盘 保持数据在线 更小的数据仓库 更快的性能

  24. 查询压缩级别 • 查询压缩可提供两种级别的压缩 • “高”级别通常可节省 10 倍存储空间 • “低”级别通常可节省 6 倍存储空间 • 优化以提高扫描查询性能 • 默认为“高” • 最大程度地节省存储空间并发挥查询性能优势

  25. 存档压缩 • 存档压缩可提供两种级别的压缩 • “高”级别通常可节省 15 倍存储空间 • “低”级别通常可节省 10 倍存储空间 • 信息生命周期管理 (ILM) 和数据存档的最佳方法 • 最大限度地减少存储占用空间 • 无需将数据移动至磁带或价格较低的磁盘 • 数据始终在线且始终可访问 • 适用于存有极少被访问的数据的表或分区 • 针对历史数据运行查询（无需从磁带恢复） • 更新历史数据 • 支持模式（schema）变化（添加/删除列）

  26. 用户压缩案例 • 数据仓库用户（数据仓库压缩） • 顶级金融服务机构1： 11 倍 • 顶级金融服务机构2：24 倍 • 顶级金融服务机构 3： 18 倍 • 顶级电信公司1：8 倍 • 顶级电信公司 2： 14 倍 • 顶级电信公司 3： 6 倍 • 科学数据用户（存档压缩） • 顶级研发用户（拥有数 PB 级数据）： 28 倍 • OLTP 存档用户（存档压缩） • SAP R/3 应用程序，全球顶级零售商： 28 倍 • Oracle 电子商务套件，Oracle Corp.： 23 倍 • 定制的呼叫中心应用程序，顶级电信公司： 15 倍

  27. 其他压缩功能

  28. 高级 LOB 压缩/去重 • LOB 通常会有 2 倍至 3 倍的缩减 • 自动避免压缩后无法从中受益的数据 • 对内容管理、电子邮件应用程序和数据存档应用程序很有用 • 对读取操作没有负面影响 • 通常可提高缓存数据的读取性能 • 能够为重复数据存储单个物理映像 • 显著降低空间消耗 • 极大地提高写入和复制操作的性能

  29. DataPump 压缩 • 从 Oracle Database 10g开始提供元数据压缩功能 • 在导出期间压缩表数据 • 无需在导入前解压缩 • 只需一步即可压缩数据和元数据 • 压缩的数据直接传送到磁盘，从而降低磁盘空间需求 • 内部测试显示转储文件最多缩小 75% • 对应用程序透明 • 可对压缩文件使用完整的DataPump功能

  30. RMAN 备份压缩 • 大幅降低备份数据的存储要求 • 备份数据将在写入磁盘或磁带前压缩，且无需在恢复前解压缩 • 三种级别的 RMAN 压缩：低、中和高 • “低”压缩级别 特别适合于备份操作受 CPU 约束的情况 • “中”压缩级别 平衡 CPU 使用率和压缩率 • “高”压缩级别 最佳的压缩率和最高的 CPU 使用率 特别适合于备份操作受网络或 I/O 限制的情况

  31. Data Guard Redo传输压缩 • 压缩主数据库和备用数据库之间的网络通信流量 • 带宽较低的网络 (<100Mbps) • 将传输 1GB 数据所需的时间缩短 15-35％ • 带宽消耗最多可降低 35％ • 高带宽网络 (>100 Mbps) • 压缩不会缩短传输时间 • 但会显著降低带宽消耗（最高可达 35％）

  32. Oracle 数据库压缩的优势 • 透明：100% 对应用程序透明 • 更小：减少占用空间 • 更快：事务、分析、DW • 跨 CPU、DRAM、闪存、磁盘和网络的端到端成本/性能优势 • Oracle Database 12c 的新特性 • 自动化：热图和 ADO • 网络压缩 • 其他存储优化

  33. 有问题？

More Related