1 / 41

DBA’s Guide to Data Masking and Data Subsetting

DBA’s Guide to Data Masking and Data Subsetting. Lucy xu Sales Consult ing Director Oracle China.

filia
Download Presentation

DBA’s Guide to Data Masking and Data Subsetting

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DBA’s Guide to Data Masking and Data Subsetting Lucy xu Sales Consulting Director Oracle China

  2. The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

  3. Program Agenda • 为什么用生产数据进行升级测试 • 数据遮掩 • 数据 Subsetting • 测试系统 Provisioning • 客户案例

  4. 为什么用生产数据进行升级测试?

  5. 升级是保证业务成功的关键Upgrades are Core to the Success of Your Business 将发布版本 已发布版本 主版本 12.2 11i10 12 12.1 小版本 12.1.2 12.1.3 RUP1…RUP2…RUP3… 04年11月 2007年1月 09年5月 09年12月 10年8月 12/12.1中的新产品 改进的产品领域 8.50 8.51 8.52 8.53 8.54 8.55 8.56 People工具 应用 特性包 特性包 特性包 特性包 9.1 9.2 9.3 开发 测试 迁移 发现

  6. 升级流程 发现 开发 测试 迁移

  7. 在开发和测试中的生产数据 好处与挑战

  8. Provisioning Secure Test Environments 数据遮掩及数据Subsetting 数据遮掩 数据Subsetting • 在开发和测试环境中将生产系统 • 中的敏感数据替换为模拟但合理 • 的数据 • 在使应用测试有现实意义的同时 • 仍然合规 • 由生产数据获取到 • 开发环境中的有关联 • 关系的一部分数据 • 在实现有现实意义的 • 应用测试的同时减少 • 存储费用 防弹式的 应用测试

  9. 企业应用的数据遮掩及Subsetting 客户关系管理 人力资源管理 供应链管理 金融 • 跨应用中的各表间的关系是什么？ • 什么样的数据抽取规则可以产生引用完整性的subsets? • Subsetted数据是否可以存入测试系统的现有存储？ • 跨应用的敏感数据的不同种类型都是什么? • 这些敏感数据存在何处并且他们之间关系如何？

  10. 数据遮掩及数据Subsetting方法论 生产系统 ORACLE 非生产系统 IBM DB2MS SQL • 发现:定位敏感数据并发掘关联关系 • 评估:定义优化的数据遮掩格式及 subset 的条件 • 安全:利用masking+subsetting创建安全的测试/开发系统 • 测试:验证应用的完整性及数据安全

  11. 数据遮掩(Data Masking )

  12. Data Masking 关键概念 敏感数据识别 Mask 格式 数据遮掩 定义 关联关系 应用数据模型

  13. 敏感数据识别 什么是敏感数据? • 业务驱动 • 隐私法(HIPAA), 工业规范 (PCIDSS) • 保密规则 (数据保护政策) 敏感数据存在哪? • 应用文档 • 用户界面 • 基于Schema的, 如 EMP.NATIONAL_ID • 基于Data的,如. 16 位 #s beginning with 4 or 5.

  14. 敏感字段类型库 • 预定义的搜索模式 (基于数据库schema 及数据) • 查询整个应用以进行数据匹配 • 归类于基于匹配查询模式

  15. 数据遮掩格式库 • 为PII数据的40多种开箱即用的遮掩格式 • 内置的遮掩原始体以方便扩展格式库 • 为复杂格式用户定义的基于SQL 或 PL/SQL 的函数 • 一次定义任意部署 • 可自更新的Oracle 提供的遮掩格式

  16. 自动的引用完整性 数据库和应用应用-强制性 CUSTOMER CUSTIDNAMEREP_ID 200 ACME 12 201 BIG BOX 15 SUPPORT CUSTIDCSR_ID 200 13 EMPLOYEE EMPIDNAMETITLE 12 SMITH SALESREP 13 JONES CSR 14MCNEIL CEO 15 SALVATORE SALES MGR 读取数据字典数据以强制保持引用完整性 数据库引用完整性(Referential Integrity) 读取应用元数据 (EBS, Fusion Apps) 以强制保持引用完整性 应用引用完整性(Referential Integrity) 数据遮掩后保持原数据分布的状态 数据分布

  17. 复杂遮掩技术 基于条件的遮掩 复合遮掩 • 复合遮掩 • 多列组合, 如地址 (街道, 城市, 省, 邮编) • 基于条件的遮掩 • 遮掩国家识别号, 如由各国家定义的社会保险号 • Deterministic (可重复) • 可重复的一致性遮掩, 如. 跨数据库关联一致性或跨不同克隆的一致性 • 可逆转 • 基于关键词的可保留格式的遮掩。 • 洗牌式(Shuffle) • 在一定范围内随机选择 • 扰动式(Perturbation) • 对于某个值产生随机遮掩值, 如，生日 • 可扩展 (通过 PL/SQL)

  18. E-Business Suite 数据遮掩模板 • 包含全部应用内容 • 950 列/ 1900 个规则 • HCM – 工资, 雇用信息, 个人信息 • TCA, ATG, 财务, 项目… • 定位及遮掩敏感数据的最佳实践 • 列, 关联关系, 及遮掩规则for PII 及敏感特性 • 克隆后删除口令的说明 (文档： 419475.1) • 由DB去除识别

  19. EBS 模板中有哪些未被遮掩 • 财务数据 • 结果 • 预期(Forecasts) • 设计指标 • 非结构化数据 • DFF (Descriptive Flex Fields) • 对了解内容的‘开发者’ 及 ‘地区’ flex fields被遮掩 • 标注 • 附件 • 内部主键 (user_id, person_id)

  20. 遮掩应用用户 • EBS 模板可以遮掩Apps用户(FND用户) • 遮掩后，原用户不能登录 • 对于原始随机用户 (如 SYSADMIN)， 用户名将被保留但口令会被重置 • 如有需要保留原应用用户以进行测试 • 提供了新的interface table以导入 ‘豁免用户’: • 用户免除遮掩 • 可选将用户改名 (JSMITH  TEST1) • 指定新口令

  21. Fusion Applications 遮掩模板 • 遮掩 471 张表与792 列 • 6 大家族: HCM, CRM, CDM, PRC, FIN, SCM • 经Fusion Apps 开发认证 • 应用 IT, SaaS团队正在部署 FA 遮掩

  22. 应用模板 – 自更新 • 问题:减少为数据遮掩而进行的手工安装配置应用模板的工作量 • 解决方案: 自更新 • EM Store 递交应用遮掩模板 @由自动更新安全地从Oracle 到 EM 软件库 • 遮掩格式及定义自动转换并导入数据遮掩(Masking) • 为实施准备就绪 EM @ 政府 EM @ 零售 EM @ 电信 EM @ 制造 模板

  23. 数据Subsetting

  24. 数据Subsetting 关键概念 Sensitive Data Identification Mask format Data Masking Definition Referential 关系 应用数据模型 数据Subset 定义 Subset 参数 数据抽取子句

  25. Subsetting生产数据 • 基于条件 • 财务年(Fiscal Year) • 地理区域 美洲 360M 30% North America FY 2009 FY 2013 FY 2010 FY 2012 欧洲 120M 10% Europe 亚洲 • 基于存储 • 生产数据量的百分比 • 目标存储量

  26. Criteria Based vs. Storage Goal Based Subset Tradeoffs

  27. 基于条件的 subset: 流程 时间(FY:2011) • 选择应用 • 对自动选择需要包含在subset中的表 • 定义抽取条件 • 自动贯穿关系层次以定位记录行 • 指定 subset 参数 • 分析表的统计信息，以估算根据指定的subset参数所生成的数据库大小 维度(地区:亚洲) 空间 (大小:10%)

  28. 基于条件: 指定表类型 FISCAL YEAR AP_INVOICES REGION PO_VENDORS SALES_FACT • 表大小是表类型的一个功能 • 大表: 交易表, Fact表 • 小表: 维度表, Lookup表, Reference表 • 大表: 指定的Subset 条件包括下层依存 • 小表: 没有指定的subset条件; 表被完全引入 AP_INVOICE_LINES PRODUCT BUSINESS UNIT MFG_PARTS CHANNEL

  29. 测试系统生成

  30. 数据遮掩与数据Subsetting 与所有新建数据库的方法相集成 数据泵 Export/Import 数据遮掩 + 数据Subsetting RMAN 拷贝 Thin Provisioning-based 克隆 备份 / 恢复

  31. Database (Thin) Cloning Using Copy on Write 生产数据库 测试主数据库 遮掩 &Sub setting • 分钟级数据库克隆 • 平衡存储复制 copy on-write 技术 • 初始支持Sun ZFS 存储及Netapp存储 • 不仅仅是Flexclone • 与数据管理相集成(Masking & Subsetting) • 配置管理 (Lineage and Association 跟踪) • 存储意识的 “计量& 收费” 功能性复制 – 用户可以创建多份拷贝进行功能测试而不占用空间 010110011101001010 000111010 云用户可以创建自己的快照并可“时间旅行”到更早的快照

  32. At-Source 数据遮掩 最大程度依从PCI–DSS 原先 新状态 生产数据被复制到测试库并使敏感数据暴露于危险当中直至遮掩 生产 测试 生产 测试 遮掩后的数据泵文件 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 克隆并遮掩 At-source遮掩 • 敏感数据在从生产库复制出以前就被脱敏;生产数据库保持不变

  33. 集成的 Subsetting及遮掩 高性能地为新测试系统加密 原发法 新方法 生产数据首先要被subsetted然后敏感数据在被分别遮掩 生产库 测试库 生产库 测试库 屏蔽过的数据泵文件 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 010010110010101001001001001001001001001001001000100101010010010010011100100100100100100100001001001011100100101010010010101010011010100101010010 一步式Subset 及 Mask 数据Subset 克隆并遮掩(Mask) 采用At-source 遮掩一步完成生产数据被subsetted及敏感数据遮掩

  34. 高性能数据 Masking 及 Subsetting Exadata X2-2 满配性能基线

  35. 数据遮掩的领导者 Gartner 对数据遮掩技术的评价 • Oracle 是位居前三位的数据屏蔽厂商 • Gartner 说: • 在Oracle数据库中快速遮掩数据 • 与Oracle Enterprise Manager 相集成以方便使用 • 为主流套装软件内置的模板, EBusiness Suite, PeopleSoft (即将发布) • 专注技术于数据库安全领域 This Magic Quadrant graphic was published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report. The Gartner report is available upon request from Oracle.

  36. 增强合规安全性的同时减少费用Forrester 的数据遮掩包的总经济影响 (ROI) • 自动发现并遮掩敏感数据而提高了工作效率 • 减少内部开发及维护的成本 • 减少数据安全费用 • 过去3年的 ROI为 242% • 5.4 个月的回报周期

  37. Oracle 的不同 • 集中的复杂且安全的测试系统的生成 • 具有复杂遮掩技术的用户可扩展库 • 与应用生命周期管理相结合 • 一个工具即完成整个应用架构的生成，监控，补丁 (应用到磁盘) • 与测试工具相集成 • 为Oracle 应用优化 • 应用开发团队构造应用安全 • 基于数据库优化的高性能

  38. Oracle 数据库安全解决方案 • 为数据保护与合规的深度防御 管理 监测 预防 • 数据发现与分类 • 活动监控 遮掩, 加密, Redaction, 数据库生命周期管理 • 数据库防火墙 职责分离 • 安全隐患扫描 • 审计与报告 多因素认证

More Related