1 / 44

DM07 SYBASE 数据同步及复制技术 李新春 Systems Consultant Xin-Chun.Li@Sybase.Com

DM07 SYBASE 数据同步及复制技术 李新春 Systems Consultant Xin-Chun.Li@Sybase.Com. 分布式应用设计 ( Distributed Application Design) 复制服务器 ( Replication Server) 复制服务器12. X 的新特性. 主题. 本地自治 集中式/非集中式系统模型 数据分割与冗余 紧密一致性与松散一致性 数据复制 分布式数据模型. 分布式系统基本原理. 上海. 北京. sales. 广州. 集中式模型. 优点： 所有用户连接到中心节点 所有操作都在中心节点

david-harvey
Download Presentation

DM07 SYBASE 数据同步及复制技术 李新春 Systems Consultant Xin-Chun.Li@Sybase.Com

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DM07 SYBASE数据同步及复制技术 李新春 Systems Consultant Xin-Chun.Li@Sybase.Com

  2. 分布式应用设计(Distributed Application Design) 复制服务器(Replication Server) 复制服务器12.X的新特性 主题

  3. 本地自治 集中式/非集中式系统模型 数据分割与冗余 紧密一致性与松散一致性 数据复制 分布式数据模型 分布式系统基本原理

  4. 上海 北京 sales 广州 集中式模型 • 优点： • 所有用户连接到中心节点 • 所有操作都在中心节点 • 易于维护 • 缺点： • 中心节点需要很高地计算能力 • 在网络上有大量的数据传输

  5. 集中式模型(例) 1. 销售人员完成一笔生意 2. 秘书做成订单 3. 并传真到总部 4. 总部接收订单并输入到计算机系统 • 中心计算机存储量巨大 • 应用执行在中心计算机上 • 所有连接都在中心计算机上

  6. 非集中式模型 上海 sh_sales 北京 bj_sales • 优点： • 用户连接到本地计算机 • 查询操作发生在本地 • 网络传输量较少 • 分布节点不依赖于中心节点 • 数据本地化LAN存取 广州 gz_sales • 缺点： • 分布式事务失败点更多 • 需要复杂的开发与维护

  7. 广州 上海 非集中式模型(例) • 购买商品发生在每个连锁店 • 购买交易处理在POS机上 • 无需连接远程节点 • 本地计算机处理查询 • 数据存储小

  8. 在分布式系统中，为完成本地自治需要数据分割在分布式系统中，为完成本地自治需要数据分割 数据分割通过join和union可完成重构 数据分割仅为分布存储 数据分割 bj_sales sales sh_sales gz_sales

  9. 北京 上海 数据冗余 • 优点： • 重复数据提高数据存取得性能 • 所有节点都喜欢访问本地数据 • 由于所有节点独立工作，则增加数据的可用性 • 增加数据查询的性能 • 增加节点自治 • 缺点： • 由于多份数据需修改，所以降低修改的性能

  10. 北京 上海 数据复制 • 需要本地复制数据 • 具有更好的数据访问性能 • 得到更高的可用性 • 复制增加系统的复杂度 • 复制的种类 • 事务复制 • 数据库备份 • 行标记 • 数据库触发器 • 复制服务器

  11. 上海复制点 client 北京主点 天津复制点 广州复制点 单一主点数据模型 • 优点： • 应用不必解决冲突 • 复制数据易于本地访问 • 只在主点更新数据，按复制定义将数据复制到各复制点表中 • 复制表只读 • 缺点： • 只能主点修改复制数据

  12. 高性能 修改和查询都可本地处理，减少网络流量和数据存储 高可用性 无需修改中心数据，保证数据可用性 事务完整性 数据在其事务中保持完整性 可伸缩性 增加节点，可扩展到企业级 场地自治 每个节点独立操作 分布式设计的特点

  13. 主题 • 分布式应用设计(Distributed Application Design) • 复制服务器(Replication Server) • 复制服务器12.X的新特性

  14. Multi-Site, Bi-Directional Warm Standby 数据移动 - 复制服务器 Mirrored for Operational Decision Support • 完整的数据移动体系结构 • 异构/异种 • 双向 • OLTP and DSS(数据仓库) • 高可用性 • 全面的管理环境

  15. 复制服务器的特点 • 保持一致性 • 异构/异种 • 基于事务(不同于 基于触发器) • 双向的 • 包括 存储过程复制 • 支持大多数Sybase 数据类型 包括 text 和 image • 本地化 • 出错恢复 • 热备

  16. 简介体系结构 复制目标 主站点 • ASE • ASA 复制代理 复制服务器 • Oracle • Microsoft • DB2/UDB • Informix • AS/400 • ODBC, DRDA Sources • Adaptive Server/Enterprise • Adaptive Server/Anywhere • Oracle • Microsoft SQL Server • DB2 UDB (Unix, NT, OS/390) • Informix • Replication Toolkit for MVS • SEEB • Open Server • EA Server

  17. 系统配置 复制服务器管理到数据库的连接 复制服务器借助于 routes交换数据 备份 DB 主DB 连接 连接 复制DB1 RS1 RS2 复制 DB2 Add’l routes 复制系统体系结构

  18. 特殊配置: 一个活动数据库，一个备份数据库，它们由同一个复制服务器管理 可以配置成复制整个数据库– 完全镜像! (不需要出版-订阅机制publish-subscribe) DDL/Schema 改变复制! 复制方向可以进行转换 在活动数据库故障和维护的情况下 易于管理, 低时延 在其它复制站点把活动-备份数据库对看作为单一的逻辑数据库 逻辑 DB 活动 DB 备份DB RS Add’l routes/ connections 复制系统体系结构：热备份

  19. 事件代理象复制服务器的任何其它的数据库目标事件代理象复制服务器的任何其它的数据库目标 实时事件传送 – 没有轮询, 数据库中没有触发器 RS 把事务传送给事件代理，把事务转换成事件 可应用于特殊的数据库改变 (例， 只有对 purchases表的改变) 主 DB DB 客户 事务 RS Add’l routes/ connections 事务  事件 应用 消息总线 事件代理/ 事件集成者 处理器, 工作流 复制系统体系结构：事件集成

  20. 复制代理把数据从非Sybase的数据库源中取出 用DirectConnects作为网关可复制到非Sybase的 目标数据库 支持指定供应商的数据类型和转换等 有的用ReplicationAgents 读 transaction log (DB2), 有的用触发器建立一个虚拟日志， 如Oracle, MS SQL 在Unix, NT平台上IBM DB2 UDB的复制代理 Informix的复制代理升级，以支持 Informix Dynamic Server.2000 (Informix 9) 复制系统体系结构：异构复制 主 DB (Oracle) Oracle的复制代理 RS Add’l routes/ connections ODBC的直接连接 复制DB (MS SQL)

  21. 建议体系结构的转变 NY_RS NY_DS.closedb LON_RS LON_DS.closedb NY_RS PARIS_RS PARIS_DS.closedb closedb DSI 106:0 IN_LON_RS_1 NY_DS DSI 108:0 Inbound IN_LON_RS_2 REP-AGENT 106 PARIS_RS PARIS_DS Outbound LON_RS_RSSD OUT_LON_RS

  22. WebAccounts AllAccounts 主DB Primary Table Accounts Id Name Address Balance SSNo actype = ‘web’ 复制定义 Id Name Address Balance Id Name Address Balance publication balance > $1M 复制层 subscription: allsub subscription: majorsub (where balance > $1M) WebDB MajorAccountsDB 使用复制系统例子

  23. Id Balance 12399 $1,000,500 subscribe to all accounts update Accounts set Balance = $999,999 where Id = 12399 update row subscribe where Balance > $1M delete row subscribe where Balance < $1M insert row 使用复制系统例子

  24. 消息通过Store-and-Forward Stable Queues流动 Open Server threads读/写队列和服务连接 PDB PRS RRS RRS queue OUT PDB queue IN RDB queue OUT Queue OUT RDB outbound RS or DB 使用复制系统-Internals

  25. 当配置完复制系统的拓扑结构，DBA(s) 能够 指定可复制的主点数据(表名、列名等) create replication definitionAccounts (id int, name char(30) , address varchar(255) , balance money) with primary at NY_DB... 描述复制点的数据 create subscription AccountsSub for Accounts with replicate at SF_DB where balance > $1M 建立复制定义和订购描述

  26. Replication Agent 的集成及益处 以前: 单独的 Replication Agent进程读取日志 SQL Server “logscan” thread Replication Server Replication Agent (LTM) 以后: Replication Agent Thread 直接到复制服务器 Adaptive Server Enterprise Replication Agent threads Replication Server

  27. 复制定义不但可复制到热备库，而且可复制到复制库复制定义不但可复制到热备库，而且可复制到复制库 复制定义通过允许RS修改记录可改善性能 复制定义可复制‘胖’表(大于128列) 如果主表中的列类型和RS中定义的表类型不同，复制定义可转换 复制定义中的‘send standby’子句仍有效 热备复制中的复制定义

  28. 单表多复制定义 ALL Replication Definitions Available Accounts Id Name Address Balance ONE Replication Definition Available • 在一张表上多个复制定义可分发不同列的视图 • 提供表和列名的重映射 • 不同的主点、复制点表（列）名 • 主点和/或复制点表无缺省属主及改善可用性 Id Balance Accounts_1 Accounts_2 V11.5 V11.5 Key Name Address create replication definition Accounts_1 (Id, Balance)... Accounts_1 create replication definition Accounts_2 (Id=Key, Name, Address)... V 11.0.2

  29. 外部安全服务 支持外部安全机制External Security Services • 全局注册Universal Logins • 信息服务Message Services • 目录控制层Directory Control Layer • 复制服务器支持 • 认证 • 安全信息传输

  30. 功能函数定义集(Function String Class)及继承 • 功能函数定义支持标准的复制操作 (例如： insert/update/delete) • 功能函数定义集对应于复制服务器和数据库的连接(Connection) • 用户从已有的功能函数定义集中继承到新的功能函数定义集中 • 用户根据应用的需要修改一些功能函数 • 两个缺省的功能函数定义集 • rs_default_function_class • rs_db2_function_class • 从 rs_default_function_class 中继承

  31. RSM 和 Sybase Central 管理 RSM SERVER Sybase Central Service Providers RS Manager Plug-in . . . Adaptive Server/ Enterprise SQL Anywhere dbQueue Sybase Central Viewer

  32. 复制服务器管理及拓扑图

  33. 分布式应用设计(Distributed Application Design) 复制服务器(Replication Server) 复制服务器12.1 & 12.5的新特性 主题

  34. 监视器& 计书数器 超过150多个的内部的复制服务器的计数工具 类似ASE中的Sp_sysmon的功能 动态的计数器配置 采集RSSD或ad-hoc查询 优点 监视系统的内部工作和性能/分析瓶颈和调整系统 队列 – 磁盘分区 允许独立的RS稳定队列分配到指定磁盘 减轻磁盘的连接数– 改善I/O 性能 优点 有效的资源使用和管理/使资源需求计划更容易 RS 12.X性能增强

  35. 队列 – 磁盘分区 以后 以前 partD Disk D Out Q2 Out Q1 RSI Q Inb Q Out Q2 Out Q1 Inb Q RSI Q partC Disk C partA Disk A partB Disk B partA Disk A partB Disk B partC Disk C RS 12.X性能增强 • RSSD 表存取增强

  36. Sun Cluster 支持 容许复制服务器的故障 失败时切换到在伙伴节点上的被动复制服务器 类似于 ASE 11.9.2 HA 配置 (主动-被动 fail-over) 优点 复制系统的连续可用性 故障的恢复（ fail over ）不需要管理员的干涉 入站连接 Sun Cluster 入站连接 Routes Routes RSSD RSSD 出站连接 Stable Queues 出站连接 RS 12.X可用性增强

  37. 配置程序 减少建立复制环境的时间和工作 由 DBA初学者使用 优点 降低培训成本 插入企业门户配置里 – 把配置集成到 企业门户 环境里 RSM 增强 支持 ASA, UDB, Informix 9 数据源和目标 优点 从单一界面管理和监视各种组件 (RepAgents, DirectConnects) 更容易管理异构环境 RS 12.X可管理性增强

  38. SMP 支持 利用SMP的体系结构，改进了可伸缩性 使内部的复制服务进程并行化,从而降低延迟并提高了吞吐量 继续对下一个版本的单个模块优化和调优 可配置的事务划分 允许复制服务器在主DB模拟用户– 允许更大的并行，减少多个在复制DB应用事务的RS线程的争用 基于用户名、事务名或提交时间在并行DSI之间分布事务 增加复制吞吐量，使其接近于主DB的性能 通过使死锁和回滚最少来优化资源使用 RS 12.X性能增强

  39. 内部的事务串行化 去除了复制数据库的性能瓶颈, 使事务串行化对复制数据库的依赖性最小 降低网络 I/O, 加快“commit” 处理, 减少数据库的争用, 减少并行DSI 线程的争用, 增加吞吐量 使 rs_threads 处理内在化 RS 12.X性能增强

  40. 内部的事务串行化 并行DSI 1. Updates… 3. commit rs_threads 2. 串行化 RS 12.X性能增强

  41. 内部的事务串行化 3. commit 2. 内部串行化 RS 12.X性能增强 并行DSI 1. Updates… • ASE 12.5 兼容性 • SSL LDAP

  42. 扩展的受限数据 Wide columns 和rows 可以在多厂商的数据库之间复制– ASE, Oracle, DB2 等. 复制代理支持 Unicode Unicode 数据可以在多厂商的数据库之间复制 复制代理支持 unicode数据和UTF-8 字符集的复制 复制代理的加强 通过DB2 UDB的复制代理支持LOB (CLOB/BLOB) 的复制 通过Oracle的复制代理支持Oracle 8.1.7 和 9i 的复制 RS 12.X异构复制

  43. DM07 SYBASE 数据同步及复制技术 Xin-Chun Li Systems Consultant Xin-Chun.Li@Sybase.Com

  44. 谢谢！ Q&A?

More Related