Download
1 / 20
200 likes | 230 Views
TurboDX 架构、应用场景、比较优势. 北京数贝软件科技有限公司 2019-08. TurboDX 产品架构. ︾︾︾︾︾. 先进的监控和控制功能 B/S 点击式设计方式、简单易用 快速全量加载和实时 CDC增量 广泛异抅数据源支持 非侵入式架构、源湍无任何代理程序. 点击式交换任务设计及管理. TurboDX Server. 目标库. 源库. 内存流处理. 分块读取. 分块加载. 分块读取. 分块读取. 分块读取. 分块读取. 数据 / 元数据. 转换. 数据 / 元数据. 过滤. CDC 读取. 流式加载. 事务日志读取.
E N D
TurboDX架构、应用场景、比较优势 北京数贝软件科技有限公司 2019-08
TurboDX产品架构 ︾︾︾︾︾ 先进的监控和控制功能 B/S点击式设计方式、简单易用 快速全量加载和实时CDC增量 广泛异抅数据源支持 非侵入式架构、源湍无任何代理程序 点击式交换任务设计及管理 TurboDX Server 目标库 源库 内存流处理 分块读取 分块加载 分块读取 分块读取 分块读取 分块读取 数据/元数据 转换 数据/元数据 过滤 CDC读取 流式加载 事务日志读取 元数据库
TurboDX功能架构 RDB连接 主题服务连接 元数据管理 数据源 连接 监控&统计 Hadoop连接 二进制文件连接 Kafka连接 数据文件连接 运行监控 元数据目录管理 服务目录 服务用户管理 数据 服务 管理 任务日志 主题服务监控 主题服务配置 查看实例数据 告警通知 复制同步 文件传输/加载 任务 管理 交换数据结构管理 成果展现 交换整合 任务调度 系统管理 用户管理 菜单管理 授权管理 参数配置 操作日志
TurboDX集群架构 – 负载均衡和HA高可用性 Zookeeper集群（三机+） TurboDX集群部署（中心） 应用数据库 大数据平台 数据仓库 应用数据源 TurboDX 任务服务器 （ZK node3） TurboDX 数据库服务器 （双机集群） TurboDX 应用服务器 （备） TurboDX 应用服务器 （主） TurboDX 任务服务器 （ZK node1） TurboDX 任务服务器 （ZK node2） 应用数据源 应用数据源 备热 管理配置人员
应用模式——单向/双向/双写复制同步 Database 业务数据库 Database 业务数据库 数据库/数仓/Hadoop/Kafka TurboDX TurboDX Database 业务数据库
应用模式——域内数据汇聚 Application 业务系统 Application 业务系统 Application 业务系统 Database 业务数据库 Database 业务数据库 Database 业务数据库 DB/数仓/Hadoop/Kafka 中心汇聚库 TurboDX
应用模式——域内数据分发 Database 中心汇聚库 JDBC/MPP TurboDX
应用模式——跨部门/地域数据采集汇聚 数据上传 TurboDX PLUS 数据中心端 Application 中心业务系统 Application 部门业务系统 Application 部门业务系统 Application 部门业务系统 Application 部门业务系统 Database 部门前置库 Database 部门前置库 TurboDX 部门端 TurboDX 部门端 DB/Hadoop/Kafka 中心汇聚库 标准下发 标准下发 BI 中心BI系统 数据上传
应用模式——跨部门/地域数据分发 XML Safe level 安全等级 Catalog 服务目录 TurboDX PLUS 数据中心端 安全等级加载 Database 中心服务数据库 Database 中心业务数据库 Database 中心汇聚数据库 Application 部门业务系统 Application 部门业务系统 Application 部门业务系统 Application 部门业务系统 Database 部门前置库 部门中心库 Database 部门前置库 部门中心库 TurboDX 部门端 TurboDX 部门端 数据分发 数据分发 目录加载
应用模式——云边单向/双向/双写同步 说明： 1、在局域网内安装一套TurboDX Premium，直接接入局域网内的Oracle数据库、云网络内7个主从数据库、云网络内DDM集群数据库； 2、上行增量数据采集通过CDC方式Oracle数据库中获取，写入到云网络DDM集群中，由集群自行负责分发到各个主从数据库中； 3、下行增量数据采集通过CDC方式从云网络各主从数据库中获取，写入到局域网络的Oracle数据库。
TurboDX协同并行加载提升CDC写入效率 TurboDX Server 加载处理模块 并行处理 控制器 读取处理模块 内存流处理 加载线程1 转换 数据/元数据 映射 加载线程2 Dispatcher 日志CDC 读取 分块读取 分块读取 分块读取 分块读取 加载线程3 数据源 数据目标
TurboDX for Kafka Connect K K 应用程序 MongoDB RDB HBASE Elasticsearch MPP Hadoop PostgreSQL SQL Server Informix MySQL Oracle Kafka 平台 TurboDX Kafka Connectors TurboDX Kafka Connectors （通过Kafka进行数据同步、汇聚与分发)
TurboDX for Bigdata 点击式交换任务设计及管理 TurboDX Server 内存流处理 数据/元数据 转换 数据/元数据 MPP 过滤 CDC读取 流式加载 分块加载 分块读取 分块读取 分块读取 分块读取 分块读取 ORACLE Informix SQL Server 元数据库 数据仓库 PostgreSQL MySQL （大数据汇聚与分发)
功能特点 复制同步 交换整合 广泛数据源 过滤转换 冲突策略 安全可靠 交换性能 扩展功能 Oracle(RAC) SQL Server MySQL PostgreSQL Informix Gbase 8t、Gbase8a 达梦DM SAP Hana 、 Gauss 200 Greenplum Vertica MongoDB Elasticsearch Hadoop (HDFS、Hive、HBase) Kafka 二进制文件 格式化数据文件(csv, txt, excel, json, xml) 全量 实时增量 全量+增量 双向(双写) 数据比对 数据回补 数据脱敏 DDL复制 集群数据源 日志CDC 触发器 标识位 时间戳 全量比对 物理表、视图 单表交换 多表整合 一对多分发 TiDB Mycat 云RDS DRDS DDM • 数据过滤 • 表级 • 行级 • 字段级 • 转换处理 • 格式转换 • 自动匹配映射关系 • 常用函数 • 自定义函数 • 标准策略 • 以源为主 • 目标为主 • 自定义 • 智能策略 • 值大值小 • 时间新旧 • 自定义 多线程流处理 数据库传输：30000记录/s 或 12M/s; 实时数据同步延时秒级; 文件传输： 40M/s 加密传输 压缩存储 断点续传 传且传一次 保持事务完整 实时监控 事件通知 运维管理 二进制文件同步 数据文件入库 数据发布/订阅服务 消息中间件(MQ) Hadoop (HDFS、Hive、HBase) Elasticsearch MongoDB Kafka 集成 MPP 数仓 Cluster高可用性集群版
TurboDX优势和价值 多功能集成一体化、元数据目录视图与数据同步、交换整合管理”一张皮”。 A 集成复制同步(CDC)、ELT/ETL和数据交换功能于一体 支持同构/异构关系型数据库、Hadoop、Kafka等大数据的接入 支持二进制文件传输、半结构化数据文件入库 统一元数据目录视图、统一调度、统一监控远维管理 B D 完全B/S界面简单易用 具有价格比较优势 完全B/S图形化配置和监控管理界面 不用命令行、不用开发接口 实施高效、快速上线、自助服务 大大降低实施时间成本和运维成本 租售结合，满足不同招标形式 按源计费，随时扩展，适应项目发展趋势 时限自定，跟随业务实际需要 对源和目标无侵入、干扰影响最小。容错机制、稳定性可靠性强 C 采用独有的CDC技术，在源与目标不需要部署任何代理程序和建任何表，对源端应用系统的影响几乎为零。 釆用微服务容器架构和内存多线程流处理技术，系统高容错机制设计，稳定可靠、数据实时性和交换性能高。 提供高可用性集群版、实现故障转移和负载均衡。
TurboDX 跨部门交换方案优势 A 无前置库跨部门节点(域)交换方案 与TurboDX Plus Service 中心数据通道组成跨域交换网络 多重访问控制、加密传输、压缩存储，保证数据安全、可控 无需落地前置库，消除安全隐患
