Oracle日志复制—国产自研Beedup(基于日志结构化数据复制产品)
创始人
2024-02-18 04:37:37

Beedup能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。

一、Beedup产品概述

由北京灵蜂纵横软件有限公司研发的数据库实时复制软件Beedup,提供数据库Oracle异地容灾备份,异地数据同步功能。支持复制时的主库和从库双活,支CDC(ChangedDataCapture), 满足从PC 到服务器、从Windows 到Linux 再到Unix 环境的复制。

除满足容灾需求外,利用数据备份时的主从双活特性,Beedup还可满足数据库的负载平衡。当在生产库进行查询分析时,通常会造成联机交易事务的延迟响应。通过将生产库上的查询分析业务转移到备份库上,可以降低生产库负载,提高生产库的联机事务处理能力。

Beedup 部署示意图如下所示:

Beedup提供简单直观的用户操作界面,帮助用户快速部署复制任务。目前支持Windows 2008 和Windows 2012 安装环境。

 二、Beedup工作原理

Beedup通过全量复制功能对从库进行初始化,复制主库历史数据到从库,保持主从库历史数据一致性。全量复制时,Beedup通过TCP 方式与主库和从库建立连接,存储主库当前时间作为后续增量复制的捕获起点,然后读取主从数据库字典信息,历主库字典中的用户、表、视图、存储过程、函数、触发器等对象信息,逐一与从库对象进行比较,当从库中对象不存在或与主库对象存在差异时,则创建或覆盖主库对象,如对象相同,则比较下一个,直至全部对象遍历完毕。

全量复制时,可以对复制对象进行过滤排除,通过指定对象所属模式名,表名及其它对象名来包含或排除对象复制。全量复制结束,自动进入增量复制过程。

Beedup通过增量复制功能实时复制主库变化到从库,捕获线程从上次存储的事务提交点位置顺序读取主库日志记录并将日志记录翻译为软件内部数据格式,判定读取的日志记录是否提交,如果已被提交,继续判断日志记录是否满足捕获条件(是否是特定用户产生的增量数据,是否是特定模式下特定表的记录),如满足条件,则缓冲该记录,否则丢弃该记录,然后读取下一条日志记录;如果是回滚记录则丢弃,然后读取下一条日志记录。如果读取的日志记录既未提交也未回滚,则延时后从提交点重新捕获记录。当在主库日志中读取到事务提交命令时,则将缓冲的记录发送到提交缓冲区。提交线程从提交缓冲区读取记录并转换为DML 或DDL 在从库执行,当对应一个事务的所有DML 或DDL 全部执行完毕,向从库发送提交命令并存储事务提交点。

以下是捕获线程和提交线程对应的工作原理图:

基于数据库日志结构化数据复制产品-Beedup

三、Beedup产品优势

  • 基于日志进行增量复制,无需对主库作任何改动。
  • 基于事务单元进行复制,确保数据一致性。
  • 复制过程主从库双活,主库故障后直接使用从库接管,无需备份恢复过程。
  • 支持事务操作审计,跟踪操作对象、操作用户及操作时间
  • 支持数据审计,跟踪数据操作时间、操作用户及操作类型(企业版支持)
  • 基于TCP 连接主从库,无需在主库或从库安装任何代理软件,支持异地容灾。
  • 支持任意的主从库操作平台,任意的主从库存储格式。
  • 提供差异回补策略,确保数据万无一失。

四、Beedup产品特点

灵蜂数据库复制软件 Beedup 提供不仅支持数据库Oracle还支持SQLServer/DB2/MySQL/PostgreSQL

1、 Beedup采用TCP连接主从数据库,支持本地或异地容灾。软件读取解析主库归档或在线日志,还原其中的DDL及DML操作在备库执行,通过将软件部署到主库所属网络,可以在备份时有效降低网络负载。软件提供断点机制增量读取解析日志,可以忍受苛刻的网络条件。

2 、Beedup采用SQL接口向从库写入DML及DDL,从库实时在线可用。另外软件提供主从表的差异比对功能,可以随时效验主从数据一致性。

3、 Beedup采用事务单元复制主库变化到从库,主库事务提交后,软件立即读取解析事务并复制变化到从库,整个过程秒级完成。当主库发生故障时,可以直接修改从库IP为主库IP接管其上业务。

4 、Beedup支持active/standby和active /active备份模式,对于active /active模式的自增主键冲突,无需调整业务系统,Beedup提供自增值到目标库的重新计算并更新相关依赖信息的功能。

5、 Beedup采用JDBC读写主备数据库,对数据库运行平台及版本无要求,当生产库采用高性能设备时,备份库可以选择普通商用配置。软件部署灵活,既可部署于主服务器,也可部署于备份服务器,或者部署到可以TCP连通主备服务器的其它任意机器。软件对主库不需要任何写入操作,通过读取解析主库归档或在线日志复制事务到备份库,对于表结构、视图、存储过程、触发器等DDL操作均可自动备份,无需人工干预。


数据库复制产品 Beedup 日志解析同步功能(CDC): 用户数据库SQLserver新增17亿多条数据运行中反馈的截图

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...