数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase

背景介绍

我们都知道,很多用户并不是一开始就是使用 OceanBase 的。所以在他们决定使用 OceanBase 的时候,一定要把之前的业务数据迁移到 OceanBase 上来。如果是全量数据迁移,可以借助离线数据同步工具 DataX 。但是,如果在全量迁移过程中业务产生了新数据,这些新数据又如何迁移呢?此时就需要对数据进行增量迁移。这也是本文的主题:如果使用数据同步工具 Canal 实时把数据从 MySQL 同步到 OceanBase 。

【特别说明】这个教程使用的都是单机部署,只能用来演示。生产环境多为分布式集群部署。Canal 的部署也是支持集群的,需要配合 ZooKeeper 进行集群管理。

P.S. 配合视频教程一起食用效果更佳噢~~视频教程,点击 OceanBase 监控工具 OceanBaseAgent

Canal 介绍

那么什么是 Canal 呢?官方给出的解释, Canal 是个数据同步工具,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。基于日志增量订阅和消费,Canal 有以下功能:

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
忽略官方的解释,通俗来说, Canal 就是一个数据同步工具。它能让 MySQL 和 OceanBase 建立联系,你在 MySQL 上进行的 DDL 、DML 操作,都能同步到 OceanBase 上。当然前提是 SQL 是两个数据库都支持的语法。

Canal 工作原理

数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase_第1张图片
MySQL master 将数据变更写入二进制日志( binary log , 其中记录叫做二进制日志事件 binary log events ,可以通过 show binlog events 进行查看)

MySQL slave 将 master 的 binary log events 拷贝到它的中继日志( relay log )
MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据
canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

以上内容部分摘自 Canal 官方 GitHub 仓库,更多信息,查看 Canal GitHub 仓库 。

操作步骤

从 MySQL 增量同步数据到 OceanBase 总共分 3 步:

第 1 步,设置 MySQL
第 2 步,部署 Canal
第 3 步,写一些数据,测试实时同步功能
接下来我们按照上述步骤,来一起试一把数据同步。

第 1 步:设置 MySQL

MySQL 的安装本文就不介绍了,比较简单,网上也有很多教程。对于自建 MySQL ,需要先开启 Binlog 写入功能,打开 my.cnf 配置文件:

# 打开配置文件
vim /etc/my.cnf

添加这些配置:

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复

更改配置之后需要重启 MySQL 新的配置才能生效。连接 MySQL ,查看是否生效:

mysql -uroot -p

可以看到此时 log_bin 已经打开,并且 binlog_format 的值为 ROW 。

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+

现在创建 Canal 用户:

# 创建 Canal 用户
CREATE USER canal IDENTIFIED BY 'Canal123';

这里说一个我踩的坑,在设置密码时,如果不满足当前密码强度规则,会报错:

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

我们看看当前密码强度规则:

SHOW VARIABLES LIKE 'validate_password%';

密码包括 1 个特殊字符,按照要求重置密码,成功

CREATE USER canal IDENTIFIED BY 'Canal@123';
Query OK, 0 rows affected (0.00 sec)
# 现在为 canal 用户授权,*.* 表示所有库
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

第 2 步:部署 Canal

本文使用的 Canal 是 OceanBase 的定制版本,详细信息,参考 Canal for OceanBase。

部署 Canal Deployer

Canal Deployer 是 Canal 的 server 端,它用来进行 binlog 到 CanalEntry 的转换。来到 Canal for OceanBase 仓库的 Rlease 页面,下载 Deployer 的安装包。然后创建解压目录并解压:

mkdir /tmp/canal2
tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal2

来到安装目录,查看目录结构:

cd /tmp/canal
ls
bin :canal启动、重启、停止文件
conf  :canal配置文件
lib :canal运行所需的jar包,注意数据库驱动包版本,可手动更换
logs  :canal运行日志
plugin  :一些扩展包,如消息队列

修改实例属性配置文件

vi conf/example/instance.properties

这里只介绍我用到的配置,我们把用户名、密码改了就行

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=Canal@123

启动 Canal:

sh bin/startup.sh

数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase_第2张图片

注意 Canal 启动需要安装 JAVA JDK,安装命令如下:

yum install java-1.8.0-openjdk* -y

生产环境建议用二进制包装,这样不会影响其他用户。解压以后配置环境变量就可以了。

现在查看日志,看看 Canal 有没有启动成功:

vi logs/canal/canal.log
# 查看 Canal 实例的日志
vi logs/example/example.log

数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase_第3张图片

通过日志,我们看到已经启动成功,接下来我们部署 Canal Adaptor。

部署 Canal Adaptor

Canal Adapter 是 Canal 的客户端适配器,它用来解析 CanalEntry 并将增量变动同步到目的端。还是从刚才提到的 Release 页面,下载对应的包,解压方式同上。我们直接来到安装目录,修改启动器配置文件,还是只介绍我用到的配置:

vim conf/application.yml

  canalAdapters:- instance: example # canal instance Name or mq topic namegroups:- groupId: g1outerAdapters:- name: logger- name: rdb  # 指定为 rdb 类型同步key: mysql1 # 指定 adapter 的唯一 key, 与表映射配置中 outerAdapterKey 对应properties:jdbc.driverClassName: com.mysql.jdbc.Driverjdbc.url: jdbc:mysql://127.0.0.1:2881/amber?useUnicode=true   #这里amber是待同步的database名称jdbc.username: root@amber_babe # jdbc username,ob的用户@业务租户,创建业务租户我就不演示了jdbc.password: root # jdbc password ob业务租户密码

默认的配置是注释的,我们需要打开。由于社区版 OceanBase 完全兼容 MySQL 协议,因此在使用时,将其视为 MySQL 配置即可。Adapter 服务在启动时,会加载对应类型 Adapter 配置目录(此处即conf/rdb/)下的所有配置文件。表映射有两种配置形式:按表映射同步和整库同步。我们直接同步数据库镜像,因为生产环境往往有多个表需要同步,修改 RDB 表映射文件有点麻烦。

vim conf/rdb/mytest_user.yml

## Mirror schema synchronize config
dataSourceKey: defaultDS
destination: example
groupId: g1
outerAdapterKey: mysql1
concurrent: true
dbMapping:mirrorDb: truedatabase: amber # 只改这个,需要源库、目标库一模一样

第 3 步:同步数据

创建 database 和 table 我就不演示了,我们直接测试数据同步:

打开一个新的窗口,把日志打印出来,这样方便在插入数据时看到日志的变化。

tail -f x.log

数据同步:教你如何实时把数据从 MySQL 同步到 OceanBase_第4张图片

可以看到,左侧插入的数据

mysql> insert into amber1 values (7,8);

已经同步过来了,详情见屏幕右侧的日志。此时,你也可以连接到 OceanBase ,确认数据是不是真的同步过来了。

写在最后
最后,来个小彩蛋, canal 的正确读法是 [kə'næl] ,是运河的意思,比如著名的 Panama Canal(巴拿马运河)。我发现很多小伙伴会读成 ['kænəl] ,记住是 [kə'næl] 哦,重音在后面啦~~

你可能感兴趣的