5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战

简述

CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力

本文通过 MySQL->StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点:

  • 结构迁移、全量迁移、增量同步(数据)、数据校验俱全
  • 流程全自动化

使用须知

  • 支持的StarRocks版本为: 1.18.x、1.19.x、2.0.x
  • 支持的源端数据源类型为: Oracle/PostgreSQL/Greenplum/MySQL,本文主要以 MySQL 源端为例说明使用方法。
  • 校验任务只支持主键模型的 StarRocks 表,源端表需要有主键

技术点

基于 StreamLoad 的导入方式

StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入,源端的消息会转成字节流,通过 HTTP 协议发往 StarRocks。

相比直接通过 SQL 写入的方式,StreamLoad 方式会有更好的性能,写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入,在 FE 侧,会有额外的 SQL 解析开销。

tips: CloudCanal默认采用 \u0001、\u0003作为 StreamLoad 导入的列分隔符和行分隔符。

丰富的配置

CloudCanal 提供了 StreamLoad 可配置的丰富参数,包括:

  • connectionTimeoutSec 参数

    • 表示导入请求的超时时间(单位:秒)
  • loadExecMemLimitMb 参数

    • 表示导入内存限制
  • timezone 参数

    • 默认东八区,指定导入所使用的时区
    • 该参数会影响所有导入涉及的和时区有关的函数结果。

可配置的写入停顿控制

过快的写入会导致 StarRocks 来不及 compaction,从而产生异常。CloudCanal 提供了两个任务参数,支持在一批数据写入后自动停顿一段时间,避免这种问题。参数为:

  • fullBatchWaitTimeMs 参数

    • 全量批之间写入停顿间隔,单位毫秒,默认 10ms
  • increBatchWaitTimeMs 参数

    • 增量批之间写入停顿间隔,单位毫秒,默认 100ms

CloudCanal 任务详情页,点击 参数修改,即可调整

5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第1张图片

5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第2张图片

主键模型

StarRocks 作为实时数仓,采用主键模型或者聚合模型较多。CloudCanal默认采用主键模型,能够实时同步源端的 INSERT/UPDATE/DELETE

tips: 表结构对于实时数仓实际读写性能影响非常大,CloudCanal 默认提供的结构迁移能力并没有提供诸如 分区分桶等设置,用户如需使用,可按照需求提前创建好表结构,再通过 CloudCanal 进行数据迁移同步。

UPDATE/DELETE 操作的处理

基于 StreamLoad 的写入方式,实际写入对端的操作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句,并修改 __ops 值,StarRocks 会自动进行compaction。

转义支持

StarRocks 不支持 \n 等特殊符号写入,CloudCanal 任务通过参数设置(enableEscape参数) 开启自动转义。

操作示例

  • CloudCanal 社区版部署,参见 社区版安装文档
  • 准备好源端和目标端数据库以及对应的测试数据

添加数据源

  • 登录 CloudCanal 平台
  • 数据源管理->新增数据源
  • 选择自建数据库中StarRocks
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第3张图片
  • Client地址: 为StarRocks提供给MySQL Client的服务端口,CloudCanal主要用其查询库表的元数据信息
  • Http地址: Http地址主要用于接收stream load的http请求

任务创建

  • 任务管理->任务创建
  • 选择 目标 数据库
  • 点击 下一步
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第4张图片
  • 选择 增量同步,并且启用 全量数据初始化
  • 不勾选 DDL 同步(暂不支持)
  • 点击下一步
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第5张图片
  • 选择订阅的表,结构迁移自动创建的表为主键模型的表,因此暂不支持无主键表
  • 点击下一步
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第6张图片
  • 配置列映射
  • 点击下一步
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第7张图片
  • 创建任务
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第8张图片
  • 查看任务状态。任务创建后,会自动完成结构迁移、全量、增量阶段。
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第9张图片

任务性能调优(option)

对于高流量的场景,建议使用 4G 及以上的任务规格配置,并且对相关参数进行调优,调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。

  • 任务详情->功能列表->参数设置
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第10张图片
  • 全量迁移参数调整
    5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第11张图片
  • 增量同步参数调整
    c2f8457f-b49e-428f-9120-b875e7b87fc3-image.png

总结

本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友,如果你觉得还不错,请点赞、评论加转发吧。

常见FAQ

默认任务参数配置下,如果导入数据过于频繁可能会任务异常,这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ

5分钟搞定MySQL/PostgreSQL/Oracle到StarRocks数据迁移同步-CloudCanal实战_第12张图片

更多精彩

加入CloudCanal粉丝群掌握一手消息和获取更多福利,请添加我们小助手微信:suhuayue001
CloudCanal-免费好用的企业级数据同步工具,欢迎品鉴。
了解更多产品可以查看官方网站http://www.clougence.com
CloudCanal社区https://www.askcug.com/

你可能感兴趣的