【TiDB 4.0 PCTA 学习笔记】-3.5 How to use TiCDC (增量同步工具 TiCDC)@2班+胡宏强

☄️ 学习与认证 经验&心得&笔记
1

课程名称：课程版本（101/201/301）+ 3.5 How to use TiCDC (增量同步工具 TiCDC)

学习时长：20

课程内容：

一、TiCDC

  • CDC是Change Data Capture的缩写，TiCDC是TiDB的变更数据捕获。

  • 架构

image
image828×425 59.3 KB

  • 特性
    • 高可用
      • 数据高可用
      • 故障转移
    • 高性能
    • 丰富的生态对接
      • Support MySQL compatible database
      • Support Kafka with Avro format/Canal format/Maxwell format
      • Support Pulsar
    • 环形同步

二、部署TiCDC

  • 软硬件需求
    image

  • TIUP 部署
    在已有的集群上通过scale-out 部署，新的直接写配置文件
    配置
    image

  • 创建同步任务

  • sink-uri

    • mysql
      mysql://root:123456@127.0.0.1:3306
    • kafka
      • kafka
        kafka: / /127.0.0.1: 9092/cdc-test
      • canal
        kafka://127.0.0.1:9092/ cdc-test?protocol=canal

  • 注意事项
    数据表需要有主键 或者是唯一索引 （需要有一个唯一索引为not null）

三、环形同步

  • 创建 mark table 用于 追踪来源
    cdc cli changefeed cyclic create-marktables .cyclic-upstream-dsn=“root@tcp(${(TIDB_A_HOST}:${(TIDB_A_PORT})/”- -pd=“http://S[PD_A_HOST] : ${PD_A_PORT]”
    需要在集群上都执行

  • 创建任务
    cdc cli changefeed create .-sink-uri="rnysql://rootS(Ti08_B_HoST)/”–pd=“http://$(PD_A_HOST):$(PD_A_ POR7)” --cyclic-replica-id 1 --cyelic-filter-replica-ids 2 --cyclic-sync-ddl true

    • –cyclic-replica-id : 集群id （类似与mysql 的server id）
    • –cyelic-filter-replica-ids : 同步到的下个集群id
    • 需要注意最后一个集群 同步回 第一个集群时 需要设置 --cyclic-sync-ddl false

四、 TiCDC Management

  • 查看 整体 task 任务 来获取 获取 cdc task id
    cdc cli capture list --pd=http://10.0.10.25:2379
    image

  • Pause/Resume/Remove task

  • 查看 指定 任务
    cdc cli capture query --pd=http://10.0.10.25:2379 --changefeed-id 28c43ffc-2316-4f4f-a70b-d1a7c59ba79f

学习过程中遇到的问题或延伸思考：

  • 问题 1：
  • 问题 2：
  • 延伸思考 1：
  • 延伸思考 2：

学习过程中参考的其他资料

2

同学你好，感谢参与 TiDB 4.0 课程的学习！

本篇笔记逻辑清晰、内容丰富，被评选为优质笔记，将额外获得 20 积分，并在 「TiDB 培训」分类下获得“置顶”权益，积分兑换规则将于近期开放，敬请关注！

期待您继续产出优质内容！

4

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。