ticdc 下游程序 编写问题

【TiDB 使用环境】测试
【TiDB 版本】8.5.1
【操作系统】centos 7.9
【部署方式】本地
【遇到的问题:问题现象及影响】
ticdc 的下游只能是 mysql 或 kafka 等数据库或消息队列吗?
可不可以自己编写程序呢?

ticdc本质是数据转换程序,下游可以是数据库,消息队列,文件。你是想写程序落地到哪里呢?还是想自己再造一个cdc

想同步到其他数据库,比方说 db2
ticdc 可以到文件吗?文档里没有看到

你可以同步到消息队列里面,然后再想放到那里就放到那里去呀

1 个赞

有个 tikv client 可以实现手动获取到增量数据,然后写代码写到某些地方去,参考:基于javaFX 开发 的TikvReaderGUI版本更新 V1.1

1 个赞

我们现在采用的就是这个方案👍

TiCDC可以输出为canal-json,https://docs.pingcap.com/zh/tidb/stable/ticdc-canal-json/#ticdc-canal-json-protocol

这个方案挺好的,不然tidb gc life time 设置本来就不能很大,没有消息队列承接,很容器丢失数据

1 个赞

ticdc吐到kafka,然后在启动一个kafka消费进程,想写到什么数据库写到什么数据库不是吗?

1 个赞

https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-cloud-storage/#同步数据到存储服务

https://docs.pingcap.com/zh/tidb/stable/ticdc-csv/