【TiDB 使用环境】测试
【TiDB 版本】8.5.1
【操作系统】centos 7.9
【部署方式】本地
【遇到的问题:问题现象及影响】
ticdc 的下游只能是 mysql 或 kafka 等数据库或消息队列吗?
可不可以自己编写程序呢?
ticdc本质是数据转换程序,下游可以是数据库,消息队列,文件。你是想写程序落地到哪里呢?还是想自己再造一个cdc
想同步到其他数据库,比方说 db2
ticdc 可以到文件吗?文档里没有看到
你可以同步到消息队列里面,然后再想放到那里就放到那里去呀
1 个赞
有个 tikv client 可以实现手动获取到增量数据,然后写代码写到某些地方去,参考:基于javaFX 开发 的TikvReaderGUI版本更新 V1.1
1 个赞
我们现在采用的就是这个方案👍
TiCDC可以输出为canal-json,https://docs.pingcap.com/zh/tidb/stable/ticdc-canal-json/#ticdc-canal-json-protocol
这个方案挺好的,不然tidb gc life time 设置本来就不能很大,没有消息队列承接,很容器丢失数据
1 个赞
ticdc吐到kafka,然后在启动一个kafka消费进程,想写到什么数据库写到什么数据库不是吗?
1 个赞