TiCDC 新架构试用问题反馈区

一键报名:点击此处报名活动,提交成功后即可加入 TiCDC 新架构试用活动微信群

关于 TiCDC 新架构试用的 Bug 及优化建议请在这里 使用ticdc新架构试用标记的话题 进行反馈 :partying_face:

TiDBer 们欢迎来到 TiCDC 新架构试用 Bug 及优化建议反馈区 :sunglasses:

在试用的过程中遇到了问题,像是同步数据时出现错误、某些功能使用不顺畅,或是对新架构的某些设计存在疑问,都可以分享出来🥰,详细描述问题出现的场景、操作步骤等信息,这对 TiCDC 的进一步优化至关重要,研发团队也会根据大家的反馈,让新架构变得更完善!

:raised_hands: 另外,对于新架构的未来发展,大家肯定也有自己的想法。是希望增加新功能,还是优化现有特性?大胆说出你的期待,你的建议有可能会成为 TiCDC 未来改进的方向!

:bulb: 反馈你所遇到的试用问题 & 优化建议,将获得 100 积分 & 经验值奖励

新架构是指什么? :thinking:

TiCDC 新架构马上开启试用啦!

1 个赞

:+1::+1::+1:火速围观~

1 个赞

期待新架构cdc本身 上下游数据都 稳稳当当 流动,自动故障恢复

学习了

火速围观~

期待 新架构能够进一步提升 DDL 操作的性能,减少对同步任务的影响

1 个赞

“目前 TiUP 已经将 TiCDC 新架构监控面板集成到 Grafana 页面中,其名称为 -TiCDC-New-Arch,可以通过该面板查看新架构相关监控指标。”

怎么在已有的tidb集群中获取这个面板,版本v7.5.1,安装了最新的1.16.1 v1.16.1-nightly-12的tiup和重新部署了grafana都没有找到这个面板

一个TiDB集群里面能不能同时支持部署2套TiCDC 版本呢,这样测试新版本的TiCDC 就没有负担了,也能用生产大规模量的数据去测试验证。

ticdc可支持不同版本间集群切换

操作:
1)tidb v6.5.11 升级至 v8.5.1,
2)搭建 cdc 复制链路,v8.5.1 → v6.5.11
3) 将 v8.5.1 版本 cdc 进行 patch 到新架构的版本
4)修改集群配置,增加 newarch: true,对 cdc 执行 tiup cluter reload 操作
报错信息
1)程序 panic

我在已有的V8.5.1 TiDB 中 patch cdc ,完成cluster edit-config后执行 tiup cdc version , CDC 依旧是 V8.5.1,最后直接替换了 /home/tidb/.tiup/components/cdc/v8.5.1/cdc 下的 cdc 二进制文件,这样是不是基本上可以进行 CDC 新架构的测试了,当然是使用 tiup cdc ....

[root@node3 ~]# /data/bigdata/confluent/bin/kafka-console-consumer  --bootstrap-server node3:9092 --topic tidb_catalog_paimon_distributed_locks --from-beginning
{"id":0,"database":"","table":"","pkNames":null,"isDdl":false,"type":"TIDB_WATERMARK","es":1741081298619,"ts":1741081300750,"sql":"","sqlType":null,"mysqlType":null,"data":null,"old":null,"_tidb":{"watermarkTs":456414015945179148}}
{"id":0,"database":"","table":"","pkNames":null,"isDdl":false,"type":"TIDB_WATERMARK","es":1741081299619,"ts":1741081301750,"sql":"","sqlType":null,"mysqlType":null,"data":null,"old":null,"_tidb":{"watermarkTs":456414016207323143}}
{"id":0,"database":"","table":"","pkNames":null,"isDdl":false,"type":"TIDB_WATERMARK","es":1741081300618,"ts":1741081302750,"sql":"","sqlType":null,"mysqlType":null,"data":null,"old":null,"_tidb":{"watermarkTs":456414016469204997}}
{"id":0,"database":"","table":"","pkNames":null,"isDdl":false,"type":"TIDB_WATERMARK","es":1741081301619,"ts":1741081303752,"sql":"","sqlType":null,"mysqlType":null,"data":null,"old":null,"_tidb":{"watermarkTs":456414016731611146}}
....

感觉同步数据有问题呢

你这个是 watermark 类型 https://docs.pingcap.com/tidb/stable/ticdc-canal-json/#watermark-event

最新版本的grafana(v9.0.0-alpha-nightly)集成了ticdc_new_arch.json模版,也需要patch一下

收到,感谢老师的反馈~

可以的哈,新集群启动的时候设置一个不一样的 cluster-id 就行
详情请见:https://docs.pingcap.com/zh/tidb/stable/ticdc-server-config/

方便提供一下完整的 cdc 日志吗?