TiCDC 新架构试用问题反馈区

可以新建一个帖子,然后把完整的 cdc 日志帖一下哈。然后从这里的描述,有种可能是你在升级 cdc 新架构之前,没有把所有的 changefeed 删掉。新架构不支持去读老架构的 changefeed 配置,需要删掉并重建才行

1 个赞

patch 新架构的 cdc binary 并修改配置后就可以开始测试了,可以在 cdc 日志里查看有没有 “new arch” 关键字判断是否正确 patch 并且修改配置了。tiup cdc version 这个只是看用 tiup 调用 cdc binary 的版本是多少,和集群里版本无关,可以忽略。

同一个TiDB集群里面能不能同时支持部署2套不同的TiCDC 版本,这样便于测试和比较。

:flushed:应该可以把,测试哪个开启哪个。

咋做啊,数据会有问题么

是可以的哈,新集群启动的时候设置一个不一样的 cluster-id 就行
详情请见:https://docs.pingcap.com/zh/tidb/stable/ticdc-server-config/

2 个赞

:thinking:但是这个跨版本会不会有问题?一般是要和tidb集群保持同版本吧。

好的,我试下,谢啦

按理说是的,主要测试不同的版本。

ticdc 新架构可以支持 tidb v7.5 以上的版本,不需要和上游 tidb 集群保持相同的版本。

之前ticdc不是可以使用吗,新架构是指在新的架构基础上重构了ticdc功能吗

新架构 TiCDC 没有功能上的变化,但是它在性能、稳定性和扩展性等方面将会有显著提升

以下是测试结果和优势总结:

  1. 显著提升了单节点处理性能
  • 一个 CDC 节点最高可以支持 50万张表(0.5M)
  • 一个 CDC 节点最多可以同步 200MiB/s 流量(宽表场景)
  1. 提供了超强的扩展能力
  • 预计可以扩展到 100 个节点以上
  • 支持超过 1 万个changefeed
  • 一个 changefeed 可以放几百万张表
  1. 更高的稳定性
  • 在高流量下更稳定的延迟 Lag
  • 扩容、缩容,添加、删除等操作对其他 changefeed 的影响更小
  1. 更省成本,用更少的资源跑同样的流量
  • CPU、内存效率在典型场景有最多一个数量级的提升

关于新架构 TiCDC 的更详细的介绍可以看这篇文章⬇️

按照官网介绍,在坐下吧。

1 个赞

感谢老师