可以新建一个帖子,然后把完整的 cdc 日志帖一下哈。然后从这里的描述,有种可能是你在升级 cdc 新架构之前,没有把所有的 changefeed 删掉。新架构不支持去读老架构的 changefeed 配置,需要删掉并重建才行
1 个赞
patch 新架构的 cdc binary 并修改配置后就可以开始测试了,可以在 cdc 日志里查看有没有 “new arch” 关键字判断是否正确 patch 并且修改配置了。tiup cdc version
这个只是看用 tiup 调用 cdc binary 的版本是多少,和集群里版本无关,可以忽略。
同一个TiDB集群里面能不能同时支持部署2套不同的TiCDC 版本,这样便于测试和比较。
应该可以把,测试哪个开启哪个。
咋做啊,数据会有问题么
是可以的哈,新集群启动的时候设置一个不一样的 cluster-id 就行
详情请见:https://docs.pingcap.com/zh/tidb/stable/ticdc-server-config/
2 个赞
但是这个跨版本会不会有问题?一般是要和tidb集群保持同版本吧。
好的,我试下,谢啦
按理说是的,主要测试不同的版本。
ticdc 新架构可以支持 tidb v7.5 以上的版本,不需要和上游 tidb 集群保持相同的版本。
之前ticdc不是可以使用吗,新架构是指在新的架构基础上重构了ticdc功能吗
新架构 TiCDC 没有功能上的变化,但是它在性能、稳定性和扩展性等方面将会有显著提升。
以下是测试结果和优势总结:
- 显著提升了单节点处理性能
- 一个 CDC 节点最高可以支持 50万张表(0.5M)
- 一个 CDC 节点最多可以同步 200MiB/s 流量(宽表场景)
- 提供了超强的扩展能力
- 预计可以扩展到 100 个节点以上
- 支持超过 1 万个changefeed
- 一个 changefeed 可以放几百万张表
- 更高的稳定性
- 在高流量下更稳定的延迟 Lag
- 扩容、缩容,添加、删除等操作对其他 changefeed 的影响更小
- 更省成本,用更少的资源跑同样的流量
- CPU、内存效率在典型场景有最多一个数量级的提升
关于新架构 TiCDC 的更详细的介绍可以看这篇文章⬇️
按照官网介绍,在坐下吧。
1 个赞
感谢老师