增量数据每天几十G，现在要使用CDC同步到kafka，
源端我需要几个台CDC够用呢？我把他扩容在tidb服务器 16核64G，1个够用吗？还是需要2台
kafka需要几台呢？目前已经有个kafka集群。都是2核8G的。我搞一台单独的8核32G 可以吗？
有人做过类似的方案吗？1台CDC服务器够用吗？
看同步数据量和业务重要程度的，这些都是没有标准答案的，kafka单机版不怕宕机么？
阿里云服务器一般不会宕机吧，也就临时用两个月给他。新买一个阿里云ECS不可能2个月就会故障吧 
我是准备1个服务器或者最多2个。副本还是选择1副本。
先搞，不够再扩容
我增加一台CDC，怎么样才觉得是不够用？如果扩容，我正在运行的CDC。直接扩容一台CDC，那新增的CDC自动加入运行吗？
阿里云的可以试试serverless版的kafka，弹性伸缩，基础版就可以，比自己搭建单节点还便宜
1.看cdc监控指标，比如cpu,内存，延迟等，参考https://docs.pingcap.com/zh/tidb/stable/monitor-ticdc/
2.自动加入运行，参考https://docs.pingcap.com/zh/tidb/stable/ticdc-architecture/
一般资源不够扩资源，资源受限拆多个任务去跑
1 个赞
恩，我这边也确认买阿里云的kafka产品。
TiCDC 节点数量|1 台（16 核 64G）足够，若资源紧张可扩容至 2 台。Kafka 集群配置|新增 1 台 8 核 32G 节点，并优化现有集群（升级节点、调整分区和副本因子）。生产者参数调优|调整 batch.size、compression.type 等参数以提升吞吐量。监控与告警|使用 Prometheus + Grafana 监控资源和延迟，确保系统稳定性。
16核64G和tidb -server 同一台，也没问题吧。我是准备扩容cdc到tidb-server的其中一台上面。这个tidb-server配置是16和64G.
此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。