ticdc同步到kafka设置了partition100个，但是kafka只看到3个partition有数据

🪐 TiDB 技术问题 备份&数据迁移
,
1

ticdc同步到kafka设置了partition100个，但是kafka只看到3个partition有数据，是不是跟ticdc的节点数有关系？求大神指导

2

能提供更多的背景信息吗？

3

根据 TiCDC 同步到 Kafka 的设置了 100 个 partition，但只看到 3 个 partition 有数据的情况，可能与 TiCDC 的节点数有关。在 TiCDC 中，每个 TiCDC 实例会负责监控和同步一部分的数据变更，这些 TiCDC 实例会将数据变更写入 Kafka 的不同 partition 中。因此，如果您的 TiCDC 集群中只有少数节点在工作，可能会导致只有部分 partition 收到数据。

为了确保所有的 partition 都能收到数据，您可以考虑以下几点来优化和调整 TiCDC 的配置：

  1. 增加 TiCDC 实例数：通过增加 TiCDC 实例的数量，可以提高数据变更的并发处理能力，从而更均匀地将数据写入到 Kafka 的各个 partition 中。
  2. 调整 TiCDC 配置：您可以检查 TiCDC 的配置文件，确保配置了正确的 Kafka 相关参数，如 sink-partition-num，该参数指定了 TiCDC 写入 Kafka 的 partition 数量。您可以根据实际情况调整该参数的数值，以确保数据能够均匀地分布到各个 partition 中。
  3. 监控 TiCDC 运行状态：定期监控 TiCDC 的运行状态，包括各个 TiCDC 实例的工作情况、数据同步情况等，及时发现并解决数据同步不均匀的问题。
1 个赞
4

你有多少节点呢

5

应该没关系吧，你看下有报错啥的不

6

问题已经解决，是我自己第一次创建cdc任务的时候自动创建了topic设置了3改partition，后面停止任务后改动了partition
解决方法就是删除了之前的topic，再重新创建即可(测试阶段，非生产环境下操作)

7

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。