TiDB 社区版本支持 BinLog 吗?同步到 Kafka 的工具是收费的么?

  • 系统版本 & kernel 版本:cent0s 7.2
  • TiDB 版本:3.0.0
  • 问题描述:现准备通过采集 TiDB 的 Binlog 到Kafka,请问有推荐的免费工具吗?谢谢

你好,Drainer 可以将 TiDB 的 binlog 同步至 kafka:https://pingcap.com/docs-cn/v3.0/reference/tools/tidb-binlog/binlog-slave-client/#配置-kafka-drainer

感谢您的回复,请问这个工具是免费的,还是收费的呢?

是免费的嗯。另外需要注意的是目前 drainer -> kafka 是固定写入到固定 partition 的,kafka 上的扩展性比较有限。这块我们后续有计划做 partition 拆分的实现,如果有相关诉求的话可以交流下,我们方案上也做下考虑。

只能一个 topic 写入一个分区么?不支持写入多个 kafka partitions?

对,目前是这样的,如果写入多个 partition 的话,你们会倾向于按照哪种方式来拆分?比如按照 schema/table/row 写入到不同的 parition 中。