ticdc 都支持哪些版本的 kafka？

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】

ticdc 都支持哪些版本的 kafka？

比如最新版本的 ticdc 7.4 是否支持最新版本的 kafka 3.6?

2

下游 Kafka 版本号（可选，默认值 2.4.0 ，目前支持的最低版本为 0.11.0.2 ，最高版本为 3.2.0 。该值需要与下游 Kafka 的实际版本保持一致）。

https://docs.pingcap.com/zh/tidb/v7.4/ticdc-sink-to-kafka

1 个赞
3

cdc支持的kafka版本的官方文档很久很久没更新了，需要咨询他们内部开发了。

4

我测试装过最新版本的kafka，没发现问题

5

TiCDC 支持 Kafka 的多个版本，包括最新的 3.6 版本。

具体来说，TiCDC 支持的 Kafka 版本如下：

  • 0.11.0.2
  • 0.11.1.0
  • 0.11.1.1
  • 0.11.2.0
  • 0.11.2.1
  • 0.11.2.2
  • 1.0.0
  • 1.0.1
  • 1.0.2
  • 1.1.0
  • 1.1.1
  • 2.0.0
  • 2.0.1
  • 2.1.0
  • 2.1.1
  • 2.2.0
  • 2.2.1
  • 2.3.0
  • 2.3.1
  • 2.4.0
  • 2.4.1
  • 3.x.x

您可以在创建 TiCDC 复制任务时，通过 sink URI 参数来指定 Kafka 的版本。例如：

–sink-uri= “kafka://127.0.0.1:9092/topic-name?protocol=canal-json&kafka-version=3.x.x&partition-num=6&max-message-bytes=67108864&replication-factor=1”

其中，kafka-version 参数就是用来设置 Kafka 的版本。这个值需要和下游 Kafka 的实际版本保持一致。

6

基本都支持，新的基本功能都应该支持的

7

Kafka 2.0.x到Kafka 2.7.x都支持的，最新版本的最好还是测试下

8

kafka 的 api 兼容性会比较好，不论是 send 还是 receive

目前有的版本都是可以直接支持使用的，但是如果有用到 kafka 的元数据，等管理和控制元素，就要考虑兼容性了，坑比较深

9

这个信息的来源是？

10

最高版本为 3.2.0

可能是没测试过3.6,也可能是文档没更新。
不过这个默认值2.4实在有些陈旧了，已经eol了都。

11

:yum:大概率是文档没更新，应该可以提到建议里了~

1 个赞
12

常用版本都支持的

13

大多数版本都支持的

14

我测试过最新版本的，支持的

1 个赞
15

:+1: :+1: :+1:

16

:+1: :+1: :+1:

1 个赞
17

基本都支持