cdc怎么配置kafka的batch.size

🪐 TiDB 技术问题
1

cdc怎么配置kafka的batch.size

2

tidb-cdc：表示topic
kafka-version：下游 Kafka 版本号（可选，默认值 2.4.0，目前支持的最低版本为 0.11.0.2
kafka-client-id：指定同步任务的 Kafka 客户端的 ID（可选，默认值为 TiCDC_sarama_producer_同步任务的 ID
partition-num：下游 Kafka partition 数量（可选，不能大于实际 partition 数量。如果不填会自动获取 partition 数量。
protocol：表示输出到 kafka 消息协议，可选值有 default、canal、avro、maxwell、canal-json（默认值为 default
max-message-bytes：每次向 Kafka broker 发送消息的最大数据量（可选，默认值 64MB
replication-factor：kafka 消息保存副本数（可选，默认值 1
ca：连接下游 Kafka 实例所需的 CA 证书文件路径（可选）
cert：连接下游 Kafka 实例所需的证书文件路径（可选）
key：连接下游 Kafka 实例所需的证书密钥文件路径（可选）

你需要的是哪些参数呢

3

可以参考文档：https://docs.pingcap.com/zh/tidb/v7.1/ticdc-changefeed-config#ticdc-changefeed-命令行参数

4

配置cdc后 我想kafka消息每批大小1M才发送

5

image
image2072×144 38.6 KB

看起来控制是行数。:thinking:

6

uri 要不试试这个参数？

image
image1920×1469 192 KB

https://github.com/pingcap/tiflow/blob/master/pkg/sink/kafka/options.go#L117
image
image1920×1068 155 KB

但是感觉不是你想要的，你想要的看起来是想攒批 1mb 发送？

7 
# Kafka 生产者配置示例

# Kafka 生产者配置
bootstrap.servers=kafka-broker1:9092,kafka-broker2:9092
key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer

# 设置 batch.size 参数
batch.size=1048576

# TiCDC 配置文件示例

# TiCDC 的服务监听地址
server:
  # 监听地址
  host: 0.0.0.0
  # 监听端口
  port: 8300

# CDC 配置
cdc:
  # Changefeed 配置
  changefeed:
    # CDC 配置名称
    id: "example-changefeed"
    # 目标存储类型，此处为 Kafka
    sink-uri: "kafka://kafka-broker:9092/example-topic"
    # 其他 CDC 相关配置
    ...
    # Kafka 生产者配置文件路径
    kafka-producer.config: "/path/to/kafka/producer.properties"
8

这个文档在哪，没有找到。。。