为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:tidb 版本2.15,kafka版本0.10
- 【问题描述】:
tidb同步数据到kafka后,通过streaming structured接受数据报错。每次清空kafka的checkpoint后就好了,应该是数据堆积太多,但是我调整kafka参数、调整streaming structured接收端均无用,是否跟tispark或者binlog有关?
出现场景通常为spark应用长时间未开启后重启、或重新同步tidb表时load发生。
具体信息如下:
org.apache.kafka.common.errors.RecordTooLargeException: There are some messages at [Partition=Offset]: {kafka_obinlog-0=621412} whose size is larger than the fetch size 1048576 and hence cannot be ever returned. Increase the fetch size on the client (using max.partition.fetch.bytes), or decrease the maximum message size the broker will allow (using message.max.bytes).