TICDC创建任务使用文件排序报错:puller mem buffer reach size limit

  • 【TiDB 版本】:v4.0.6
  • 【问题描述】:

同步任务在7点半的时候中断了,累计的数据量比较大(解析1小时的BINLOG大概有100G)。所以重建任务时指定了 --sort-engine=“file” --sort-dir="/data/tidb_data/backup"。 但是还是报错内存不够。这个要怎么解决啊

tiup cdc cli changefeed create --start-ts=420958327904928059 --sink-uri=“kafka://隐藏kafka主机地址/cdc-test?kafka-version=2.2.0” --changefeed-id=“base-kafka” --config=/data/cdc_file/base.toml --sort-engine=“file” --sort-dir="/data/tidb_data/backup"

image

你好,同样的帖子,这边已经给你提供了思路,麻烦检查下。

如果同步任务长时间中断,累积未消费的数据比较多,初始启动 TiCDC 可能会发生 OOM。这种情况下可以启用 TiCDC 提供的文件排序功能,该功能会使用文件系统文件进行排序。启用的方式是创建同步任务时在 cdc cli 内传入 --sort-engine=file--sort-dir=/path/to/sort_dir

参考的这里,使用 sort-engine=file 文件排序。为什么还是会报内存达到限制。

参考这个,目前这个问题已经在优化了