DM mydumper 缺失重试策略?

后面换过机器,剩余内存8G多, dm-worker 依然 oom(手动mydumper成功,dm-worker下会oom,两个感觉参数一样)dm-worker oom 感觉是在导入阶段被 kill 的,应该还是单个 SQL 文件过大导致的

-r 500 试下,这边自动分出来 2M 的 sql 文件

我这边 -r 出来的是一张表一个文件。不是你截图的多文件模式。

./mydumper -h $HOST -u root -p $PASSWORD -r 500 -x ‘^(tb-tb1|tb_tb2)’ --no-locks

可否截图看下?

执行指令

-r 500 执行时间较长,之前成功结果大小用红字标识

sys 数据库是不是可以过滤下,那是 mysql 的性能分析的数据库?

本身也没有备份sys数据库。产出的sql文件也不含相关数据库。

  1. 辛苦截图看下你的 task 中 [mydumpers] 部分的配置。
  2. 确认下 mydumper 手动执行时是否拆分了文件,dm 备份时是否拆分了文件。

问题已解决。

使用 -r 模式下,由于生产的单个SQL文件较大,需要根据现有内存,调整 dm-worker 配置参数即可

:handshake:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。