DM同步任务Dump状态下同步了文件夹大小66个G了,不知道为什么突然重新开始同步了。

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:DM昨天刚升级1.0.3版本。
  • 【问题描述】:我同步任务,同步到66个G的时候不不知道为什么会重新开始了?看状态什么的一切正常,看监控也是好的。 看任务状态也没问题。 Dump状态下失败是不是会自动重新部署worker文件重新拉取数据呢?

确认下是怎么发现重新开始同步了?数据有重复还是报错或者任务重启了?最好给个准确的说明,另外提供下配置文件信息。

没报错,就直接重新开始了。在同步的过程中我就一直查看du -sh * 查看当前文件夹大小。我发现文件夹从66G变成了2.2个G,不应该是重新开始同步了吗。所以我现在就很纳闷,没报错。我一直在用query-status 查看状态。

dm-worker.log (1.1 MB)

看下上游 mysql 在 dump 数据的时候有没有出现 OOM,设置的多大内存?查看日志发现连接不断的断开又重连。

现在并发调低了,目前是两个线程在做同步,等一会看看还会不会出现问题吧。

好的 ,有问题反馈。

您好,问题解决了就跟您说的一样,线程数设置的太多,导致内存消耗太大。task任务重复拉取数据。调整线程数大小就可以了。

谢谢您。

好的,有问题再反馈