DM同步 relay_log丢失

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.3
  • 【问题描述】:
    1:在同步的过程中 relay_log丢失,想重新同步数据,之前 启动dm-worer生成的文件该如何处理

image

2:对relay_log 需要做什么操作?
3:对不需要的dm-worker生成文件该如何删除

计划重新同步数据是指,从全量开始重新同步吗?如果是,建议参考下述链接中 “ 如何重置数据同步任务?” 部分:

https://pingcap.com/docs-cn/stable/reference/tools/data-migration/faq/#如何重置数据同步任务

2:对relay_log 需要做什么操作 ? 3:对不需要的dm-worker生成文件该如何删除

清理relay_log 需要做什么操作

文档已做说明,需要手动清理相关目录:

image
这里说的操作是直接删除掉 relay_log 还是用其他的命令

建议手工删除,重新拉取

1:是直接rm -rf relay_log 文件夹还是 直接删除里面的文件

2:对于不需要的dm-worker 生成文件 如何删除

上述连接中 “ 如何重置数据同步任务?” 的第三步,可以手动删除重新同步的 relay_log 整个目录,如在操作系统层使用 rm 命令。

另外,重置操作前,需要注意,该 worker 没有被其他 task 任务引用

1 个赞

对于不需要的dm-worker 生成文件 如何删除

请明确下,你那里指的 dm-worker 生成的文件是指什么文件,可以给出具体的目录以及文件名称


图片中的配置生成文件

如果是需要重新同步数据,我们这边提供两个思路:

  • 1.清空 deploy_dir 目录,重新进行 deploy 操作,即重新部署 dm-worker,启动即可重新拉取 binlog 信息。再清理下游数据以及 checkpoint 信息后,启动 task 任务重新同步即可。重新部署可参考官网:https://pingcap.com/docs-cn/stable/how-to/deploy/data-migration-with-ansible/

  • 2.按照上述提供的方式,在第三步时 删除 relay_log 目录后,继续进行 4 5 步操作即可。其他文件不需要操作。

注意:inventory 中未配置位点信息,v1.0.2及以上版本的 DM 会默认从最新位置开始拉取 binlog

我已经不需要这个文件目录,想进行删除,删除时报没有权限,

如果没有权限删除,请查看并且确认该目录的属主,使用相应的属主用户进行相关操作。具体请查看 linux 操作系统相关的命令~~~

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。