同步阿里云报错

snluyufu · 2020 年3 月 3 日 06:57

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

1：query-status taskname查询的日志

2：dm-worker的日志

zzzzzz · 2020 年3 月 3 日 08:16

connection close , 检查下下游 tidb 进程是否正常

snluyufu · 2020 年3 月 3 日 08:18

1：正常，relay.meta 中的 binlog-pos是增长的

zzzzzz · 2020 年3 月 3 日 08:19

resume task 能否启动？

snluyufu · 2020 年3 月 3 日 08:24

1:可以

zzzzzz · 2020 年3 月 3 日 11:37

snluyufu · 2020 年3 月 4 日 01:31

启动之后，再status 还是会报错，这样要手动在下游执行sql吗？

snluyufu · 2020 年3 月 4 日 01:56

1：恢复之后报不一样的错误
dm-worker log日志

query-error 命令日志

query-status命令日志

GangShen · 2020 年3 月 4 日 02:03

可以查看一下官方文档关于 DM 常见错误的修复文档：

建议检查一下 dm-master 与 DM 组件之间通信是否正常

snluyufu · 2020 年3 月 4 日 02:05

通信是正常的

GangShen · 2020 年3 月 4 日 02:38

问题原因应该是由于query-status 时这个包含过长 SQL 语句的错误信息超出 gRPC 的默认限制

使用新版本 1.0.3 版本 DM 应该可以解决这个问题

snluyufu · 2020 年3 月 4 日 02:47

谢谢，我的dm 是1.0.2 版本。

我想重置worker任务的gtid重新同步数据，怎么看最原始的gtid？
这是我的worker配置

GangShen · 2020 年3 月 4 日 02:52

重置同步任务可以参考

snluyufu · 2020 年3 月 4 日 02:54

我知道如何重置任务的操作，重新开始同步需要改worker的gtid设置吗？如果要改的话，如何找到最开始的gtid信息上游是rds

GangShen · 2020 年3 月 4 日 03:10

可以看下 mydumper 备份文件是否还存在，mydumper 备份的 metadata 文件会记录最开始备份恢复的 GTID 信息

snluyufu · 2020 年3 月 4 日 03:15

这个是部署worker生成的文件吗？

GangShen · 2020 年3 月 4 日 03:28

如果不需要重新拉取 relay log 的话，可以不重新设置 worker 的 gtid

snluyufu · 2020 年3 月 4 日 03:31

需要重新拉取，不确定relay log 是否完整

GangShen · 2020 年3 月 4 日 03:35

如果 woker 配置文件中配置了 enable-gtid=true 那么重置任务时，需要将 woker 配置文件中 relay-binlog-gtid置空，DM 会自动找最新的GTID 点，不需要手动指定

如果enable-gtid=false ，那么不需要设置

snluyufu · 2020 年3 月 4 日 03:42

1：我配置了 enable-gtid=true

2：重新部署的时候也就是把 relay_log 文件下的所有文件删除然后重新部署就可以了是吗？

3：worker中配置的relay_binlog_gtid是否需要改动？