DM在Load阶段报错

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
v7.1.1
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】

我的上游是MYSQL5.7,下游是TIDB-Server,现在通过DM工具全量+增量同步一个库过去,执行tiup dmctl query-status MY_TASK_NAME 有如下报错

image
image1640×817 49 KB

Task配置如下:

image
image736×347 16.4 KB

TIDB-SERVER对应的参数配置如下:
image

image

image

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】

2

这里不是建议你调整参数
image

3

是不是要调整mysql的max_allow_packet

4

都调整了,没用,报错依旧.

5

也调整了啊,只是没有调整到1G这么大…

这个截图不是在Load阶段嘛,我寻思着Load阶段没Mysql上游什么事情了吧

6

直接在后面加两个0试下
Data Migration 常见问题 | PingCAP 文档中心

7

这个值不能乱填的吧,文档上这么写的

image
image809×360 46.1 KB

8

调大吧，我这边设置的是1G，如果你是迁移的话，可以迁移完再改小一点。。。

9

文档上是错的?

10

是的，建议是1024的整数倍，6710886400还是符合的。
不符合问题也不大，系统自动向下取整。

临时改了试下呗。

11

我试试设置10G吧

12

有效果嘛

13

改了max_allowed_packet 为10G的,但是不生效啊,查看还是1G,然后重新resume-task了也是报错依旧,不过progress这个进度条推进了一点点

14

确实只能改成1G，我的也是1G，刚才说错了，应该是performance.txn-total-size-limit设置了10G

15

如果max_allowed_packet 已经是1G ，可以调整单个批次的行数改小点

16

好的,那我再试试看

17

尝试将

  • TiDB Server 的全局变量 max_allowed_packet
  • 任务配置文件中的配置项 target-database.max-allowed-packet

DM配置文件内容详细可参考：https://docs.pingcap.com/zh/tidb/stable/task-configuration-file-full

18

不行看起来不是这个参数的原因,我刚修改了10G之后重新resume-task’错误依旧

19

看看tidb server 的log呢

20

那张log表的表结构什么样？怎么会这么大，都是blob么