数据迁移(mysql->tidb),mysql有100张表,迁移任务前置检查花费很长时间,如何优化?

需要把mysql得数据同步到tidb,mysql数据库有100多张表,迁移任务前置检查被卡住了,没有响应,怀疑是因为表太多了,请问如何优化?

社区好几个问这个dmctl卡住的问题了,好像都没太多日志,你这个有日志吗,dm worker节点和dm master节点

你是不是分区表特别多啊。

先检查配置文件以及网络情况

可以减半,看有没有可能查到是哪些表有问题,有时就是一张表的问题

遇到这种卡住的, 一般如果日志没有调到提示的话, 就要看一下系统调用情况。 卡在什么地方, 这里推荐一个工具: strace。
参考命令:

strace -f -F -o ~/straceout.txt $COMMAND

检查一下网络情况


这两个贴子是一个人发的吧?

如果只迁移全量数据,不考虑增量的话,是不是可以从MySQL上mysqldump出来,然后在灌入到TIDB上,10张表一个任务,开10个并发,这样效率高些

是的,同一个问题

没有日志,我这边是因为上下游表太多引起的,如果只同步一张表,check会很快

可以分批干

1 个赞

减点试试。

大表先排除试试

网络问题概率大点

几个表一次试下