datax写入tidb速度慢!

【 TiDB 使用环境】生产环境 /测试
【 TiDB 版本】5.4.0
【遇到的问题:问题现象及影响】
data读取mysql数据写入tidb非常慢, 每秒就200多条; 反过来从tibd到mysql就没问题,每秒几千条
【附件:截图/日志/监控】

诚心请教各位!

可以看看tidb各组件资源使用情况,看看是否有瓶颈

看看监控里的资源使用率以及是否有写入热点吧

弱弱问下,这个是用的啥测试工具吗?

看看tidb集群使用情况

阿里的一个数据同步工具

我用的版本5.4.3,mysql通过datax导入tidb并没有发现这个问题,执行速度4000条每秒,请看下tidb dashboard sql语句分析中,耗时都耗在哪个步骤,

datax的配置是不是限速了

谢谢各位提供思路和帮助,公司环境在内网,目前因为疫情不让过去,过几天我去按照大家给的思路排查一百年 感谢~

你得看看datax的配置文件,如果当前命令不满足,你可以尝试写一点python脚本调用datax来抽取数据。

datax遍历表有个sleep配置,可以调调这个试试

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。