mydumper 导出数据无响应

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:mydumper 0.9.5 (ba3946edc087e87bba7cb2728bc2407f6dbd0a8b), built against MySQL 5.7.24
  • 【问题描述】:从mariadb10.2.22导出数据,mariadb中有接近500G数据,导出40分钟左右数据文件不再导出,进程存在,进程占用单个cpu100%

导出命令参数在上面截图有。

系统日志/var/log/messages无异常信息

我也尝试过把并发数量修改小一点,但是修改过程,导出任务仍然会在一个小时内自动停止,同时报错Lost connection to MySQL server during query

但是我的timeout参数修改的都比较大,还是不行。
image

请帮忙定位一下。

我的场景是mariadb中有业务在运行,tidb中也有业务在运行,要把mariadb中的一个数据库全量同步到tidb中,后续再用syncer做增量同步。
除了mydumper\myloader\syncer,还有其他解决方案吗

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

  1. 对于报错,一般的原因是
  • log 中是否有 panic
  • dmesg 中是否有 oom,命令: dmesg -T | grep -i oom
  • 长时间没有访问,也会收到这个报错,一般是 tcp 超时导致的,tcp 长时间不用, 会被操作系统 kill
  1. 请问mariadb,mydumper是在同一台机器吗? 如果不是,请查看两台机器上的日志信息. 同时请检查是否有防火墙

  2. 对于你的要求,可以参考DM,使用DM导出,并且同步数据

https://pingcap.com/docs-cn/stable/reference/tools/data-migration/overview/#dm-架构