loader导入报错 [error]invalid connection

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
V5.0.0.0

【问题描述】

通过 dumpling 全量导出 tidb 中的数据,然后使用 loader 导入 mysql 中,在导入过程中报错:

重复跑了几次,每次插入报错的数据都不一样,但是报错信息都是 [error]invalid connection

  1. 看起来是链接被中断了,可以先检查一下下游的 MySQL 的日志以及 connect 相关的配置。
  2. 如果要导入的目标是 MySQL 的话建议使用 myloader 进行导入。

中断问题解决了,但是现在报:

下游 mysql 的 max_allowed_packet 值已经调整到最大1G了,但还是报错。

用 myloader 也一样,也是这个问题。

还有其他方式可以把 tidb 的数据全量导入 mysql 吗?

  • 请问一下导入到 MySQL 之后还需要做增量同步嘛?
  • max_allowed_packet 请问是怎么调整的呢?
  • 可以尝试把 loader/myloader 的并发或者 batch 调小看看。
  1. 还需要做实时同步的,暂时考虑使用 ticdc 的方式;
  2. 直接在 my.cnf 文件里指定 max_allowed_packet = 1G,然后重启数据库,之前 set global max_allowed_packet 的方式也试过;
  3. loader 的时候都没指定并发,batch 的是怎么调整的,我没有看到相关参数

可以先参考一下 loader 的文档。
https://docs.pingcap.com/zh/tidb/v3.0/loader-overview#全量导入过程中遇到报错-packet-for-query-is-too-large-try-adjusting-the-max_allowed_packet-variable

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。