loader导入报错 [error]invalid connection

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【TiDB 版本】
V5.0.0.0

【问题描述】

通过 dumpling 全量导出 tidb 中的数据，然后使用 loader 导入 mysql 中，在导入过程中报错：

image
image1898×184 29.2 KB

重复跑了几次，每次插入报错的数据都不一样，但是报错信息都是 [error]invalid connection

2
  1. 看起来是链接被中断了，可以先检查一下下游的 MySQL 的日志以及 connect 相关的配置。
  2. 如果要导入的目标是 MySQL 的话建议使用 myloader 进行导入。
3

中断问题解决了，但是现在报：

image
image1896×113 19.8 KB

下游 mysql 的 max_allowed_packet 值已经调整到最大1G了，但还是报错。

4

用 myloader 也一样，也是这个问题。

还有其他方式可以把 tidb 的数据全量导入 mysql 吗？

5
  • 请问一下导入到 MySQL 之后还需要做增量同步嘛？
  • max_allowed_packet 请问是怎么调整的呢？
  • 可以尝试把 loader/myloader 的并发或者 batch 调小看看。
6
  1. 还需要做实时同步的，暂时考虑使用 ticdc 的方式；
  2. 直接在 my.cnf 文件里指定 max_allowed_packet = 1G，然后重启数据库，之前 set global max_allowed_packet 的方式也试过；
  3. loader 的时候都没指定并发，batch 的是怎么调整的，我没有看到相关参数
7

可以先参考一下 loader 的文档。
https://docs.pingcap.com/zh/tidb/v3.0/loader-overview#全量导入过程中遇到报错-packet-for-query-is-too-large-try-adjusting-the-max_allowed_packet-variable

8

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。