dump failed error stack info : invalid connection

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:
    dumpling v4.02
    tidb v3.0.5

  • 【问题描述】:

export PATH=/data/tidb-toolkit-v4.0.2-linux-amd64/bin:$PATH

dumpling
-u root
-P 4000
-h tidb-dumpling.tidb
-B etl_mws
-o /data/dumpling
-r 1000000
-t 8
–tidb-mem-quota-query 8589934592
–filetype csv
-F 256MiB

试了好多次,都是执行一段时间后报错,dumpling的程序就停止了,没有把数据完全导出来。

[2020/11/20 05:37:40.721 +00:00] [ERROR] [main.go:191] [“dump failed error stack info”] [error=“SELECT * FROM etl_mws.report_feepreview WHERE (_tidb_rowid >= 280354613 AND _tidb_rowid < 281408145) ORDER BY _tidb_rowid: invalid connection”] [errorVerbose=“invalid connection\nSELECT * FROM etl_mws.report_feepreview WHERE (_tidb_rowid >= 280354613 AND _tidb_rowid < 281408145) ORDER BY _tidb_rowid”] [stack=“github.com/pingcap/log.Error\n\t/go/pkg/mod/github.com/pingcap/log@v0.0.0-20200511115504-543df19646ad/global.go:42\nmain.main\n\t/home/jenkins/agent/workspace/build-linux-amd64-4.0/go/src/github.com/pingcap/dumpling/cmd/dumpling/main.go:191\nruntime.main\n\t/usr/local/go/src/runtime/proc.go:203”]

dump failed: SELECT * FROM etl_mws.report_feepreview WHERE (_tidb_rowid >= 280354613 AND _tidb_rowid < 281408145) ORDER BY _tidb_rowid: invalid connection

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

你好,看报错是有无效链接,麻烦检查下 TiDB 是否发生重启?或者是否是超过连接时间被 kill 掉?

连接超时被kill 这种应该怎么查

可以试一下最新的 dumpling v4.0.8.

invalid connection 可能是并发太多导致 tidb 出现问题,这点可以查看对应的 tidb 日志来辅助确认。

建议 调小 -r 参数,以及 -t 参数再试一下

谢谢 调小-r参数 解决了
tidb里面的内存限制参数设置好像没有生效

:+1: