[Mydumper] Lost connection to MySQL server during query

🪐 TiDB 技术问题
21

本身tidb-server并没有占用多少内存啊，你的意思是我都过来多少数据就要占用多少内存吗？ 不能这样吧。要是这样的话我的数据有100G，那怎么办

22

我下载最新版的 mydumper 。尝试 --rows 100000

** (mydumper:8744): WARNING **: 15:05:54.411: --chunk-filesize disabled by --rows option

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.906: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.907: Error dumping table (gateway.method_invoke_detail) data: MySQL server has gone away 

** (mydumper:8744): CRITICAL **: 15:07:06.907: Error dumping schemas (gateway.method_invoke_detail): MySQL server has gone away
23

mydumper 把数据落盘前都是存放在内存里的，不加 -r 参数拆分表的话，内存容量必须足够存放最大的一张表。而不是内存容量要大于整个库。

24

目前我整个库就一张表。所以是加上 -r 参数后为什么有个WARNING， 还原的时候需要添加参数操作吗

25

warning 的内容是 -r 参数与 --chunk-filesize 不兼容，自动禁用了 --chunk-filesize 配置。 其余的报错应该是 oom 了。

26

使用-r参数切分后，loader回去报错Column count doesn’t match value count at row 1 这个是什么问题

27

loader 前后列个数不一致，需要核对下 mydumper 备份文件中列的个数和当前插入数据库的列个数做下比对，

28

请问楼主，问题最终解决了吗，我今天也遇到了

29

-t 1 -r 10000 ，单线程1万行，300G的数据导出1小时。TIDB 32G内存

30

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。