tiup bench tpcc向mysql导入数据报错

你好,通过tiup bench tpcc工具往mysql导入数据的过程中,出现错误。

之前通过tiup bench tpcc往mysql导入warehouse=1000的数据可以成功,但想导入warehouse=10000的数据量时,导入大概50g左右后报错,命令如下:

tiup bench tpcc prepare --warehouse 10000 --db tpcc --host XXX -P 3306 -p XXX --threads 10

报错如下:

最后panic: dial tcp XXX connect: connection refused

请问是因为什么原因,是tcp连接数的问题吗

  1. 看下 tidb 集群的状态呢,是否发生了重启等错误,

  2. dmesg | grep -i oom 可以看下

  3. select tidb_version();

没有重启,往tidb和mysql集群导入都有这个问题,不过我把导入的并发度调小后没有再报错,是不是并发度太高,tcp连接数不够用的问题?

看下 tidb server 参数,对链接数,tidb 这边没有限制,但是有个,调整之后在测试看下
token-limit

可以同时执行请求的 session 个数
默认值:1000

bench tpcc 支持生成 csv 本地, 可以使用

tiup bench tpcc prepare --warehouse 10000 --db tpcc --host XXX -P 3306 -p XXX --threads $slice --output-type csv --output-dir data

将每张表切分成 $slice 个文件生成到 data 目录下. 然后再通过 mysql 的导入工具导入到 mysql 里头.

用tiup bench tpcc导入数据完成后,有一系列的begin to check warehouse XXX at condition 3.3.2.X,请问这个阶段是在干啥?

确认下上面的问题是否已经解决了呢。

可否提供下 log

通过代码层面看到这个是数据校验阶段,已了解,谢谢啦

:call_me_hand:t2: