为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:v3.0.9
- 【问题描述】: 使用benchmarksql导入数据时候,提示transaction too large,添加sessionVariables=tidb_batch_insert=1参数无效果,仍然无法导入。
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
tpcc 使用 csv 的方式导入。
您好:
[问题澄清]
tidb集群版本:V3.0.9
问题描述:benchmarksql导入过程中出现报错transaction too large
[问题分析]
1. transaction too large, len:300001是由于KV entry 的总条数不超过 30w
具体参考官网对于事务的限制:https://pingcap.com/docs-cn/stable/faq/tidb/#433-transaction-too-large-%E6%98%AF%E4%BB%80%E4%B9%88%E5%8E%9F%E5%9B%A0%E6%80%8E%E4%B9%88%E8%A7%A3%E5%86%B3
对于此类问题,不建议使用batch参数,通常推荐限制条件,改小事务
2. TPCC导入过程中,您是根据官方文档
https://pingcap.com/docs-cn/stable/benchmark/how-to-run-tpcc/
直接使用BenchmarkSQL导入的吗? ./runLoader.sh props.mysql
3. 根据您截图,我调整了参数warhouses和loadworks和您一致,没有复现问题;
方便把您的完整配置文件props.mysql上传吗?我尝试复现一下。