sysbench_oltp_insert越来越慢

🪐 TiDB 技术问题 性能调优
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：4.0.5
  • 【问题描述】：
    300个表,768个线程+haproxy
    其实有4个问题
    1.insert初始的速度大改2.5w/tps持续的压测6小时左右会出现卡顿的情况越来越多,下降到1w/tps
    2.empty_region 越来越多, 每次drop 表后重新prepare都会产生更多empty-region不回收
    3.writecf远远大于defaultcf(4:1) 感觉也是没有gc正常回收导致
    4.经常有节点出现disconnect的现象,也没有搜到有stall和busy的日志

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出打印结果，请务必全选并复制粘贴上传。

2

tidb-test-PD_2020-10-01T16_08_54.303Z.json (1.8 MB)
TiDB Dashboard Diagnosis Report.zip (715.2 KB)

tidb-test-TiKV-Trouble-Shooting_2020-10-01T16_02_57.783Z.zip (2.9 MB)

3

有的时候还会出现磁盘卡死的现象applylog/commitlog都写不动盘. 不知道是不是swap没有关造成的.
准备关闭swap再压一下看看

另外我在昨天的压测中把raftstore 手工移动pci-e flash上, 本来想改配置,结果tikv起不来,就用了软连接的方式

topology.yaml (5.9 KB)

4

根据你提供的压测的 TiKV troubleshooting 监控和 PD 的监控，sysbench 的测试已经压到机器瓶颈。 I/O 已经打满了，所以随着数据量和 oltp_insert 读写增加，集群越来越来慢也是预期的。建议参考官方提供的机器配置来进行压测，如果现在的测试环境已经提供的最佳机器配置，可以参考现在压测结果。