Tidb4.0.4测试性能上不去

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】: 4.0.4
  • 【问题描述】:
    硬件配置:
    阿里云ECS服务器
    PD: 8C16G 200GB SSD云盘 *3台
    TiDB-server: 混布在PD两个节点上,PD leader 节点上没有部署tidb-server
    tikv-server: 16C 32G 1TB SSD云盘 * 3台
    磁盘ext4系统,挂载参数:(rw,noatime,nodiratime,nodelalloc,nobarrier,data=ordered)

通过tiup默认安装4.0.4集群 配置为默认配置

测试表一个是6个字段全bigint,
另外两张表也大都是bigint类型,一个varchar类型,字段15个

表设置的是按时间range分区,时间字段是bigint 一个月一个分区

测试: 100个线程,线程内串行,随机往表中插入数据,每批次行数随机 1-5000行内,并发数
发现测试性能上不去,平均执行时间都是秒级,999响应时间都是10秒以上,磁盘iotop 发现jbd2/vdb-8占用非常严重

image






若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

1、iotop 发现 jbd2 占用比较高的问题,可以看下下面的链接是否能有帮助:

2、建议检查下当前环境中是否存在热点现象:
https://asktug.com/t/topic/34032/3

3、性能排查手册可以参考:TiDB Performance Map

4、如果上述资料对解决问题没有帮助,请继续发帖,感谢配合~

系统是centos7的,内核版本3.10.0-862.14.4.el7.x86_64 理论上不存在jbd2的bug问题,
没有发现明显的热点:


准备改成xfs文件系统再测试下

如果性能测试仍然不满足预期,可以将下述信息上传,这里再分析看下:

1、压测涉及的表的表结构信息

2、监控面板信息
1)TiDB
2)TiKV-details 
3)Disk performance (3 台TiKV 服务器)

3、监控导出方法请参考:
1 )chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl
2)鼠标焦点置于 Dashboard 上,按 ?可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。
3)使用这个 full-page-screen-capture 插件进行截屏保存