tikv在nvme 上的性能优化

🪐 TiDB 技术问题 性能调优
1

  1. 现在有一块nvme的磁盘，在上面做了ext4 的文件系统，然后搭建了单机的tikv , 在压测tikv 时，磁盘的iops 只能跑到16000左右。tikv支持其他文件系统吗？

  2. 在nvme 的ssd 上，tikv有什么配置可以优化。测试机器的内存是128G，cpu是12核24线程

3.tikv 使用的是最新版本

1 个赞
2

XFS理论上也可以，但是生产环境一般建议使用 EXT4，可靠性、安全性、稳定性已经在大量线上场景中得到证实 。TiKV 的 SSD 盘推荐使用 NVME 接口以保证读写更快。TiKV 硬盘大小配置建议 PCI-E SSD 不超过 2 TB，普通 SSD 不超过 1.5 TB。如果想测试性能最好还是至少用官方推荐的最小拓扑，不然用不到分布式的特性。

5 个赞
3

iops不高可能是你的压力到磁盘上的少，可能应用测的瓶颈、tidb server的瓶颈、tikv的瓶颈都有可能，部署拓扑、压测方式说下

1 个赞
4

global:
user: “root”
ssh_port: 22
deploy_dir: “/mnt/kv/tikv-deploy”
data_dir: “/mnt/kv/tikv-data”

pd_servers:

  • host: 127.0.0.1
    tikv_servers:
  • host: 127.0.0.1
    monitoring_servers:
  • host: 127.0.0.1
    grafana_servers:
  • host: 127.0.0.1

/mnt/kv 挂在的是一块pcie 接口的ssd。 直接压测的tikv, tps 大约是9000， 时延是1.1ms。

1 个赞
5

有监控吗 ？看下tikv的监控

1 个赞
6

有监控，不过暂时不知道瓶颈在哪

1 个赞
7

先看下tikv 几个线程的cpu 利用率。

1 个赞
8

有什么命令可以看到线程池的线程个数，百分比计算的时候不知道有没有瓶颈。
raft io 里面 apply log duration 时延好像挺高。

1 个赞
9

granfana监控的tikv detail里有

1 个赞
10

xfs 文件系统相比ext4 性能能提升10%左右。

1 个赞
11

生产环境还是以稳定为主吧，看大佬之前说xfs曾经出现过丢数据的情况

3 个赞
12

detail 里面能看到cpu 的使用率，但是不知道线程池线程数量，我看文档里面是需要根据系统的配置计算出来的，有没有其他命令可以看到运行时线程池中线程个数。

1 个赞
13

参照文档 https://docs.pingcap.com/zh/tidb/v4.0/tune-tikv-thread-performance 然后show config 看参数值吧

2 个赞
14

除了文件系统，别的需要调吗

2 个赞
15

挂载方式，调度算法，刷新机制等

2 个赞
16

压测的时候服务器性能如何

2 个赞
17

现在都建议用xfs了吧，ext4很少了

1 个赞
18

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。