TIDB 如何通过工具获取到底层rocksdb的监控数据

residentevil · 2023 年10 月 17 日 01:55

【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.1.7.1
【遇到的问题：问题现象及影响】 TIDB 如何通过工具获取到底层rocksdb的监控数据【tikv-ctl可以支持么】，包括LEVEL每层结构，和如下监控：
rocksdb.write.wal
rocksdb.block.cache.add

像风一样的男子 · 2023 年10 月 17 日 01:58

在granafa里面tsp-prod-tidb-cluster-TiKV-Details 有详细的rocksdb监控

residentevil · 2023 年10 月 17 日 01:59

这里的信息看了，还不是很全

像风一样的男子 · 2023 年10 月 17 日 02:02

tikvip:9100/metrics 这个地址理由promethues监控收集的所有数据，你可以拿想要的出来自己在granafa里面生产一个监控大屏

residentevil · 2023 年10 月 17 日 02:03

我尝试一下

residentevil · 2023 年10 月 17 日 02:21

有个问题：如果出现REGION分布不均衡的情况，我们有办法通过命令触发让他做rebalance么

像风一样的男子 · 2023 年10 月 17 日 02:21

截个图看看各个kv的region分布

像风一样的男子 · 2023 年10 月 17 日 02:22

tikv:20180/metrics 这个地方也有很多kv的监控信息

大飞哥online · 2023 年10 月 17 日 02:25

可以手工去搞，pdctl 命令详细可以看看文档
https://docs.pingcap.com/zh/tidb/stable/pd-control

Fly-bird · 2023 年10 月 17 日 02:29

pdctl

residentevil · 2023 年10 月 17 日 03:21

pd-ctl能看到热点的STORE，这个STORE中有很多热点REGION，看来还不能BALANCE几个REGION ，有系统性的命令让这个STORE中的REGION重新BALANCE么

residentevil · 2023 年10 月 17 日 03:25

目前集群总计25个STORE，就2个STORE负载高，从PD-CTL命令也能查到write有HOT点问题

大飞哥online · 2023 年10 月 17 日 03:26

pdctl scheduler 命令看下

residentevil · 2023 年10 月 17 日 03:41

scheduler show 后返回
[
“balance-hot-region-scheduler”,
“balance-leader-scheduler”,
“balance-region-scheduler”,
“split-bucket-scheduler”
]

residentevil · 2023 年10 月 17 日 04:29

找到了一些PD相关的一些HOT-REGION调度的参数，我尝试修改一下看看效果

大飞哥online · 2023 年10 月 17 日 04:54

恩呢，好滴

residentevil · 2023 年10 月 17 日 05:52

从网上搜了一下，对于有热点STORE【热点REGION个数比较庞大】的情况，如果是现有集群，只能先通过调整PD的调度参数先缓解