有一个kv节点磁盘数据一直在减少是为什么

【TiDB 使用环境】生产环境 /测试/ Poc
【TiDB 版本】6.5.3
【操作系统】
【部署方式】云上部署(什么云)/机器部署(什么机器配置、什么硬盘)
【集群数据量】
【集群节点数】
【问题复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】

一个机器上两块磁盘部署了两个kv
有一个kv节点磁盘数据一直在减少是为什么
整个集群看起来健康,display 组件都是up状态

先进入磁盘du看看是哪个目录占用空间,2个tikv具体空间占用差别

楼上+1 ,先du看看

分别是
1.2T /data1/tidb/tidb-data
2.6T /data2/tidb/tidb-data

图片

图片

都是tikv占用的存储

奇怪的是为啥集群上 就这一个kv节点的数据 一直在减少 现在37.7%了。其他节点占用率都基本相同 在80%左右, 同机器的另外一个kv节点的磁盘占用率也是这么多

看下各个kv节点上的region分布情况。
如果是region分布不均衡,可以参考这个分析下:
专栏 - 【SOP 系列 19】region 分布不均问题排查及解决不完全指南 | TiDB 社区

再看看里面哪个目录最大

db 最大
/data1下的 一个900G
/data2下的 一个2.4T

是有在缩节点?监控tsp-prod-tidb-cluster /tsp-prod-tidb-cluster-Overview看下regin趋势

select store_id, sum(s.APPROXIMATE_SIZE),count(DISTINCT s.REGION_ID)
from INFORMATION_SCHEMA.TIKV_REGION_PEERS t,INFORMATION_SCHEMA.TIKV_REGION_STATUS s
where t.REGION_ID=s.REGION_ID
group by store_id
order by 1

查看下每个tikv region数量和大小是不是分布不均

看下 PD 监控也没,operator 页面查看调度生成情况

没有缩节点,

看数量有增有减

分布不均衡,这个store 就是那个磁盘减少的节点,

今天看这个节点的磁盘 上涨到44%了。

看起来都是正常的

我的store 评分差异比较大, 看监控
empty-region-count 和
undersized-region-count 比较多

我按照文档调小了

set max-merge-region-size 20 - > 10

max-merge-region-keys 这边看已有的配置是10000,就没调整

看下 balance 里面的各 store region 评分

就这个异常的kv的 评分很低

这个异常的磁盘和其它磁盘的性能是否有差别?

看下 store 的状态吧,看起来像是在下线的

没有 都是同一个规格的机器

store 看监控状态正常。我在观察下。看磁盘空间 最近在上升