miss-peer-region-count不下降

张小凉1 · 2023 年4 月 4 日 02:33

【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5
【遇到的问题：问题现象及影响】
集群突然出现很多miss-peer-region-count。
查询到在每个节点的region的数量是均衡的。
【资源配置】
3个kv节点，3个pd节点，3个tidb-server节点
【附件：截图/日志/监控】

请各路大神指点。

裤衩儿飞上天 · 2023 年4 月 4 日 02:38

检查下各个tikv状态

张小凉1 · 2023 年4 月 4 日 02:40

kv的状态都是正常的。

裤衩儿飞上天 · 2023 年4 月 4 日 03:21

集群拓扑是什么样的？
有磁盘的报错吗？
有调度卡住吗？
tikv日志有报错吗？

张小凉1 · 2023 年4 月 4 日 03:29

集群拓扑：

张小凉1 · 2023 年4 月 4 日 03:31

磁盘应该没有报错。
怎么查调度信息呢？

裤衩儿飞上天 · 2023 年4 月 4 日 03:43

grafana监控：pd-scheduler
看看各个tikv节点的os log
pd的日志
整体网络情况
grafana监控：pd-heartbeat
tiup cluster display XXX

张小凉1 · 2023 年4 月 4 日 04:12

pd日志：
[WARN] [util.go:163] [“apply request took too long”] [took=157.598105ms] [expected-duration=100ms] [prefix="read-only range "] [request="key:"/topology/tidb/" range_end:"/topology/tidb0" "] [response=“range_response_count:6 size:1059”] []

pd-heartbeat：