tikv节点负载不均衡,其中一台节点没有流量,应该如何排查

【TiDB 使用环境】生产环境
【TiDB 版本】8.1.0
【操作系统】ubuntu
【部署方式】机器部署
【集群数据量】
【集群节点数】
【问题复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
一共两台tikv节点,高峰期时一台节点突然没有流量,一台节点cpu飙升,导致生产环境遇到性能问题
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】



重启了吧?

看下dashboard的集群信息,启动时间列


kv节点没有重启

看leader已经合并和拆分,应该是那一台出现的什么错误,可以查下日志
是两台kv,不是正式环境吧?

看下store的评分,可能因为某些原因把leader都调走了

是正式环境,看kv节点的日志没发现明显报错信息。会不会是因为热点稳定,regin不均匀,其中一台节点查询慢被pd定义成了慢节点,然后leader都迁移没了

你好,store评分在哪里看

要么就把他缩容掉。重新扩容进去

正式环境不太敢这样操作

这集群怎么就两个 TIKV

1 个赞

可以先排查下是否有热点问题,出现问题时io是否被打满了

只有2~3个kv的情况下,在确认机器没有问题时,可以尝试关闭平衡调度(另外建议还是加到3kv)

1 个赞

收到,感谢答复

你也是裸kv部署的吗,我用8.5.1直接写kv,遇到了类似的情况,但是换到6.5.3就没有这个现象了。。

是的,但是我没有直接往kv写数据,是根据tidm同步数据到kv的