TiFlash下线节点超级慢

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.0.6
【复现路径】今天2台TiFLASH节点不明原因不停重启,影响业务,于是手动down掉节点。之后使用scale-in缩容其中一个TiFLASH节点,用tiup命令查看一直是pending off状态,查看operator 会间隔几十分钟才发起调度。


image
config show

不太明白为啥下线这么慢。
【遇到的问题:问题现象及影响】
【资源配置】
【附件:截图/日志/监控】

可能要看看调度相关的参数,可以加速整个下线过程

https://docs.pingcap.com/zh/tidb/stable/pd-scheduling-best-practices#节点下线速度慢
可以调整相关参数加快调度速度,但是可能对生产环境压力有影响。

参数还可以,主要是每次都要间隔40分钟左右才开始调度,不清楚为啥

tiflash 节点数多少,集群有 tiflash 副本设置了多少。副本数>节点数是缩容不掉的

tiflash 10台节点,2个副本

那么就是非预期,一般下线需要补副本 我理解现在 tiflash 有点异常。最好查一下 tiflash 老是重启的报错原因。

不行就得重做 tiflash 副本了。

嗯嗯,我的疑问就是下线TiFlash非常慢。间隔40分钟才调度一次数据下线,然后需要花很久。

他是下先慢 还是压根不动啊,可以看下 tiflash 监控 region 个数是不是在减少。如果觉得慢 可以调大 store limit

image
这个图里面有调度哈,大概40分钟一次调度。 store limit是200

看下 finish,做成功了么?