如何换掉集群中的所有pd节点

版本 tidb 4.0.13

需求 换掉现有集群的所有pd节点

如:当前集群的pd节点信息如下
192.168.1.1(leader)
192.168.1.2
192.168.1.3

需要换成
192.168.1.4
192.168.1.5
192.168.1.6

在实际操作过程中,我是直接先扩了两个pd节点,然后下掉一个旧的(非leader节点),然后做一次pd leader切换,切到新加的节点上,然后再下掉另一个旧pd,接着扩一个pd,最后下掉另一个旧的。
具体操作如下
1、扩两个pd(192.168.1.4,192.168.1.5)
2、下掉 192.168.1.2
3、切换pd 将leader从192.168.1.1切到192.168.1.4(member leader transfer)
4、下掉192.168.1.3
5、扩一个pd(192.168.1.6)
6、下掉192.168.1.1

这个操作流程没遇到什么问题,业务的写入也能正常,但是会看到部分节点出现Disconnected状态,很快就好了,另外出现如下两个现象
1、pump组件会报Heartbeat相关的错误,报错信息如下


这个报错重启就好了。

2、对整个集群执行 tiup cluster display特别卡,原因是因为pump报错导致,重启pump也得以解决

所以想咨询一下,对于这种需求,应该怎么操作

我认为这种操作没问题吧。客户端和pd建立连接后就一直用了,也没有个刷新机制,pd的follower会转发请求,也不会让客户端重新发送到新地址。只有pd的follower挂了以后,客户端会重连,也就能看到一系列报错了。

正常就是应该通过扩容缩容的方式替换吧,感觉没什么问题。

换掉集群所有pd节点,通过多做几次扩容缩容就可以实现是比较稳妥的。

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。