tikv部分节点无法连接正确的pd节点导致的一系列问题

[songxuecheng (小白)]

【 TiDB 使用环境】生产环境 /测试/ PCO
测试环境
【 TiDB 版本】 6.1.0 升级至6.1.1
【遇到的问题】

1. 先是测试 Master: two tikv don't report region heartbeat after inject fault to pd leader · Issue #12934 · tikv/tikv · GitHub 这个bug， 手动切换了数次pd leader,以及重启了pd leadr

测试过程未复现问题

2. 然后进行了 6.1.0 升级至6.1.1操作

升级失败

尝试重启 tikv。

发现 磁盘io 等待 100%

最后就是bug

【复现路径】做过哪些操作出现的问题
【问题现象及影响】

【附件】

请提供各个组件的 version 信息，如 cdc/tikv，可通过执行 cdc version/tikv-server --version 获取。

[qizheng]

1. https://github.com/tikv/tikv/issues/12934 这个 bug 只影响 v5.3.2 和 v5.4.2 版本

2. 升级时 io util 100% 是 tikv-server 占用的吗，有没有看 iotop，系统 message 和 dmesg 有没有报错