tiflash 5.4 下线节点后，mpp查询 仍然找旧的storeid

🪐 TiDB 技术问题 TiFlash
,
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】v5.4.2
【复现路径】下线一个tiflash，并开启mpp
【遇到的问题：问题现象及影响】
执行SQL 经常报错， store ID 是下线的tiflash，怀疑是缓存
查看peer 为空，
region --jq=".regions[] | {id: .id, peer_stores: [.peers[].store_id] | select(any(.==3918054)) }

报错如下
ERROR 1105 (HY000): other error for mpp stream: DB::Exception: Exchange receiver meet error : DB::Exception: get store failed: 2: invalid store ID 3918054, not found

2

可以先暂时把mpp关掉，然后看下pd store状态

3

tiflash 已经 remove-tombstore了，而且remove好几天了，还在报

4

是否切换过pd leader

5

没有切换过

6

下线之后也没重启过pd 吗？

7

没有的
image

8

你们是做过升级操作吧？

9

就是升级tiflash 从5.4 到6.1 ，业务依赖tiflash，所以优先升级tiflash。结果tiflash只能 上下线升级。。。。。。

10
  1. 下线tiflash 要先清除副本在下线。这个具体看你们的操作
    2， 升级最后先关闭mpp 然后在升级，可以不用扩缩容tiflash。
  2. 你们现在这个问题。我怀疑是 https://github.com/tikv/pd/issues/4941 你们可以看看这个。
11

https://github.com/tikv/pd/pull/4959
tidb 5.4.3 好像修复这个bug。我先升级到6.1吧

12

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。