tidb 请求已经缩掉的kv

[Holland (Hacker Byb Hr4 Nu)]

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
tidb 4.0.14 。我缩掉了一个kv节点，pd-ctl里面已经看不到这个store了，为啥tidb还去请求这个下线的kv呢

【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】

[weixiaobing]

什么时候缩容完成的？ tiup cluster display 一下看看

[Holland (Hacker Byb Hr4 Nu)]

没有使用tiup

[Holland (Hacker Byb Hr4 Nu)]

看起来是13:56分

[weixiaobing]

那你怎么缩容的？

[Holland (Hacker Byb Hr4 Nu)]

先将store的leader驱逐，然后执行pd-ctl 的 store delete 5016。等待kv变成tombstone之后，执行remove tombstone

[weixiaobing]

这样的方式可能会导致集群的信息没有更新，所以tidb 还是会请求，时间也比较长，建议用tiup 的方式进行扩缩容https://docs.pingcap.com/zh/tidb/v4.0/scale-tidb-using-tiup

[h5n1]

具体执行的什么命令，报的错是什么？ 感觉像pd cache中region信息没更新

[Holland (Hacker Byb Hr4 Nu)]

pd-ctl

1. scheduler add evict-leader-scheduler-5106
2. 等待leader归0
3. store delete 5016
4. 等待store变为 tombstone
5. store remove-tombstone

[Holland (Hacker Byb Hr4 Nu)]

pd和tidb我都重启了。没用的

[Billmay表妹 (表妹)]

专栏 - TiKV缩容下线异常处理的三板斧 | TiDB 社区

看下彬彬大佬的这篇文章。

[Holland (Hacker Byb Hr4 Nu)]

我把tidb节点，通过扩容缩容的方式都换了一遍。然后恢复了。
还有就是 tidb 层在查询时发现region miss时 是会向pd重新拉取数据所在的region信息的吧。难道没有拉取成功？如果拉取成功了，为啥下次还去请求 已经下掉了 的kv呢

[Billmay表妹 (表妹)]

【SOP 系列 24】TiKV/TiFlash 下线慢 看下这篇的内容

[Holland (Hacker Byb Hr4 Nu)]

@Billmay表妹

【SOP 系列 24】TiKV/TiFlash 下线慢

但是我这边是等到tombstone的，并非–force 强制下线的

[Holland (Hacker Byb Hr4 Nu)]

监控看也是 等到store region count 归零的

[Holland (Hacker Byb Hr4 Nu)]

怀疑会不会是有region cache相关bug没处理干净？

[会飞的土拨鼠]

配置文件中有没有做对应的修改呢？看看是否需要在配置文件中注释掉一个kv节点

[Billmay表妹 (表妹)]

扩容缩容问题——专栏文章

• tiflash 6.0 on K8s 扩容与新特性实践

• 扩容TIKV节点遇到的坑

• TiDB Operator扩缩容和集群的管理

• TiKV缩容下线异常处理的三板斧

• TiKV缩容不掉如何解决？

• docker方式部署的tidb-v3.0扩容缩容pd节点后需要滚动升级整个集群

• tiflash 6.0 on K8s 扩容与新特性实践

• 国产化浪潮下TiDB解决的痛点问题

• 生产环境TiDB集群缩容TiKV操作步骤

• TiDB监控节点扩缩容操作（是否保留历史数据）

扩容缩容问题——技术问答

• TiDB扩缩容时，SSH报错，提示访问不通，实际上SSH没有问题。

• TiKV 扩容后 region 不均衡

• –force强制缩容tiflash后，扩容问题请教

• tikv磁盘告警扩容 （通过先扩容再缩容实现）

• TiDB 缩容后,节点一直处于Pending Offline状态

• ticdc gc-ttl 和扩缩容 问题

• PD正常缩容，数据库无法使用，truncate table 等出现 错误： 1105 - failed to get old label rules from PD

• tiup 扩缩容（通过扩缩容来进行节点的迁移）

• 修改tidbcluster replica tikv不能缩容

• 扩容tikv节点报错

• tikv节点从3个扩容到5个以后，Store Region score一直在波动

• tikv缩容和扩容问题

• 强制缩容后使用store delete无法删除已缩容的节点

• 关于 Tiflash 缩容问题

• 使用scale-in缩容指令问题请教

• Dashboard会随着扩容缩容自动迁移到新的PD节点上么？

• tidb扩容、缩容时能否禁用自动均衡

• tikv扩容和缩容问题

• tikv扩容缩容后集群信息错误，仍然访问已下线的tikv节点

• 扩容tiflash失败

• TiDB存储扩容

• 3.0迁移到4.0的tikv在缩容后reload报错

• tikv扩容问题

• 两个集群相互扩缩容问题

• tidb 5.0.0 tikv 节点缩容后，启动报错

• TiKV缩容过程中出现leader丢失的问题，请问有解决方案吗

• tikv缩容一直pending状态

• tiup 扩容或者缩容

• 通过tiup缩容节点报错

扩容缩容问题——文档/SOP

• 使用 TiUP 扩容缩容 TiDB 集群

• TiDB Operator扩缩容和集群的管理

• 缩容节点

• 缩容集群

• 水平扩缩容

• 【SOP 系列 08】线上集群扩缩容操作及要点

• 缩容 TiFlash 节点

• 缩容 Pump 节点

• 缩容及故障恢复

• 扩容 TiDB 集群

• 使用 TiUP 扩容缩容 TiDB 集群

扩缩容一些相关的内容可以参考下~