数据库突然报错Region is unavailable

像风一样的男子 · 2023 年7 月 15 日 02:33

生产环境不好关闭kv来检查sst

redgame · 2023 年7 月 15 日 04:27

提个思路，可能是 PD 的调度策略或 Region 的分布策略不合理，导致某个 Region 所在的 TiKV 节点无法正常提供服务

像风一样的男子 · 2023 年7 月 17 日 01:06

检查bad-ssts 需要多久啊，这个kv上有5万多个sst文件，卡半天了

像风一样的男子 · 2023 年7 月 17 日 01:21

按照你的文档执行–force 也没成功

h5n1 · 2023 年7 月 17 日 01:23

有损坏的sst文件吗？

像风一样的男子 · 2023 年7 月 17 日 01:29

有10个文件有问题在修复我发现官方文档有很多坑啊这个data-dir目录和前面的不一样了

h5n1 · 2023 年7 月 17 日 01:30

版本有变化，–db 指定到db目录，–datadir指定到 db 上一层。

h5n1 · 2023 年7 月 17 日 01:35

这个tikv上有问题sst region，试试用pd-ctl operator add remove-peer <region_id> <store_id> 命令能否将这个region peer删除

像风一样的男子 · 2023 年7 月 17 日 01:35

如果我不修复这些sst 直接把这个节点缩掉是不是一样的效果

h5n1 · 2023 年7 月 17 日 01:38

先试试上面的remove-peer吧，缩容代价就太大了

像风一样的男子 · 2023 年7 月 17 日 01:49

这个sst文件损坏一般是什么原因造成的呢？

像风一样的男子 · 2023 年7 月 17 日 02:39

启动tikv一段时间后kv自己重启了能帮忙看下吗，这个是日志，还有一些down的region

1.log (27.6 KB)

h5n1 · 2023 年7 月 17 日 02:53

[2023/07/17 09:41:18.740 +08:00] [ERROR] [store.rs:597] [“handle raft message failed”] [err_code=KV:Raftstore:Unknown] [err=“Other("[components/raftstore/src/store/fsm/store.rs:1614]: [region 348674592] region not exist but not tombstone: region { id: 348674592 start_key: 7480000000000002FF295F729C00000078FFFC790B0000000000FA end_key: 7480000000000002FF295F729C00000079FF08FB8A0000000000FA region_epoch { conf_ver: 1436 version: 2306 } peers { id: 348674593 store_id: 891996 } peers { id: 348674594 store_id: 1133876 } peers { id: 348674595 store_id: 782568 } }")”] [store_id=1133876]

有没有试remove peer 从store 1133876 里删除