tiflash 不可用，AVAILABLE 为0

zhenda · 2021 年5 月 13 日 09:40

【TiDB 版本】
tidb 4.0.4
【问题描述】
mount --bind 未持久化，tiflash 副本不可用，tc 移除tiflash replicas设置为0，但是tiflash sts 的replicas未同步，手动把tiflash的sts 设置未0。tc 的tiflash status 状态一直为down，且无法重新安装新tiflash

重新加入新tiflash时 errorlog 日志如下

tiflash proxysql日志
already registered by id:5717049 address:\"tidb-test-tiflash-1.tidb-test-tiflash-peer.default.svc:3930
请问如何诊断修复tiflash？

yilong · 2021 年5 月 13 日 12:28

kubectl get all -n xxx -o wide 麻烦反馈下当前集群信息
kubectl edit tc 反馈下当前的配置信息，多谢。

zhenda · 2021 年5 月 14 日 02:19

问题描述反馈在附件中，请帮分析：问题描述反馈.txt

昨天通过 pd status 设置成Tombstone，重新加入新tiflash，tiflash pod正常运行，但是 errorlog 还一直出现这个错误
设置tiflash (21.8 KB) 副本为1， AVAILABLE 仍然为0，截图如下

另外Tombstone Stores信息一直为自动消除，如何消除呀？

zhenda · 2021 年5 月 14 日 02:52

集群诊断结果，希望有帮助

yilong · 2021 年5 月 14 日 08:07

清理 tombstone 试试，需要参考文档在 pod 里执行

https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/tidb-toolkit#在-kubernetes-上使用-pd-control

zhenda · 2021 年5 月 14 日 08:14

感谢，tiflash 不可用，AVAILABLE 为0这块您再帮分析下哈

yilong · 2021 年5 月 14 日 08:58

麻烦参考这个试试

zhenda · 2021 年5 月 14 日 10:56

tiflash的状态如下：

通过截图看到progress是有进度的，第一个表进度一直是0.99状态持续了今天一百天，第二个表进度为1，但是AVAILABLE为0，与参考（同步进度问题不一样），有其它分析方法么

另外已开启Placement Rules特性，tidb副本数为3（max-replicas），扩容到4副本。

/ # ./pd-ctl config placement-rules show
[
{
“group_id”: “pd”,
“id”: “default”,
“start_key”: “”,
“end_key”: “”,
“role”: “voter”,
“count”: 3,
“location_labels”: [
“zone”,
“host”
]
},
{
“group_id”: “tiflash”,
“id”: “table-289-r”,
“override”: true,
“start_key”: “7480000000000001FF215F720000000000FA”,
“end_key”: “7480000000000001FF2200000000000000F8”,
“role”: “learner”,
“count”: 1,
“label_constraints”: [
{
“key”: “engine”,
“op”: “in”,
“values”: [
“tiflash”
]
}
]
},
{
“group_id”: “tiflash”,
“id”: “table-291-r”,
“override”: true,
“start_key”: “7480000000000001FF235F720000000000FA”,
“end_key”: “7480000000000001FF2400000000000000F8”,
“role”: “learner”,
“count”: 1,
“label_constraints”: [
{
“key”: “engine”,
“op”: “in”,
“values”: [
“tiflash”
]
}
]
}
]

/ #

GangShen · 2021 年5 月 16 日 08:06

可以检查一下 tiflash 和 tidb/tikv/pd 中有没有一些可疑的错误日志信息

zhenda · 2021 年5 月 17 日 02:21

tiflash错误日志前面已贴出，pd日志没发现明显错误日志
贴出日志请参考：

不懂就问 · 2021 年5 月 17 日 07:57

看看这里有没有帮助？