K8S TidbCluster部署 添加Tikv 失败

[tanglei]

请指教，原集群有3个Tikv 节点，新增一台Tikv，现在是4个。
新增的节点无法启动，store is tombstone.
通过pd 查看 store 也只有原来的三个，没有新增的第四个。

[tanglei]

已经尝试过删除pod，pvc 清空持久化目录操作

[小王同学]

您好，您的问题可以参考下这个帖子解决。k8s扩容节点后，增大tikv副本数，新的tikv出现CrashLoopBackOff

[tanglei]

我做了以下动作：
1.删除PVC
2.删除PV挂载目录
3.删除pod 待重建

重建完成后仍然是同样的异常。

[tanglei]

刚刚查到kubectl get tc 看到了tombstone的store信息

我加入过三次，正好是三个。
但是在pd里看不到，我应该怎么处理。

[Lucien-卢西恩 (路西恩)]

@tanglei

但是在pd里看不到，我应该怎么处理。

看一下扩容的 TiKV pod 状态是否正常，查看一下 tikv 对应的 pod 的 log 有没有异常报错。

[tanglei]

pod 状态：CrashLoopBackOff
日志：

[tanglei]

再重启又会变成这样。

[Hacker_sAKN3wef]

PV 是手动管理的吗？如果是，请把 PV 里面的数据删掉，一定要清空 PV，然后删掉 Pod, PVC。
另外，建议不要手动管理 PV。

[tanglei]

我把整个PV目录都删掉重启了。
用的retain policy

[Hacker_sAKN3wef]

kubectl get pvc -n <ns> -o wide
根据输出找到 tikv-3 的 PV。
kubectl get pv -o yaml
根据输出，登录到PV 所在节点和对应目录，执行 ls -lartR

[Hacker_sAKN3wef]

TiDB Operator 和 TiDB 分别什么版本？

[tanglei]

operator：1.1.0
tidb cluster ：4.0.0

[Hacker_sAKN3wef]

麻烦拿一下上一条的信息，谢谢！

[tanglei]

不好意思 暂时没办法接触生产环境。 帖子稍等几天回复，谢谢啊。

[yilong (yi888long)]

[tanglei]

你好 请查看。
我重新下线 上线该TIKV实例，tikv store列表里，没有该实例

[yilong (yi888long)]

1. 这些信息麻烦都反馈下，多谢。
   

2. 当前环境和20多天前还一样吗？ 一直没有使用？

[tanglei]

对的，还是那个环境，一直在使用，配置没有更改，只是数据有新增。

[yilong (yi888long)]

kubectl 的信息反馈下