k8s扩容节点后,增大tikv副本数,新的tikv出现CrashLoopBackOff

  • 系统版本 & kernel 版本 】Linux gke-tidb-default-pool-c644815e-mfdm 4.14.137+ #1 SMP Thu Aug 8 02:47:02 PDT 2019 x86_64 Intel® Xeon® CPU @ 2.20GHz GenuineIntel GNU/Linux
  • TiDB 版本 】Container image “pingcap/tikv:v3.0.4”
  • 磁盘型号 】启动磁盘1个100G,SSD磁盘两个,分别为1G和10G
  • 集群节点分布 】3个节点扩展至4个节点
  • 数据量 & region 数量 & 副本数 】1个region
  • 问题描述(我做了什么) 】 k8s扩容节点后,增大tikv副本数(3->4),新的tikv出现CrashLoopBackOff,日志如下:

{ insertId: “9zw1a3g2v7cpb4”
labels: {…}
logName: “projects/clear-emitter-256713/logs/tikv”
receiveTimestamp: “2019-10-30T08:52:02.428654621Z”
resource: {…}
severity: “ERROR”
textPayload: "[2019/10/30 08:51:48.032 +00:00] [FATAL] [server.rs:285] [“failed to start node: StoreTombstone(“store is tombstone”)”] "
timestamp: “2019-10-30T08:51:48.033615102Z”
}

根据描述的信息,出现 store is tombstone 状态的信息是新扩容的 TiKV 节点吗?tombstone 状态表示 TIKV 已经下线,进入墓碑状态 处理方式参考这里:https://pingcap.com/docs-cn/v3.0/tidb-in-kubernetes/troubleshoot/#tikv-store-异常进入-tombstone-状态

出现 store is tombstone 状态的信息是新扩容的 TiKV 节点。这个节点没有起来过。 按照你的建议方式,查找不对新节点对应的tikv-store,其它tikv的store都是up状态。 请问还有啥办法?

按照文档里面的第四步:需要重建 Pod 并绑定新的 PV 进行恢复 处理下。