机器重启后,PD 和KV pod启动异常

【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.0
【复现路径】宿主机故障,导致节点机器重启,节点 pd和kv pod启动异常
【遇到的问题:问题现象及影响】
pd: logs 异常日志


存在快照文件截图

kv pod 日志

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】

看这个…
[snapshot-file-path=/var/lib/pd/member/snap/000000000adc9c95.snap.db]

文件丢了,看起来没戏

这第二张截图中,数据快照看上去是在的,这里的snapshot-index 不知道是啥值,可能是这个值有问题,导致文件找不到

日志里报错是少9c95.snap.db,目录下只有9c95.snap

我在其它正常的节点查看快照文件,命名规则和异常的节点一样的

如果数据有备份的话,建议重建后,恢复数据好了

1 个赞

从日志看,你这个节点的数据损坏了,看看主机的能修复不,不能修复考虑直接强制删除该节点(在能保证多数派的情况下)。

1 个赞

:thinking:如果只是一个节点,不知道缩容扩容能不能解决这个问题。

条件允许的情况下,可以尝试先扩容kv,然后再缩容有问题的kv pod,然后在尝试重新tidb集群,再观察一下是不是恢复正常了。