【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.0
【复现路径】宿主机故障,导致节点机器重启,节点 pd和kv pod启动异常
【遇到的问题:问题现象及影响】
pd: logs 异常日志
存在快照文件截图
kv pod 日志
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】
【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.0
【复现路径】宿主机故障,导致节点机器重启,节点 pd和kv pod启动异常
【遇到的问题:问题现象及影响】
pd: logs 异常日志
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】
看这个…
[snapshot-file-path=/var/lib/pd/member/snap/000000000adc9c95.snap.db]
文件丢了,看起来没戏
这第二张截图中,数据快照看上去是在的,这里的snapshot-index 不知道是啥值,可能是这个值有问题,导致文件找不到
日志里报错是少9c95.snap.db,目录下只有9c95.snap
我在其它正常的节点查看快照文件,命名规则和异常的节点一样的
如果数据有备份的话,建议重建后,恢复数据好了
从日志看,你这个节点的数据损坏了,看看主机的能修复不,不能修复考虑直接强制删除该节点(在能保证多数派的情况下)。
如果只是一个节点,不知道缩容扩容能不能解决这个问题。
条件允许的情况下,可以尝试先扩容kv,然后再缩容有问题的kv pod,然后在尝试重新tidb集群,再观察一下是不是恢复正常了。