有一个tiflash节点Down无法启动

【 TiDB 使用环境】生产环境
【 TiDB 版本】5.0.1
【复现路径】做过哪些操作出现的问题 有一个tiflash节点Down无法启动
【遇到的问题:问题现象及影响】有一个tiflash节点Down无法启动
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
tiflash.log截图

tiflash_tikv.log截图

tiflash_error.log截图

看看这个帖子

感觉数据tikv->tiflash数据出了一致性问题。有没有什么操作或者异常情况发生?

没做什么操作,就是感觉今天有点慢就查了下

scale-out 再scale-in吧

可以看下什么时间点重启的,对比监控,看看对应时间段的cpu和memory 磁盘io。

另外还有就是最好冗余一些副本,搞个两三个副本,一个tiflash节点有问题,基本不影响业务

起不来就扩缩容

看起来应该是 tikv 在 5.0 之后,默认开启了 CompactionFilter 特性,然后 tiflash 在 v5.0.1 版本没兼容好而产生的问题。

在 v5.0.2 及之后的版本修复了 https://docs.pingcap.com/zh/tidb/stable/release-5.0.2

操作不了,tiflash一直在自动启动好像,端口占用

cpu和磁盘都正常的,在出问题tiflash所在磁盘只有90G空间了,感觉可能或许是这个原先导致的,把多多余日志全删除了现在空间还有一半

空间使用率比较多可能是 tiflash 在打 core 文件什么的。

推荐做下:tiflash replica set 0 >>> 缩容 tiflash >> 扩容 tiflash >>> tiflash replica set 2.

tiflash 自动启动是 system 守护进程导致的,一直在尝试重新拉起。

数据量大不,不大的话,看上面几楼的,缩容再扩容