网络故障导致日志堆积,3T磁盘直接打满

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】tidb/tikv-20160/log
做过哪些操作出现的问题
问题描述:多台tidb节点都断开了网络,导致集群之间无法通信,导致tidb/tikv-20160/log下面的日志文件不断的写日志,合计产生了1万多个日志文件,平均每个文件都是301M,磁盘3T多都打满了
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】


网络恢复了吗?恢复了直接把日志删除空间不久腾出来了?

tikv log.file 配置项

1 个赞

这种日志可以直接rm掉

带时间点的日志都可以直接干掉

确实不科学,同一个类型的日志没有解决,后面的频率应该降低一些

不敢删,之前测试过,全部删掉会导致该节点无法正常重启

之前试过,全部日志删掉导致节点没办法重启,应该有一些日志是不能删除

你确认是删除的.log文件 ,保留当前的tikv.log就好了

当前正在写的日志一般是echo > x.log填空,其他日志可以直接删的。

保留当前写的正在写的日志tikv.log。其他的日志删除即可。

不可能啊,你是不是删错了

不加日志文件相关参数后果,删除时要保留当前的日志

你把带日期的删除掉
rm -rf *2024*.log这样

1 个赞

这个是tikv自己的运行日志吗?

手动RM一下吧。

手动删除一下,如果持续这样,写一个脚本定时执行删除

这个问题官方应该优化一下,重复的日志达到一定阈值后写日志周期自动延长为指定时间。

1 个赞

没办法做日志转储,轮换复用吗?

不删除当前写的,历史的清理一下