突然在监控图界面看到一个tidb服务重启了,看监控内存使用量不是OOM,mess日志也没提示out of memory,
这是对应mess日志
监控到这段时间。内存没有使用很高最高才用了4G左右。内存是64G内存
tidb日志:
tidb日志中提到的对应tikv228的kv日志
突然在监控图界面看到一个tidb服务重启了,看监控内存使用量不是OOM,mess日志也没提示out of memory,
这是对应mess日志
tidb日志呢
看日志报错
4.0.2版本么
大概率是内存溢出,查看下慢查询,最好到tidb的日志文件上看看
我们最开始的时候也是出现,原因是因为查询语句无法下推到tikv中早晨tidb出现的重启。检查下慢语句,看看有没有使用一些数据库函数。无法下推
看下tidb_stderr.log 里面的信息,dmesg -T看看有没有报错信息
tidb 日志中搜下 “Welcome ” 然后往上看下 tidb节点重启前最后几条日志是什么
集群应该是很久没重启过了吧 至少2年 参考这个帖子 一天多的时间里集群中4个tikv有3个重启了,tikv FATAL报错index out of bounds: the len is 6 but the index is 6 - TiDB 的问答社区 (asktug.com)
tidb5.3以前版本已经bug TiKV running over 2 years may panic · Issue #11940 · tikv/tikv · GitHub
对的,从来没重启过。这东西谁会重启他呀。业务主服务器呢
对4.0.2的
操作系统层有内存使用的记录吗?
第一个图就是操作系统的messsage日志,没有看到有oom相关信息
tidb_stderr.log 都是关于 expensivequery 的, 可以看下ls -ltr 看下这个文件的最后输出时间和 tidb-server 重启的时间是否能对得上,如果能对上可能还是慢查询导致的。
另外这个版本很老了,一些日志不一定打印的很全,推荐尽快升级到v6.5 以上的版本吧,内存限制优化了很多。
此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。