tikv CPU打满,kswapd0 cpu 1000%

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】V6.1.0
【复现路径】无
【遇到的问题:问题现象及影响】tikv cpu打满,kswapd0进程 cpu 1000%
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面

【附件:截图/日志/监控】


某个tikv的内存(kill掉kswapd0的截图)

啥情况? tidb 部署的时候,是要求关掉 swap 的,怎么跑出来的?

1 个赞

业务高峰期吗?还是热点?

这个进程swap 正常来说不会这样,看一下系统日志是否有记录

是关了swap的

不是热点,没啥征兆,早上6点突然就成这样了

大概怎么操作呢 :slightly_smiling_face:

混合部署。查一下各个日志看下。

就是对应的/var/log/message 对应的时间点是否正常

看审计,看日志。确认但是发生的操作

另外,如果有连外网,不排除挖矿病毒的可能

1 个赞

额,挖矿病毒这么凶残~ :see_no_evil:

肯定不是挖矿病毒,我这有大量的集群,只有tidb集群有这个问题,而且 kswapd0这个进程也是属于tidb用户的

查下这个奇怪的进程

这铁病毒。最多是从tidb用户权限上入侵的。

按照腾讯云报道,此次攻击为"亡命徒 ( Outlaw )僵尸网络"该僵尸网络最早于2018年被发现,其主要特征为通过SSH爆破攻击目标系统,同时传播基于Peril的Shellbot和门罗币挖矿木马。所以大家一定要修改好强悍的root密码。网上有这个病毒更详细的分析报告,大家有兴趣可以去搜下。

tidb用户的密码设置的太简单,被爆破了。

2 个赞

吊啊,确实是。。。 我还以为是tikv 内存占用太多的问题呢。。感谢大佬

1 个赞

卧槽,还真是挖矿啊,

我们也遇到了kswapd0占用cpu使用率超级高,真是挖矿病毒么?昨天机器卡死啦

:sweat_smile: 这么凶残

数据库在外网,确实要小心防范