TiDB 突然延迟上升

172.18.234.83在 9 点 30 左右夯死用户重启过一次,11 点到 15:44的问题经过排查推测还是172.18.234.83内核夯导致的,因为多个日志(系统 message,tikv log,rocksdb log,raftrockslog) 都在 09:33 到 17:28 之间没有任何日志写入,tikv 监控中发现该实例压力很小,因为 compaction 文件积压导致 write stall,应该也是卡在了内核层无法写文件。
该问题需要事故时的堆栈信息和火焰图来实锤,只能等下次复现后通过 dashboard 的 profiling 抓取相关信息再定位了。

1 个赞