Tiflash OOM 频繁重启

【 TiDB 使用环境】生产环境
【 TiDB 版本】V6.2.0
【遇到的问题】 tiflash oom 频繁重启
【复现路径】alter table dataname.xxxx SET TIFLASH REPLICA 1; 新增副本,同步已完成后开始出现OOM
【问题现象及影响】

【附件】 相关日志及监控(https://metricstool.pingcap.com/)
基础监控


region
image
server

raft

tiflash 相关参数配置(默认配置)
LhpyNnkNZ6

看下dashboard 诊断里的 continues profiling是不是开着,关了试试

1赞

确实开着
image

已经关掉了,我再观察一会儿

关闭 continue profiling 之后问题仍然存在

tiflash日志发下吧

会不会是因为这张分区表太大了

tiflash_172.31.14.22_3930.log (72.1 MB)

oom时间点有查询吗

东八区15:38 分钟左右有一次 OOM

这个日志时间范围合理些,包括含了 OOM
tiflash_172.31.14.22_3930_1.log (9.9 MB)

看着日志 oom前没啥异常,但监控上有突然的内存增高,确认那时间有你说的大表查询m

没有找到可疑的SQL

从已知的 bug 来看,如果重启之后不出现 OOM,一般就是查询引起的。