【 TiDB 使用环境】生产环境
【 TiDB 版本】4.0.16
【复现路径】未能复现
【遇到的问题:问题现象及影响】
-
读热点导致 peer transfer leader
时间:2023-03-10 04-29:58
-
检查store 负载 8C机器,多个机器负载打满,其中
store-4609319
cpu 最高
-
查看hot read 信息,发现
store-4609319
得hot region有很多,但是不是最多的。
时间节点:4:30 → 4:48
查看调度信息
-
04:51 TiDB oom, 查看内存陡增
-
查看oom之前没有内存过大的sql,单条内存最大 300M,机器内存限制:单条8G、tidb-server 内存64G(单节点部署)
-
热点表执行期间没有执行内存1M左右。
机器配置:
tidb 8C 64G;
tikv 8c
oom 的tidb-server 在此期间tidb.log 出现大量 “TIME_COP_PROCESS” 报错:
[root@ tidb-01 log]# grep -E "10 04:31" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3738
[root@ tidb-01 log]# grep -E "10 04:32" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
4090
[root@ tidb-01 log]# grep -E "10 04:33" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3144
[root@ tidb-01 log]# grep -E "10 04:34" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3235
[root@ tidb-01 log]# grep -E "10 04:35" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3036
[root@ tidb-01 log]# grep -E "10 04:36" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1959
[root@ tidb-01 log]# grep -E "10 04:37" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2426
[root@ tidb-01 log]# grep -E "10 04:38" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1869
[root@ tidb-01 log]# grep -E "10 04:39" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2010
[root@ tidb-01 log]# grep -E "10 04:40" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2067
[root@ tidb-01 log]# grep -E "10 04:41" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2524
[root@ tidb-01 log]# grep -E "10 04:42" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2582
[root@ tidb-01 log]# grep -E "10 04:43" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2624
[root@ tidb-01 log]# grep -E "10 04:44" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2175
[root@ tidb-01 log]# grep -E "10 04:45" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
963
[root@ tidb-01 log]# grep -E "10 04:46" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
781
[root@ tidb-01 log]# grep -E "10 04:47" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1465
[root@ tidb-01 log]# grep -E "10 04:48" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
669
[root@ tidb-01 log]# grep -E "10 04:49" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
763
[root@ tidb-01 log]# grep -E "10 04:50" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2055
[root@ tidb-01 log]# grep -E "10 04:51" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1476
问题:
出现大量TIME_COP_PROCESS 报错时,会出现内存占用过多??