tidb v4 版本读热点 peer transfer leader 导致 TiDB oom

【 TiDB 使用环境】生产环境
【 TiDB 版本】4.0.16
【复现路径】未能复现
【遇到的问题:问题现象及影响】

  1. 读热点导致 peer transfer leader
    时间:2023-03-10 04-29:58

  2. 检查store 负载 8C机器,多个机器负载打满,其中store-4609319 cpu 最高

  3. 查看hot read 信息,发现store-4609319 得hot region有很多,但是不是最多的。
    时间节点:4:30 → 4:48

查看调度信息

  1. 04:51 TiDB oom, 查看内存陡增

  2. 查看oom之前没有内存过大的sql,单条内存最大 300M,机器内存限制:单条8G、tidb-server 内存64G(单节点部署)

  3. 热点表执行期间没有执行内存1M左右。
    机器配置:
    tidb 8C 64G;
    tikv 8c

oom 的tidb-server 在此期间tidb.log 出现大量 “TIME_COP_PROCESS” 报错:

[root@ tidb-01 log]# grep -E "10 04:31" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3738
[root@ tidb-01 log]# grep -E "10 04:32" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
4090
[root@ tidb-01 log]# grep -E "10 04:33" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3144
[root@ tidb-01 log]# grep -E "10 04:34" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3235
[root@ tidb-01 log]# grep -E "10 04:35" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
3036
[root@ tidb-01 log]# grep -E "10 04:36" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1959
[root@ tidb-01 log]# grep -E "10 04:37" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2426
[root@ tidb-01 log]# grep -E "10 04:38" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1869
[root@ tidb-01 log]# grep -E "10 04:39" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2010
[root@ tidb-01 log]# grep -E "10 04:40" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2067
[root@ tidb-01 log]# grep -E "10 04:41" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2524
[root@ tidb-01 log]# grep -E "10 04:42" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2582
[root@ tidb-01 log]# grep -E "10 04:43" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2624
[root@ tidb-01 log]# grep -E "10 04:44" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2175
[root@ tidb-01 log]# grep -E "10 04:45" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
963
[root@ tidb-01 log]# grep -E "10 04:46" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
781
[root@ tidb-01 log]# grep -E "10 04:47" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1465
[root@ tidb-01 log]# grep -E "10 04:48" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
669
[root@ tidb-01 log]# grep -E "10 04:49" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
763
[root@ tidb-01 log]# grep -E "10 04:50" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
2055
[root@ tidb-01 log]# grep -E "10 04:51" tidb_bak.log |grep TIME_COP_PROCESS |wc -l
1476

问题:
出现大量TIME_COP_PROCESS 报错时,会出现内存占用过多??

单条没有超过300M,有高并发吗?查看慢sql,好多执行同一条语句那种

这部分的报错能详细发下吗?

  1. 任务为人工点击触发的任务,业务反馈并发为个位数,在oom 记录的 Top 10 mem sql中,都是同一个查询(帖子所说的300M 的sql)。

过滤expensive sql中内存发现,并发20,所有并发内存消耗5.66G(60s时候,sql执行完成mem_max基本在320M左右)
执行计划如下:

+--------------------------------+-------------+----------+-----------+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+----------------------
| id                             | estRows     | actRows  | task      | access object | execution info                                                                                                                                                                                                                                   |  memory   | disk |
+--------------------------------+-------------+----------+-----------+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+----------------------
| Projection_10                  | 1.00        | 1        | root      |               | time:1m28.8s, loops:2, Concurrency:OFF                                                                                                                                                                                                           | | 26.6 KB  | N/A  |
| └─StreamAgg_12                 | 1.00        | 1        | root      |               | time:1m28.8s, loops:2                                                                                                                                                                                                                            | | 869.5 KB | N/A  |
|   └─Projection_31              | 81926051.37 | 80763365 | root      |               | time:850.6ms, loops:81858, Concurrency:4                                                                                                                                                                                                         | 4.04 MB  | N/A  |
|     └─TableReader_24           | 81926051.37 | 80763365 | root      |               | time:920.6ms, loops:81858, cop_task: {num: 532, max: 679.6ms, min: 163.7ms, avg: 394.6ms, p95: 502.7ms, max_proc_keys: 226313, p95_proc_keys: 167951, tot_proc: 2m50.5s, tot_wait: 383ms, rpc_num: 532, rpc_time: 3m29.9s, copr_cache: disabled} || 303.5 MB | N/A  |
|       └─Selection_23           | 81926051.37 | 80763365 | cop[tikv] |               | tikv_task:{proc max:462ms, min:111ms, p80:305ms, p95:333ms, iters:85457, tasks:532}, scan_detail: {total_process_keys: 85043446, total_keys: 85137833}                                                                                           | 
|         └─TableFullScan_22     | 85043877.00 | 85043446 | cop[tikv] | table:d       | tikv_task:{proc max:457ms, min:110ms, p80:302ms, p95:331ms, iters:85457, tasks:532}                                                                                                                                                              | keep order:false     
+--------------------------------+-------------+----------+-----------+---------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+----------------------

sql

SELECT COUNT(b.I_ID) AS id,
 IFNULL(SUM(b.c1),0) AS c1,
 IFNULL(SUM(b.c2),0) AS c2,
 IFNULL(SUM(b.c3),0) AS c3,
 IFNULL(SUM(c4),0) AS c4,
 IFNULL(SUM(b.c5),0) AS c5,
 IFNULL(SUM(b.c6),0) AS c6,
 IFNULL(SUM(CASE WHEN b.I_STATUS=1 THEN b.c7 ELSE 0 END),0) AS c7,
 COUNT(CASE WHEN b.I_STATUS=1 THEN b.c8 END) c8 ,
 IFNULL(SUM(CASE WHEN b.I_STATUS=1 THEN b.c9 ELSE 0 END),0) AS c9,
 IFNULL(SUM(CASE WHEN b.I_STATUS=1 THEN b.c10 ELSE 0 END),0) AS c10,
 IFNULL(SUM(CASE WHEN b.I_STATUS=11 AND b.c11=111 THEN b.c12 ELSE 0 END), 0) AS c11,
    IFNULL(SUM(CASE WHEN b.I_STATUS=11 AND b.c12=112 THEN b.c22 ELSE 0 END), 0) AS c12,
 IFNULL(SUM(CASE WHEN b.I_STATUS=11 AND b.c13=111 THEN b.c22 ELSE 0 END), 0) AS c12,
    IFNULL(SUM(CASE WHEN b.I_STATUS=11 AND b.c14=112 THEN b.c14 ELSE 0 END), 0) AS c14,
 IFNULL(SUM(CASE WHEN b.I_STATUS=2 OR b.I_STATUS=a THEN b.c1 ELSE 0 END),0) AS c15,
 IFNULL(SUM(CASE WHEN b.I_STATUS=2 OR b.I_STATUS=a THEN b.c16 ELSE 0 END),0) AS c16,
 IFNULL(SUM(CASE WHEN b.I_STATUS=2 OR b.I_STATUS=a THEN b.c17 ELSE 0 END),0) AS c17,
 COUNT(CASE WHEN b.I_STATUS in (a,b,c,d,e,f,g) THEN 1 END) AS c18,
 IFNULL(SUM(CASE WHEN b.I_STATUS in (a,b,c,d,e,f,g) THEN b.c22 ELSE 0 END),0) AS c22,
 COUNT(DISTINCT(CASE WHEN b.I_STATUS in (a,b,c,d,e,f,g) THEN b.c22 END)) c22,
 IFNULL(SUM(CASE WHEN b.I_STATUS in (a,b,c,d,e,f,g1) THEN b.I_TAX END),0) c22 FROM (SELECT b.c1,b.c2,b.c3,b.c3,b.c5,b.c6,b.c7,b.c8,b.c9,b.c10,b.c11 FROM table1 AS b LEFT JOIN table2 AS bro ON b.I_REF = bro.I_REF LEFT JOIN table3 AS e ON b.I_REF = e.I_REF WHERE 1=1 AND b.I_STATUS != -1) AS b
  1. 文件如下,已脱敏
    tidb_bak.log.zip (1.9 MB)

这个300M内存的sql先看看能不能优化
执行计划贴上来

基本这类sql优化掉,能解决后边的连锁问题

已补充,不好意思,只能贴出脱敏后sql(PS:sql是几年前的老查询,后续会进行优化)

问题:不知道内存消耗在哪了,以后如何避免这个问题。

oom 的heap.file
untitled.html (122.6 KB)

每次查询,都有个8000W的表全表扫描,解决掉就行了

  1. 是不是露了查询条件
  2. 使用合适的索引

好的,sql问题。我们优化一下。但是内存暴涨的根因还是没找到~

[2023/03/10 04:49:33.527 +08:00] [WARN] [memory_usage_alarm.go:141] [“tidb-server has the risk of OOM. Running SQLs and heap profile will be recorded in record path”] [“is server-memory-quota set”=false] [“system memory total”=67385667584] [“system memory usage”=57462345728] [“tidb-server memory usage”=52107656960] [memory-usage-alarm-ratio=0.8] [“record path”=“/tmp/3001_tidb/MC4wLjAuMDo0MDAwLzAuMC4wLjA6MTAwODA=/tmp-storage/record”]

把这个heap profile传上来

oom之前连续5次记录了heap profile :

  1. 定位到三个消耗内存高的函数

  2. tidb 6.5.0之后的版本,OOM问题有很大的改善,之前的版本确实OOM问题比较严重

  3. 可以尝试升级新的版本

1 个赞

感谢大佬,

  1. 之前看heap profile 也看到这几个函数 内存消耗多。找devops的同学看,但是看不出来为啥消耗高,以及如何避免。

  2. 计划今年升级新版本,4.0 TLS版本已经不支持了;同时6.5 之前版本的内存统计也不太准确。
    会不会因为内存统计不正确导致的(4.0版本集群没有加TiFlash,不知道mem_max会不会记录data_buffer 这个内存块)

  3. 测试5.0版本集群使用Tiflash 执行查询只用了26KB,暂时让研发改用 5.0版本集群

社区同学给出答案
recvMsg 函数内存占用过多原因:

  • sql这个部分在接收数据时占用大量内存:
    COUNT(DISTINCT(CASE WHEN b.I_STATUS in (a,b,c,d,e,f,g) THEN b.c22 END)) c22
    实际测试,去掉该部分执行计划确实内存消耗减少很多

  • 还有有问题:
    set.StringSet.Insert 和 stringUtil.Copy 这两部分通常是什么地方占用内存呢?

这个应该是你做count distinct字符串的时候,不重复的字符串太多导致的内存暴涨。你可以看下count(distinct xxx) 这个是不是值比较大。

是的

字段类型:varchar(160),这个字段不重复的很多。
+------------------------+
| COUNT |
+------------------------+
| 11778040               |
+------------------------+

在做count distinct字符串的时候可以参考这里:tidb/executor/aggfuncs/func_count_distinct.go at ee7c089e55e6d95425c745c8a9073632aa5e760e · pingcap/tidb · GitHub

这里的p.valSet.Insert(input)应该是对应你这里的set.StringSet.Insert,如果distinct值太大,那么总是会走到emDelta += p.valSet.Insert(input)逻辑里面,内存不停增长,这里是不支持落盘行为的。

stringUtil.Copy 这个在代码中应该是input = stringutil.Copy(input)这里的逻辑,我没搞明白为何要在这里做一个深度copy操作,这里内存用的多猜测可能是input的GC不及时问题。

1 个赞

好的,感谢大佬。
如果想要消除这个问题,可以减少对大量不同数据的 count(distinct col) 聚合计算。

这个查询应该已经上线几年了,一直没优化。
操作期间由运营同学手动点击的,研发定位并发在个位数(PS:查询的mem_max =300M+),那么这次oom感觉还是很奇怪。以前没有oom,这次并发稍大就G了

  1. 你这个sql可以从业务逻辑层面入手优化下,扫描8000多万数据,最终结果只返回了一条,应该还有优化空间
  2. 看看还有没有其他慢sql,尤其全部扫描大表的
  3. 再就是升级的路子了

我的建议是,上tiflash试一下,你这个sql是个明显的OLAP需求了

get!!!
2.查询大表扫描,但是内存不大,所以一开始没关注,这个查询导致的热点问题,这个查询的3表能对上热力图的3张表。


部分执行计划,完整sql 太长啦不到,这个查询造成的热点,sql 的mem-max =147.1 MiB。

回归到现状:
集群多个TiKV出现热点后,region开始调度, 然后TiDB就 OOM了

id                                                       	task     	estRows     	           memory   	disk
	Projection_116                                           	root     	20                     30.3 KB  	N/A
	└─TopN_119                                               	root     	20                     30.8 KB  	N/A
	  └─Union_123                                            	root     	120                    N/A      	N/A
	    ├─Projection_124                                     	root     	20                     31.5 KB  	N/A
	    │ └─Projection_622                                   	root     	20                     31.9 KB  	N/A
	    │   └─TopN_127                                       	root     	20                     32.1 KB  	N/A
	    │     └─Projection_623                               	root     	20                     31.5 KB  	N/A
	    │       └─Projection_128                             	root     	20                     29.1 KB  	N/A
	    │         └─TopN_131                                 	root     	20                     29.3 KB  	N/A
	    │           └─IndexJoin_138                          	root     	20                     549.1 KB 	N/A
	    │             ├─TopN_145                             	root     	20                     28.8 KB  	N/A
	    │             │ └─IndexJoin_152                      	root     	20.03                  524.8 KB 	N/A
	    │             │   ├─TopN_159                         	root     	20                     27.8 KB  	N/A
	    │             │   │ └─IndexJoin_166                  	root     	20.31                  459.0 KB 	N/A
	    │             │   │   ├─TopN_173                     	root     	20                     24.9 KB  	N/A
	    │             │   │   │ └─IndexJoin_181              	root     	20.99                  450.7 KB 	N/A
	    │             │   │   │   ├─TopN_186                 	root     	20                     273.2 KB 	N/A
	    │             │   │   │   │ └─TableReader_195        	root     	20                     28.6 KB  	N/A
	    │             │   │   │   │   └─TopN_194             	cop[tikv]	20                     N/A      	N/A
	    │             │   │   │   │     └─Selection_193      	cop[tikv]	81088501.84            N/A      	N/A
	    │             │   │   │   │       └─TableFullScan_192	cop[tikv]	84872190               N/A      	N/A
	    │             │   │   │   └─IndexLookUp_180          	root     	1.05                   241 Bytes	N/A
	    │             │   │   │     ├─IndexRangeScan_177     	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   │     └─Selection_179          	cop[tikv]	1.05                   	N/A      	N/A
	    │             │   │   │       └─TableRowIDScan_178   	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   └─IndexLookUp_165              	root     	1                      249 Bytes	N/A
	    │             │   │     ├─IndexRangeScan_163         	cop[tikv]	1                      N/A      	N/A
	    │             │   │     └─TableRowIDScan_164         	cop[tikv]	1                      N/A      	N/A
	    │             │   └─IndexLookUp_151                  	root     	1                      237 Bytes	N/A
	    │             │     ├─IndexRangeScan_149             	cop[tikv]	1                      N/A      	N/A
	    │             │     └─TableRowIDScan_150             	cop[tikv]	1                      N/A      	N/A
	    │             └─IndexLookUp_137                      	root     	1                      0 Bytes  	N/A
	    │               ├─IndexRangeScan_135                 	cop[tikv]	1                      N/A      	N/A
	    │               └─TableRowIDScan_136                 	cop[tikv]	1                      N/A      	N/A
	    ├─Projection_223                                     	root     	20                     31.0 KB  	N/A
	    │ └─Projection_624                                   	root     	20                     31.4 KB  	N/A
	    │   └─TopN_226                                       	root     	20                     31.6 KB  	N/A
	    │     └─Projection_625                               	root     	20                     31.0 KB  	N/A
	    │       └─Projection_227                             	root     	20                     25.8 KB  	N/A
	    │         └─TopN_230                                 	root     	20                     26.0 KB  	N/A
	    │           └─IndexJoin_237                          	root     	20                     479.8 KB 	N/A
	    │             ├─TopN_244                             	root     	20                     25.5 KB  	N/A
	    │             │ └─IndexJoin_251                      	root     	20.03                  455.4 KB 	N/A
	    │             │   ├─TopN_258                         	root     	20                     24.5 KB  	N/A
	    │             │   │ └─IndexJoin_265                  	root     	20.31                  389.6 KB 	N/A
	    │             │   │   ├─TopN_272                     	root     	20                     21.6 KB  	N/A
	    │             │   │   │ └─IndexJoin_280              	root     	20.99                  381.3 KB 	N/A
	    │             │   │   │   ├─TopN_285                 	root     	20                     214.9 KB 	N/A
	    │             │   │   │   │ └─TableReader_294        	root     	20                     26.1 KB  	N/A
	    │             │   │   │   │   └─TopN_293             	cop[tikv]	20                     N/A      	N/A
	    │             │   │   │   │     └─Selection_292      	cop[tikv]	130770487.           , N/A      	N/A
	    │             │   │   │   │       └─TableFullScan_291	cop[tikv]	249297318.           , N/A      	N/A
	    │             │   │   │   └─IndexLookUp_279          	root     	1.05                   241 Bytes	N/A
	    │             │   │   │     ├─IndexRangeScan_276     	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   │     └─Selection_278          	cop[tikv]	1.05                   0        	                                                                                                                                                                                                                                                                                                          	N/A      	N/A
	    │             │   │   │       └─TableRowIDScan_277   	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   └─IndexLookUp_264              	root     	1                      241 Bytes	N/A
	    │             │   │     ├─IndexRangeScan_262         	cop[tikv]	1                      N/A      	N/A
	    │             │   │     └─TableRowIDScan_263         	cop[tikv]	1                      N/A      	N/A
	    │             │   └─IndexLookUp_250                  	root     	1                      241 Bytes	N/A
	    │             │     ├─IndexRangeScan_248             	cop[tikv]	1                      N/A      	N/A
	    │             │     └─TableRowIDScan_249             	cop[tikv]	1                      N/A      	N/A
	    │             └─IndexLookUp_236                      	root     	1                      0 Bytes  	N/A
	    │               ├─IndexRangeScan_234                 	cop[tikv]	1                      N/A      	N/A
	    │               └─TableRowIDScan_235                 	cop[tikv]	1                      0        	                                                                                                                                                                                                                                                                                                          	N/A      	N/A
	    ├─Projection_322                                     	root     	20                     30.8 KB  	N/A
	    │ └─Projection_626                                   	root     	20                     31.2 KB  	N/A
	    │   └─TopN_325                                       	root     	20                     31.3 KB  	N/A
	    │     └─Projection_627                               	root     	20                     30.8 KB  	N/A
	    │       └─Projection_326                             	root     	20                     25.6 KB  	N/A
	    │         └─TopN_329                                 	root     	20                     25.7 KB  	N/A
	    │           └─IndexJoin_336                          	root     	20                     479.8 KB 	N/A
	    │             ├─TopN_343                             	root     	20                     25.3 KB  	N/A
	    │             │ └─IndexJoin_350                      	root     	20.03                  455.4 KB 	N/A
	    │             │   ├─TopN_357                         	root     	20                     24.3 KB  	N/A
	    │             │   │ └─IndexJoin_364                  	root     	20.31                  389.6 KB 	N/A
	    │             │   │   ├─TopN_371                     	root     	20                     21.4 KB  	N/A
	    │             │   │   │ └─IndexJoin_379              	root     	20.99                  406.0 KB 	N/A
	    │             │   │   │   ├─TopN_384                 	root     	20                     152.4 KB 	N/A
	    │             │   │   │   │ └─TableReader_393        	root     	20                     25.6 KB  	N/A
	    │             │   │   │   │   └─TopN_392             	cop[tikv]	20                     N/A      	N/A
	    │             │   │   │   │     └─Selection_391      	cop[tikv]	772532964              N/A      	N/A
	    │             │   │   │   │       └─TableFullScan_390	cop[tikv]	772532964              N/A      	N/A
	    │             │   │   │   └─IndexLookUp_378          	root     	1.05                   9.18 KB  	N/A
	    │             │   │   │     ├─IndexRangeScan_375     	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   │     └─Selection_377          	cop[tikv]	1.05                   N/A      	N/A
	    │             │   │   │       └─TableRowIDScan_376   	cop[tikv]	1.09                   N/A      	N/A
	    │             │   │   └─IndexLookUp_363              	root     	1                      243 Bytes	N/A
	    │             │   │     ├─IndexRangeScan_361         	cop[tikv]	1                      N/A      	N/A
	    │             │   │     └─TableRowIDScan_362         	cop[tikv]	1                      N/A      	N/A
	    │             │   └─IndexLookUp_349                  	root     	1                      237 Bytes	N/A
	    │             │     ├─IndexRangeScan_347             	cop[tikv]	1                      N/A      	N/A
	    │             │     └─TableRowIDScan_348             	cop[tikv]	1                      N/A      	N/A
	    │             └─IndexLookUp_335                      	root     	1                      0 Bytes  	N/A
	    │               ├─IndexRangeScan_333                 	cop[tikv]	1                      N/A      	N/A
	    │               └─TableRowIDScan_334                 	cop[tikv]	1                      0        	                                                                                                                                                                                                                                                                                                          	N/A      	N/A
	    ├─Projection_421                                     	root     	20                     30.0 KB  	N/A
	    │ └─Projection_628                                   	root     	20                     30.4 KB  	N/A
	    │   └─TopN_424                                       	root     	20                     30.6 KB  	N/A
	    │     └─Projection_629                               	root     	20                     30.0 KB  	N/A
	    │       └─Projection_425                             	root     	20                     18.7 KB  	N/A
	    │         └─TopN_428                                 	root     	20                     18.8 KB  	N/A
	    │           └─IndexJoin_435                          	root     	20                     332.3 KB 	N/A
	    │             ├─TopN_442                             	root     	20                     18.3 KB  	N/A
	    │             │ └─IndexJoin_449                      	root     	20.03                  308.0 KB 	N/A
	    │             │   ├─TopN_456                         	root     	20                     17.4 KB  	N/A
	    │             │   │ └─IndexJoin_463                  	root     	20.31                  242.1 KB 	N/A
	    │             │   │   ├─TopN_468                     	root     	20                     1.06 MB  	N/A
	    │             │   │   │ └─TableReader_477            	root     	20                     21.3 KB  	N/A
	    │             │   │   │   └─TopN_476                 	cop[tikv]	20                     N/A      	N/A
	    │             │   │   │     └─Selection_475          	cop[tikv]	172629344.           , N/A      	N/A
	    │             │   │   │       └─TableFullScan_474    	cop[tikv]	172629344              N/A      	N/A
	    │             │   │   └─IndexLookUp_462              	root     	1                      241 Bytes	N/A
	    │             │   │     ├─IndexRangeScan_460         	cop[tikv]	1                      N/A      	N/A
	    │             │   │     └─TableRowIDScan_461         	cop[tikv]	1                      N/A      	N/A
	    │             │   └─IndexLookUp_448                  	root     	1                      241 Bytes	N/A
	    │             │     ├─IndexRangeScan_446             	cop[tikv]	1                      N/A      	N/A
	    │             │     └─TableRowIDScan_447             	cop[tikv]	1                      N/A      	N/A
	    │             └─IndexLookUp_434                      	root     	1                      0 Bytes  	N/A
	    │               ├─IndexRangeScan_432                 	cop[tikv]	1                      N/A      	N/A
	    │               └─TableRowIDScan_433                 	cop[tikv]	1                      N/A      	N/A
	    ├─Projection_494                                     	root     	20                     30.5 KB  	N/A
	    │ └─Projection_630                                   	root     	20                     30.9 KB  	N/A
	    │   └─TopN_497                                       	root     	20                     31.1 KB  	N/A
	    │     └─Projection_631                               	root     	20                     30.5 KB  	N/A
	    │       └─Projection_498                             	root     	20                     19.5 KB  	N/A
	    │         └─TopN_501                                 	root     	20                     19.7 KB  	N/A
	    │           └─IndexJoin_508                          	root     	20                     344.2 KB 	N/A
	    │             ├─TopN_515                             	root     	20                     19.2 KB  	N/A
	    │             │ └─IndexJoin_522                      	root     	20.03                  319.9 KB 	N/A
	    │             │   ├─TopN_529                         	root     	20                     18.2 KB  	N/A
	    │             │   │ └─IndexJoin_536                  	root     	20.31                  254.1 KB 	N/A
	    │             │   │   ├─TopN_541                     	root     	20                     10.5 KB  	N/A
	    │             │   │   │ └─TableReader_550            	root     	20                     9.26 KB  	N/A
	    │             │   │   │   └─TopN_549                 	cop[tikv]	20                     N/A      	N/A
	    │             │   │   │     └─Selection_548          	cop[tikv]	1165                   N/A      	N/A
	    │             │   │   │       └─TableRangeScan_547   	cop[tikv]	1165                   N/A      	N/A
	    │             │   │   └─IndexLookUp_535              	root     	1                      237 Bytes	N/A
	    │             │   │     ├─IndexRangeScan_533         	cop[tikv]	1                      N/A      	N/A
	    │             │   │     └─TableRowIDScan_534         	cop[tikv]	1                      N/A      	N/A
	    │             │   └─IndexLookUp_521                  	root     	1                      244 Bytes	N/A
	    │             │     ├─IndexRangeScan_519             	cop[tikv]	1                      N/A      	N/A
	    │             │     └─TableRowIDScan_520             	cop[tikv]	1                      N/A      	N/A
	    │             └─IndexLookUp_507                      	root     	1                      0 Bytes  	N/A
	    │               ├─IndexRangeScan_505                 	cop[tikv]	1                      N/A      	N/A
	    │               └─TableRowIDScan_506                 	cop[tikv]	1                      N/A      	N/A
	    └─Projection_567                                     	root     	20                     30.8 KB  	N/A
	      └─Projection_632                                   	root     	20                     31.2 KB  	N/A
	        └─TopN_570                                       	root     	20                     31.3 KB  	N/A
	          └─Projection_633                               	root     	20                     30.8 KB  	N/A
	            └─Projection_571                             	root     	20                     20.9 KB  	N/A
	              └─TopN_574                                 	root     	20                     21.0 KB  	N/A
	                └─IndexJoin_581                          	root     	20.31                  385.8 KB 	N/A
	                  ├─TopN_588                             	root     	20                     18.1 KB  	N/A
	                  │ └─IndexJoin_596                      	root     	20.99                  303.5 KB 	N/A
	                  │   ├─TopN_601                         	root     	20                     12.9 KB  	N/A
	                  │   │ └─TableReader_610                	root     	20                     10.9 KB  	N/A
	                  │   │   └─TopN_609                     	cop[tikv]	20                     N/A      	N/A
	                  │   │     └─Selection_608              	cop[tikv]	41                     N/A      	N/A
	                  │   │       └─TableRangeScan_607       	cop[tikv]	41                     N/A      	N/A
	                  │   └─IndexLookUp_595                  	root     	1.05                   257 Bytes	N/A
	                  │     ├─IndexRangeScan_592             	cop[tikv]	1.09                   
	                  │     └─Selection_594                  	cop[tikv]	1.05                   0        	                                                                                                                                                                                                                                                                                                          	N/A      	N/A
	                  │       └─TableRowIDScan_593           	cop[tikv]	1.09                   N/A      	N/A
	                  └─IndexLookUp_580                      	root     	1                      11.4 KB  	N/A
	                    ├─IndexRangeScan_578                 	cop[tikv]	1                      N/A      	N/A
	                    └─TableRowIDScan_579                 	cop[tikv]           table:bro, keep order:false        

  1. 今年计划升级到6.x 版本,4.0,5.0 tsl到期了 :saluting_face:

get。

想个策略,收集业务ap查询。将ap查询迁移到tiflash上。