大表做执行analyze table需要多长时间？

jingyesi3401 · 2022 年5 月 9 日 06:43

【 TiDB 使用环境`】生产环境

【 TiDB 版本】TiDB 5.1.0

【遇到的问题】目前生产环境有2张大表，数据量：表一数据量46亿，占用空间大小1.25TB，表二数据量460亿，占用空间大小5.91TB，现在想使用analyze table对这二张表做分析，具体需要多长时间？有没有哪位大师有实际操作案例经验供分享一样，我好申请操作时间？

jingyesi3401 · 2022 年5 月 9 日 07:42

在tidb中执行analyze会不会锁表？以下是我从百度搜索到的，但是TiDB应该有区别？
https://blog.csdn.net/weixin_50518271/article/details/109498885
在对表的键分布进行分析时，ANALYZE TABLE操作会将指定的表从表定义缓存中移除，并且会对于InnoDB、MyISAM表会加上读锁，即其他会话只能对表数据进行查询，无法对表数据进行修改，直到执行分析的会话释放了锁。

啦啦啦啦啦 · 2022 年5 月 9 日 07:51

不锁表，相较与mysql可能会消耗较多的时间和资源，建议业务低风期操作

h5n1 · 2022 年5 月 9 日 08:22

tidb是无锁读，集群资源不同，分析时间也有差异，主要是IO，有可能会因为分析时间超过GC safepoint导致分析失败，有几个参数可以调整加快分析速度，。

tidb_build_stats_concurrency

目前 ANALYZE 执行的时候会被切分成一个个小的任务，每个任务只负责某一个列或者索引。 tidb_build_stats_concurrency 可以控制同时执行的任务的数量，其默认值是 4。

tidb_distsql_scan_concurrency

在执行分析普通列任务的时候， tidb_distsql_scan_concurrency 可以用于控制一次读取的 Region 数量，其默认值是 15。

tidb_index_serial_scan_concurrency

在执行分析索引列任务的时候， tidb_index_serial_scan_concurrency 可以用于控制一次读取的 Region 数量，其默认值是 1。

张雨齐0720 · 2022 年5 月 9 日 08:23

与设置的并发度有关系

jingyesi3401 · 2022 年5 月 9 日 08:25

我准备使用默认值设置，尽量不去动生产TiDB配置。

张雨齐0720 · 2022 年5 月 9 日 08:28

默认不一定最合适，线上资源使用不高，但是有大量DML,影响表健康度，那么设置大一点，周期较短，会更适合一点，还是取决于具体场景吧

Gin · 2022 年5 月 9 日 08:57

5 台双路物理服务器上，共 10 个 tikv 实例，大力 analyze 一张 200 亿数据量表的耗时，命令如下：

set @@session.tidb_distsql_scan_concurrency=60;
set @@session.tidb_index_serial_scan_concurrency=10;
set @@session.tidb_build_stats_concurrency=60;
analyze table account;

集群信息：