再记一次业务优化

                   安居客TiDB集群优化

                             --2019-11-20  58公司 春雷

1、汇总

1.1、问题

问题:安居客TiDB集群,SQL执行时间长,达到 500ms-1s

导致业务的消息堆积,无法快速写入到集群

1.2、优化结果汇总

image

2、具体问题

2.1、业务消息堆积情况

蓝色的是产生数据速度,绿色是写入速度

2.2、SQL执行时间

SQL执行时间 500ms-1s

2.3、慢SQL量

慢SQL高峰 52w

3、优化前集群信息

image

4、优化

4.1、优化汇总

4.2、大表清理

业务历史数据不访问,不需要,可以清理

库大小:12.9T

表行数:110亿

4.3、慢SQL优化

优化前个数:50w+

优化后个数:<700

降低:99.87%

4.4、集群 迁移 情况

背景:此集群上的某库因增量过大,将其迁移出来

处理:新建一套集群,迁移库

信息:TiDB机器:3台,TiKV机器:3台新的机器

结果:SQL执行时间情况如下,解决了业务的写入QPS要求

5、优化前后对比

5.1、机器情况

调整前:

调整后:

5.2、SQL执行时间

优化前:

优化后:

3.3、IO情况

优化前:

优化后:

3.4、CPU情况

优化前:

image

优化后: image

3.5、服务器load情况

优化前:

image

优化后:

3.6、region情况

优化前:

磁盘: 14T

region数: 63w

优化后:

磁盘: 6.2T

region数: 24w


相关阅读:

记一次 TiDB 优化

2赞

:+1:

:+1:

慢 SQL 优化那块期待再开坑讲讲:grin:

:+1:

我后续研究研究~

厉害了,感觉效果最大的是哪个?