TiFlash 5.x 与 4.x 对比测试

TiFlash5.x与4.x对比测试

                   2021-04-15 刘春雷

1、汇总

TiDB5.0版本GA啦~通过 TiFlash 节点引入了 MPP 架构。下面进行简单的性能测试~

  • 性能提升
    • 4.0TiFlash, 双节点比单节点: SQL1-SQL6 SQL执行时间分别降低:46.9%,20%,4%,15.25%,33.33%,31.67%,平均降低: 25.19%
    • 5.0TiFlash, 双节点比单节点 :SQL1-SQL6 SQL执行时间分别降低:77.27%,28.31%,21.95%,29.39%,10.66%,28.82%,平均降低: 32.73%
    • 5.0Tiflash双节点 比 4.0Tiflash双节点 :SQL1-SQL6 SQL执行时间分别降低:56.52%,-15.21%,55.55%,12.18%,80.29%,92.17%,平均降低: 46.91%
  • ​​​​​​​​​​​​​​结论:
    • ​​​​​​​4.0TiFlash多节点比单节点有性能提升
    • 5.0TiFlash多节点比单节点有性能提升
    • 5.0TiFlash多节点 比 4.0TiFlash多节点 有性能提升
  • 问题:
    • 测试过程中,发现<=4.0.11 版本的TiFlash 存在内存吃满oom的问题,已经反馈官方,待4.0.13版本左右进行修复
  • 计划:
    • 当前是5.0.0版本测试的DBA自己的监控业务集群,后续会使用5.0.1 版本,使用其他报表、数仓业务进行线上升级与观察,线上的SQL更复杂,对Tiflash是个挑战~,后续会有文章分享滴~

2、信息

1

3、测试

3.1、测试汇总


3.2、测试情况

【信息】:

SELECT * FROM information_schema.tiflash_replica ;

【确认开启MPP】:

show variables like “tidb_allow_mpp”;

5

【情况】:

当前已有Tiflash 集群,1个TiFlash节点,监控数据表已经添加至TiFlash

【测试流程】:

  • 测试SQL
  • 扩容至2个Tiflash节点,均衡后,测试SQL
  • 升级至5.0.0
  • 测试SQL
  • 添加TiFlash节点
  • 等待均衡
  • 测试SQL对比

【均衡数据】:

PD-Statistics-balance - Store-used

3.3、SQL1

4.0 单个TiFlash执行计划

【4.0 单个TiFlash执行时间】:

1 row in set (1.30 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

1 row in set (0.69 sec)

【5.0 单个TiFlash执行计划】:

explain select max(Com_select),avg(Com_select),sum(Com_select) from mysql_globalstatus where monitorDay >=‘2021-03-01’ and monitorDay <=‘2021-03-31’;

【5.0 单个TiFlash执行时间】:

1 row in set (1.32 sec)

【5.0 2个TiFlash执行计划】:

【5.0 2个TiFlash执行时间】:

1 row in set (0.30 sec)

3.4、SQL2

4.0 单个TiFlash执行计划 】:

【4.0 单个TiFlash执行时间】:

1 row in set (2.30 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

1 row in set (1.84 sec)

【5.0 单个TiFlash执行计划】:

explain select igid,sum(Com_select) from mysql_globalstatus where monitorDay =‘2021-04-14’ group by igid order by sum(Com_select) desc limit 5;

【5.0 单个TiFlash执行时间】:

1 row in set (3.78 sec)

【5.0 2个TiFlash执行计划】:

【5.0 2个TiFlash执行时间】:

1 row in set (2.12 sec)

3.5、SQL3

4.0 单个TiFlash执行计划 】:

【4.0 单个TiFlash执行时间】:

5 rows in set (0.75 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

5 rows in set (0.72 sec)

【5.0 单个TiFlash执行计划】:

explain select igid,sum(Com_select) from mysql_globalstatus where monitorDay >=‘2021-03-01’ and monitorDay <=‘2021-03-31’ group by igid order by sum(Com_select) desc limit 5;


【5.0 单个TiFlash执行时间】:

5 rows in set (0.41 sec)

【5.0 2个TiFlash执行计划】:

【5.0 2个TiFlash执行时间】:

5 rows in set (0.32 sec)

3.6、SQL4

4.0 单个TiFlash执行计划 】:

【4.0 单个TiFlash执行时间】:

5 rows in set (4.26 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

5 rows in set (3.61 sec)

【5.0 1个TiFlash执行时间】:
5 rows in set (4.49 sec)

【5.0 2个TiFlash执行计划】:


【5.0 2个TiFlash执行时间】:

5 rows in set (3.17 sec)

3.7、SQL5

4.0 单个TiFlash执行计划 】:


【4.0 单个TiFlash执行时间】:

5 rows in set (5.10 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

5 rows in set (3.40 sec)

【5.0 表mysql_bussname 没有添加至Tiflash 】:

mysql_bussname 没有添加至Tiflash

explain select aa.igid,bb.buss_name,sum(Com_select)
-> from mysql_globalstatus aa inner join mysql_bussname bb
-> on aa.igid=bb.igid and
-> aa.monitorDay =‘2021-04-14’
-> group by aa.igid order by sum(Com_select) desc limit 5;

【5.0 表mysql_bussname 没有添加至Tiflash的执行时间 】:

5 rows in set (10.82 sec)

【5.0 表mysql_bussname 添加至Tiflash】:

alter table mysql_bussname SET TIFLASH REPLICA 1;

【5.0 单个TiFlash执行计划】:

explain select aa.igid,bb.buss_name,sum(Com_select) from mysql_globalstatus aa inner join mysql_bussname bb on aa.igid=bb.igid and aa.monitorDay =‘2021-04-14’ group by aa.igid order by sum(Com_select) desc limit 5;

【5.0 单个TiFlash执行时间】:

5 rows in set (0.75 sec)

【5.0 2个TiFlash执行计划】:

【5.0 2个TiFlash执行时间】:

5 rows in set (0.67 sec)

3.8、SQL6

4.0 单个TiFlash执行计划 】:

【4.0 单个TiFlash执行时间】:

5 rows in set (1 min 54.16 sec)

4.0 两个TiFlash执行计划 】:

【4.0 两个TiFlash执行时间】:

5 rows in set (1 min 18.00 sec)

【5.0 单个TiFlash执行计划】:

explain select SQL_NO_CACHE aa.igid,bb.buss_name,sum(Com_select)
-> from mysql_globalstatus aa inner join mysql_bussname bb
-> on aa.igid=bb.igid and
-> aa.monitorDay >=‘2021-03-01’ and aa.monitorDay <=‘2021-03-31’
-> group by aa.igid order by sum(Com_select) desc limit 5;

【5.0 单个TiFlash执行时间】:

5 rows in set (8.57 sec)

【5.0 2个TiFlash执行计划】:

【5.0 2个TiFlash执行时间】:

5 rows in set (6.10 sec)

6赞

新晋 TUG 内容组 Leader 很高产啊。:+1::+1::+1:

1赞

现在是很平稳

666,楼主有没有打算把tpch的性能也测试一次呢, 装载300g的数据量看看性能效果。 期待~~~

努力:muscle:

暂时没计划,后面计划会拿线上的业务sql跑跑看,纯测试只是看看效果是不是比之前好了,然后业务部分使用是最重要的,后面会有文章分享

嗯~确实比之前好了

围观测试结果~

看起来很强大啊:nerd_face:

用起来~

太感谢雷雷老师~~

客气啦