使用 mysqlslap 对 TiDB 的 varbinary 和 varchar 进行 SELECT 性能测试(本地环境,结果仅供测试)【疑似发现一个bug】

闲来无事,在本地基于 master 构建了 tidb-server,然后执行 mysqlslap ,得到以下的性能测试结果:

本文测试是基于 MySQL 5.7.27 和 TiDB master(e1ba30914)。

mysqlslap 简单介绍

mysqlslap 是 MySQL 自带的基准测试工具,优点:查询数据,语法简单,灵活容易使用。该工具可以模拟多个客户端同时并发的向服务器发出查询更新,给出了性能测试数据而且提供了多种引擎的性能比较.msqlslap 为 mysql 性能优化前后提供了直观的验证依据,建议系统运维和 DBA 人员应该掌握一些常见的压力测试工具,才能准确的掌握线上数据库支撑的用户流量上限及其抗压性等问题。

常用的选项
--concurrency    并发数量,多个可以用逗号隔开
--engines       要测试的引擎,可以有多个,用分隔符隔开,如 --engines=myisam,innodb
--iterations      要运行这些测试多少次
--auto-generate-sql        用系统自己生成的 SQL 脚本来测试
--auto-generate-sql-load-type    要测试的是读还是写还是两者混合的(read,write,update,mixed)
--number-of-queries           总共要运行多少次查询。每个客户运行的查询数量可以用查询总数 / 并发数来计算
--debug-info               额外输出 CPU 以及内存的相关信息
--number-int-cols             创建测试表的 int 型字段数量
--number-char-cols             创建测试表的 chat 型字段数量
--create-schema             测试的 database
--query 自己的 SQL           脚本执行测试
--only-print                 如果只想打印看看 SQL 语句是什么,可以用这个选项

实际测试结果

针对 varbinary 的执行结果:

$ time mysqlslap -h 127.0.0.1 -P 4000 -uroot --create-schema=test --number-of-queries=1000000 --concurrency=10 --query="select * from vbinary where val='abaa';"
Benchmark
	Average number of seconds to run all queries: 83.412 seconds
	Minimum number of seconds to run all queries: 83.412 seconds
	Maximum number of seconds to run all queries: 83.412 seconds
	Number of clients running queries: 10
	Average number of queries per client: 100000

mysqlslap -h 127.0.0.1 -P 4000 -uroot --create-schema=test  --concurrency=10   8.49s user 14.06s system 27% cpu 1:23.43 total

针对 varchar 的执行结果:

$ time mysqlslap -h 127.0.0.1 -P 4000 -uroot --create-schema=test --number-of-queries=1000000 --concurrency=10 --query="select * from vachar where val='abaa';"

Benchmark
	Average number of seconds to run all queries: 71.495 seconds
	Minimum number of seconds to run all queries: 71.495 seconds
	Maximum number of seconds to run all queries: 71.495 seconds
	Number of clients running queries: 10
	Average number of queries per client: 100000

mysqlslap -h 127.0.0.1 -P 4000 -uroot --create-schema=test  --concurrency=10   7.89s user 13.28s system 29% cpu 1:11.55 total

使用 MySQL 5.7.27 得到的结果:

针对 varbinary 的执行结果:

time mysqlslap -h 127.0.0.1 -P 3306 -uroot -p --create-schema=test --number-of-queries=1000000 --concurrency=10 --query="select * from vbinary where val='abaa';"
Enter password:


Benchmark
	Average number of seconds to run all queries: 293.956 seconds
	Minimum number of seconds to run all queries: 293.956 seconds
	Maximum number of seconds to run all queries: 293.956 seconds
	Number of clients running queries: 10
	Average number of queries per client: 100000

mysqlslap -h 127.0.0.1 -P 3306 -uroot -p --create-schema=test     20.43s user 17.05s system 12% cpu 4:55.07 total

针对 varchar 的执行结果:

time mysqlslap -h 127.0.0.1 -P 3306 -uroot -p --create-schema=test --number-of-queries=1000000 --concurrency=10 --query="select * from vachar where val='abaa';"
Enter password:
Benchmark
	Average number of seconds to run all queries: 485.353 seconds
	Minimum number of seconds to run all queries: 485.353 seconds
	Maximum number of seconds to run all queries: 485.353 seconds
	Number of clients running queries: 10
	Average number of queries per client: 100000

mysqlslap -h 127.0.0.1 -P 3306 -uroot -p --create-schema=test     25.58s user 20.25s system 9% cpu 8:08.97 total

有点奇怪的是,本地 MySQL 的压测数据非常差。不知道是不是我本地 MySQL 是 Docker 的原因所致?

发现一点问题

MySQL 上执行的结果:

mysql> select 'a'='a ' , 'a'='A' , 'a'='A ';
'a'='a '	'a'='A'	'a'='A '
1	1	1

TiDB 上执行的结果:

mysql> select 'a'='a ' , 'a'='A' , 'a'='A ';
'a'='a '	'a'='A'	'a'='A '
0	0	0

但是:

CREATE TABLE vc (v VARCHAR(4), c CHAR(4));
INSERT INTO vc VALUES ('ab  ', 'ab  ');
SELECT CONCAT('(', v, ')'), CONCAT('(', c, ')') FROM vc;

在 MySQL 5.7.27 和 TiDB master(e1ba30914) 是一样的。

参考资料

  1. MySQL 中 varbinary、binary、char、varchar 异同
  2. MySQL 性能测试工具之 mysqlslap 使用详解

好的,感谢反馈,我们反馈一下该问题。

另外,如果是功能测试,可以使用 docker 部署,如果是性能测试,建议使用 ansible 部署。

我主要是测试 varbinary 和 binary ,顺便看看 mysqlslap 的表现。

以后有需要按照你的建议进行测试。

TiDB 上执行 select ‘a’ = ‘A’ 返回是 0 ,应该是因为 4.0 之前 TiDB 不支持 ci collation,默认是以二进制对比的方式,没有忽略大小写。

https://docs.pingcap.com/zh/tidb/stable/character-set-and-collation#新框架下的排序规则支持