【交流贴】一般你们会如何进行 POC 跑批测试?

在社区中,经常从社区用户的口中得知,

在选型新数据库的时候,不只是从场景上出发去选择相应的数据库,看该数据库是否能够满足业务场景需要,

当选定一些目标产品后,会对产品进行跑批测试对比,

下面有几个问题大家一起交流一下:

问题1:
你在选型的过程中,一般会选择多少个产品进行对比?

问题2:
在测试对比的时候,当结果不太符合理想预期的时候,是否会通过调优的手段再次调优后跑批?

问题3:
你们在测试的时候,会不会按照官方要求的配置来测,还是低于官方的配置要求?

问题4:
一般你们会从哪些 SQL 进行性能测试对比?

Q1: 选择多少产品进行对比?
A1: 大概 3、4 种。

Q2: 是否会通过调优的手段再次调优后跑批?
A1: 不符合预期会进行调优

Q3: 会不会按照官方要求的配置来测,还是低于官方的配置要求?
A3: 按照官方要求,甚至高于官方配置

Q4: 一般你们会从哪些 SQL 进行性能测试对比?
A4: benchmark 用的 SQL

3 个赞

问题1:
你在选型的过程中,一般会选择多少个产品进行对比?
----至少选择2款进行对比

问题2:
在测试对比的时候,当结果不太符合理想预期的时候,是否会通过调优的手段再次调优后跑批?
----肯定会进行调优,不仅仅是数据库参数配置,还有应用配置,应用SQL性能调优全部都会进行。因为应用写的SQL,在不同数据库上执行效率,索引可能也不同,需要进行适配调优才可以。

问题3:
你们在测试的时候,会不会按照官方要求的配置来测,还是低于官方的配置要求?
----性能测试使用远高于官方的配置进行安装部署。我们都是96C512G,NVME SSD。功能测试使用接近官方推荐配置

问题4:
一般你们会从哪些 SQL 进行性能测试对比?
----会用benchmarksql自测玩,正式测试报告是通过业务交易的性能结果为主。

2 个赞

问题1:
你在选型的过程中,一般会选择多少个产品进行对比?
有针对性行的选择2-3三种,每次不会多于三种,但有的poc会反复,每次的产品有的不一样

问题2:
在测试对比的时候,当结果不太符合理想预期的时候,是否会通过调优的手段再次调优后跑批?
会通过已知手段进行调优,直到认为找到瓶颈,或者短期内没有优化方案。

问题3:
你们在测试的时候,会不会按照官方要求的配置来测,还是低于官方的配置要求?
低于官方配置做功能测试,等于或者高于官方做性能测试。

问题4:
一般你们会从哪些 SQL 进行性能测试对比?
关键场景、频繁调用的场景

1 个赞

问题1:你在选型的过程中,一般会选择多少个产品进行对比?
根据业务场景和其他多种情况,会留下2种产品进行深入的测试

问题2:在测试对比的时候,当结果不太符合理想预期的时候,是否会通过调优的手段再次调优后跑批?
会通过已知手段进行调优,阻断式的情况并无法解决的作为测试结论

问题3:你们在测试的时候,会不会按照官方要求的配置来测,还是低于官方的配置要求?
低于官方配置做前期测试和功能测试,接近官方配置做性能测试

问题4:一般你们会从哪些 SQL 进行性能测试对比?
关键场景SQL、频繁调用的场景SQL、复杂SQL