数据库写入查询都慢

第一种部署环境:
db,pd,kv都同时单实例的部署在在一台4C,32GB,ssd的机器上面。

第二种部署环境
pd:3C,8GB,SSD
db:8c,16GB,机械硬盘
kv:4C,32GB,ssd

测试用一个采集流量的插件往数据库写入流量数据,每行数据大概10多列,每一列都是简单的字符串(ip,端口之类的信息),插件写入的速度大概是每秒钟需要向数据库的两张表中总共写入10000行记录。目前存在的问题是写入数据很慢,导致插件无法把全部记录写入数据库。查询基本上无法使用。

目前有如下疑问
1.由于某些原因比较倾向于使用单机部署,那么单机部署有没有可能满足要求?如果能满足要求,至少要什么样的硬件配置?
2.单机部署的时候是一个kv还是多实例的kv效率会高一些?
3.如果单机无法满足要求,最多只能采用两台物理机器。把pd和db部署在一台,kv单独一台。这样能不能满足要求?
4.tidb会不会像mysql一样随着数据表中的记录行数越来越多变得越来越慢?

由于目前硬件环境有限,无法直接搭建环境测试。请技术专家指导一下。

1 个赞

https://docs.pingcap.com/zh/tidb/stable/hardware-and-software-requirements

TiDB 软件和硬件环境建议配置

数据量是多少?如果是单机部署,体现不出TiDB的优势。生产系统如果要上TiDB,我们这边实践最少也要3台服务器,不能再少了。

数据量就是每分钟写入60万的记录,数据最少要保存最近的三个月。数据库还是挺大的!

请问三台服务器具体是怎么部署的呢?

每分钟60w,一天8.6亿,三个月700亿?那这数据量我觉得还是要按官方生产环境的配置来做。

我们这边是每台服务器上部署一个tidb、pd、tikv节点,相当于保证了3节点,在一台服务器down掉的情况下还能正常运行。

或者可以参考一下这里,看看能不能找到解决方案。硬盘最好是SSD。

哦,我们对数据的安全性要求不高。主要是性能要求。安装官方的配置。预算有限估计希望不大。

可以先按Trouble Shooting排查一下目前环境中可能的瓶颈,然后再进行评估。

好的
多谢

分配的CPU都太低了

对了,第一种部署方案,不同节点在同一台服务器会出现资源争用的情况,需要在部署的时候进行资源限制。这个也可能是目前的瓶颈之一。

这个已经是我手上拥有的最豪华的配置了

单机部署,我就不打算再去折腾了。打算采用两台物理机器来部署,pd和db在一台,kv单独一台。每个组件都是允许一个单实例不知道可不可行?

现在的硬件抗不住,最低要求都满足不了~

是的,现在的机器我已经测试过了不行。打算重新申请服务器后再测试。

建议最少3台, 如果只有2台了,kv,pd也要分布在2台,有一个实例的挂了,剩下有2个的还能用,有2个的挂了就用不了了

我们这个对高可用和数据的安全没有太高的要求。只要求性能。在一台服务器上面部署单个kv还是多个kv的效率高呢?我也不需要多副本保存。

看机器上CPU、IO、内存资源是否充足