tidb一个表存多少数据,性能会明显下降?

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
tidb一个表存多少数据,性能会明显下降?

资源充足的情况下,应该没有数量上限,我这边单表过5亿正常用~

问下,现在我们有一个大表40亿数据,插入数据比较慢,一秒好像最多只能插入10M的数据,这个是正常的吗? 或者有什么好的优化方案? 我是刚了解TIDB,还不太熟系。

多少个tikv节点,用的啥盘,有写热点吗?可以通过dashboard看一下插入语句慢在那个环节

好的,谢谢,运维部署的,我一会去查询下

dashboard监控可以发一下看看

看看grafana监控里的IO有没有打满~

10M的数据并不慢,一小时36G,一天快1T了,先看看磁盘使用率和cpu使用量了

恩,是的,我们的TIDB是自建的,配置都是默认的,现在用了5个kv节点。nvme的固态盘,这些有优化的空间吗? 比如说修改配置文件等?

这个要看机器配置和多少个kv节点了,其实就是数据被打散在各个kv节点上分布,最重要的是IO

这个不好测试出来

TiKV 中每个region 的大小是96MB(默认值),但是单个TiKV 管理的数据最好不超过4TB,因为这样会让TiKV和PD之间的心跳过多,导致性能下降。

请参考

2 个赞

看来要经常逛逛专栏了,之前没看到有这么好的文档。

好的,非常感谢

good

行数和表的大小应该都会影响,看了大家的回复及一个资料,说了40亿+数据,但没有说大概表有多大

我们有数据量千亿左右的单表,做了3机房容灾,qps2万多P99100ms以内,也有集群数据量接近200TB的,qps1W以内P99不到30ms。
影响性能的因素太多了,数据量只是一个方面,就我能短时间内想起来的,影响性能的因素有:

  1. 服务器性能:硬盘iops、带宽,网络带宽、cpu,内存大小等
  2. 表的记录数,单条记录长度
  3. 访问表的方式,点查还是大范围查询,读写比例多少,qps多少,索引是否合理健全
  4. 集群节点间是否跨AZ通信,AZ之间网络延迟如何
  5. Store数据量是否超出预设ratio,导致调度占用过多资源等等


这个表数据之前一直维持在一千五百多亿,后来清理了一千多亿还剩200多亿了。

再截图一个手边的集群:

1 个赞

你们容灾是用tidb分布式架构实现的还是数据同步实现的

特别重要的同步到另一个集群或者在其他异构存储上还有数据,一般重要的3机房部署即可。

1 个赞