TiDB接入实时数据后,性能非常慢

【 TiDB 使用环境】生产环境
【 TiDB 版本】v4.0.8
【遇到的问题】TiDB接入实时数据后,性能非常慢
【复现路径】以前都是离线数据,后来新添加了一个实时数据写入,这之后数据库性能急剧下降。
【问题现象及影响】
目前只能将实时写入任务停掉,但是用户订单无法查询。做了一些RegionMerge的参数优化,但是没有效果。也关闭了悲观事务。
【附件】
tidb-test-Overview_2022-10-21T09_03_15.727Z.json (2.0 MB)

不介绍下集群配置,硬件情况,分布结构么?
另外实时写入要支持到多大的量级? 数据有多大? 什么结构,是不是补充下 ?

1、 集群配置什么样? tiup cluster display输出看下
2、PD等待时间较高,看下tidb server cpu、PD cpu 、PD磁盘性能。


3、看上去region心跳有点高,可以尝试开启下 hibernate-regions 看看(4.x是实验特性)
https://docs.pingcap.com/zh/tidb/v4.0/tikv-configuration-file
4、可以考虑升级到4.x的最新版


集群配置另一条回复贴了,实时写入每秒10-~50条左右,大概5个依赖任务同时写,数据每天增量。但是有时候任务执行失败,或者数据有问题,就涉及到离线数据重新跑。这样一来瞬时的陷入压力就能达到5k条/秒。这个实时任务刚上线的时候并没有显著影响tidb的读写性能,在执行了大概十天左右,性能急剧下降,读服务基本处于不可用的状态,写入也非常慢。

可以看看 监控,压力大的时候,是那块慢,很容易判断出来的

机器配置太低了。查查网络也是千兆的,网卡也是,实时写入的sql效率也低

配置太低了,你看看实时写入时tidb pd tikv的cpu是不是被打满了 ,加资源吧

嗯,查过了,基本定位到是因为慢SQL有很多子查询,导致整个实时写入和读取都慢

恭喜了,那很容易解决了

1 个赞

配置后来升级过,基本上都在16C以上了,后来查是因为慢SQL

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。