【 TiDB 使用环境】生产环境
【 TiDB 版本】v4.0.8
【遇到的问题:问题现象及影响】
大量写入时,根据https://docs.pingcap.com/zh/tidb/stable/troubleshoot-hot-spot-issues#确定存在热点问题 看Raftstore CPU是正常的(截图在下面),看Store write rate bytes也是正常的(截图在下面),但是看Region written相关的面板觉得可能有点问题(截图在下面),在论坛搜索过但是没看到有介绍Region written相关的面板怎么看的,想确认下是不是存在热点问题
目前主键使用的AUTO_INCREMENT
【资源配置】
【附件:截图/日志/监控】
Raftstore CPU:
Store write rate bytes:
Region written相关:
xfworld
(魔幻之翼)
2
通过dashboard 的流量可视化看看就知道了,特别容易
有猫万事足
4
写入热点图不能看到明亮的斜线,读取热点图不能看到明亮的横线。
如果你这个是写入热点图,应该是没有热点问题的。
可能你的存储吞吐能力比较厉害,可以适当调低亮度再看看。还是整体这么亮,更像是整体资源吃紧了,该多加几个tikv节点了。
https://docs.pingcap.com/zh/tidb/stable/dashboard-key-visualizer#x-轴明暗交替需要关注高峰期的资源情况
特别是stat…grams这个表,在x轴的分布一直很亮, 是文档中这种明暗交替的加强版。
亮度调成-1是这样的
然后tikv的cpu是8核的,内存是32g
当时的tikv情况是这样的
请问这种情况是不是资源吃紧啊
有猫万事足
6
从这个图上看你的读远大于写。大了40倍。
不像是写入有瓶颈啊。更像是有什么业务疯狂的在从你的tidb中抽取数据。
对的,业务是这样的,但是现在高并发插入的时候,每个tidb上 insert的qps最高只能到6k多,所以想排查下有没有热点问题啥的
有猫万事足
9
你看看我的垃圾配置,在执行大表导入的时候,是这个数据。虽然整体看,read确实最大值会write高。但假如是你所怀疑的写入密集的情况下, 你这个图的数据不该是这样的。
有猫万事足
11
我翻了下4.0的文档
https://docs.pingcap.com/zh/tidb/v4.0/troubleshoot-hot-spot-issues
这个版本好像没有非聚簇表的设置。你使用AUTO_INCREMENT的场景下 ,没有办法设置为非聚簇表+SHARD_ROW_ID_BITS。
文档的建议就是直接用 AUTO_RANDOM替换AUTO_INCREMENT。
对的,之前是打算如果确认是热点问题的话就用 AUTO_RANDOM替换AUTO_INCREMENT的,因为表比较大而且还很多,所以想先确认下是不是存在热点问题,所以才发的这个帖子,如果不存在热点的话,是不是没有必要替换啊
有猫万事足
14
首先,至少你给的时间段上的这个图,肯定不是写入热点。但很难说,写入并发高了有没有热点。毕竟用AUTO_INCREMENT在文档上是不推荐的。
如果你的老业务已经用了,跑了很多数据在上面,不到万不得已,就不要换了。可以密切关注。这是个隐患。只要不出事完全可以当无事。
新建的表能按着文档建议做,就按着文档建议做吧。特别是你测试的时候,完全可以测一下这个改动对insert有多大的提升。实践出真知。
1 个赞
好的,感谢,因为之前没有做Sysbench,导致现在不知道insert的极限qps是多少了
1 个赞
system
(system)
关闭
19
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。