【 TiDB 使用环境】生产环境
【 TiDB 版本】V5.2.1
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
业务每天两点有个定时任务,删除表中的数据,这两天一直删除失败。我看了慢日志,这个delete执行了4个多小时。主要时间花费都是在prewrite上。因为这张表业务有定时插入的动作,大概10多秒一次,我一开始以为是这个导致的,但是把插入动作停止了之后还是跟之前一样。我就懵了,想请教下这个问题产生的原因是什么?
【资源配置】
【附件:截图/日志/监控】
慢日志,为了能一张图截出来,Backoff_types因为太多且重复的被我删掉了大概40行。
tikv相关的日志
慢日志
MrSylar
( Mr.Sylar)
2
不要这样 delete 数据,单一事务太大的时候,prewrite 肯定慢。参考官档的一些建议
删除数据 | PingCAP 文档中心
使用的悲观事务模型还是乐观事务模型,另外建议删除数据可以limit 10000这样循环删除
h5n1
(H5n1)
5
看下那时间overview tikv 的leader监控、blackexporter的网络延迟
默认的悲观事务模型,这个是每天定时删的,删了一年多了,之前都没有什么问题。
之前一次删除的数据大概有3w多行,但是最近失败了应该就不止这么多了
delta(tikv_raftstore_region_count{type=“leader”}[30s]) < -10 这个表达式没有数据
blackexporter 这个我好像没找到
h5n1
(H5n1)
9
这个红线的tikv 你看看日志是重启过吗 2:00d的时候
h5n1
(H5n1)
11
按照这个把2点前后1小时的数据监控数据导出: 包括 overview \ tidb\ tikv-detail的,要把所有的面板都展开等待数据加载完再导出,否则没有数据
https://metricstool.pingcap.net/#backup-with-dev-tools
额,这个环境只有一个prometheus能用,没有grafana,也部署不了。。。
system
(system)
关闭
15
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。