scheduler is busy

wfxxh · 2021 年8 月 2 日 08:51

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：
【 TiDB 使用环境】 tidb v5.1.0

【概述】场景+问题概述：tidb一段时间之后报错“scheduler is busy”

【背景】做过哪些操作： tidb作为matomo的存储后端，开启tiflash副本

【现象】业务和数据库现象：insert 、update操作非常慢。

【业务影响】：整个集群无法正常使用

【TiDB 版本】： v5.1.0

【附件】

我按照其他帖子中的方法找全了对应的图表，都没发现问题，例如这张。

songxuecheng · 2021 年8 月 2 日 09:02

应该和你的混合部署有关

wfxxh · 2021 年8 月 2 日 13:38

cpu负载并不高，内存，io，网卡负载也不高

songxuecheng · 2021 年8 月 3 日 01:27

pd 的日志有吗

wfxxh · 2021 年8 月 3 日 02:10

pd.log (1.2 MB)

songxuecheng · 2021 年8 月 3 日 02:16

scheduler -pending-write-threshold 看下这个参数设置

wfxxh · 2021 年8 月 3 日 02:29

我没有修改这个，默认值是100M

songxuecheng · 2021 年8 月 3 日 02:31

可以先试试调大参数

wfxxh · 2021 年8 月 3 日 02:39

我觉得这只治标不治本。“commit_ts is too large, fallback to normal 2PC”这个问题不解决调大这个参数意义不大。

songxuecheng · 2021 年8 月 3 日 02:44

songxuecheng · 2021 年8 月 3 日 02:45

wfxxh · 2021 年8 月 3 日 02:52

我这个出问题的时间点，latch wait duration 并不高。

songxuecheng · 2021 年8 月 3 日 02:56

tikv 混合部署，是否io不足？

wfxxh · 2021 年8 月 3 日 03:10

io还好吧

yilong · 2021 年8 月 3 日 09:51

可以根据参考 4.5 tikv 写入慢继续排查，根据你的描述应该也是写入和更新慢。
https://docs.pingcap.com/zh/tidb/v4.0/tidb-troubleshooting-map#45-tikv-写入慢

或者提交一下 detail-tikv 的监控
‘commit_ts is too large, fallback to normal 2PC’ 有很多这个报错吗？业务上写入模式是什么？提交数据特点是什么？