tidb写入慢

机器配置:
tidb 1台 b7(32c,128g)
tikv 3台 b11(32c,128g),b53(40C,128g),b56(32c,128g)
pd 3台 b49主(32c,64g),b26(8c,32g),b24(8c,32g)

出现这种异常特别是在凌晨的3-5点之间
tidb时不时出现堵塞,期间各种类型的query都变慢。然后几小时自己会恢复。在堵塞期间,通过dashboard观察,发现以下情况:
1,所有的kv server(一共三个)的io utility降到非常低,几乎为0,而同期的cpu使用很高。
2,同期update leader和tikvrpc都上涨,pd的pending也都上涨。
3,slow query log里包括各种查询,即使很小的表的查询也会达到1700s,但实际process时间不到1s,wait time几秒,不知道时间花在哪里。
4,tidb server 的log里频繁的报三个:1)、switch region leader to specific leader due to kv return NotLeader
2)、invalidate current region, because others failed on same store
3)、[2020/07/15 06:30:11.820 +08:00] [WARN] [client_batch.go:590] [“wait response is cancelled”] [to=192.168.241.11:20160] [cause=“context canceled”]。

监控:










日志报错:
链接:https://pan.baidu.com/s/1LQooto2h3WTwN5cqgc70nA
提取码:ynn1

您好,根据监控判断是 TiKV 服务发生重启,因为传输的日志量太大,下载需要一段时间。麻烦先提供一些 3-5 点时间段的 3 个 tikv 日志。可以通过 grep 命令截取一下这段时间的日志发一下。

你好,日志上传了,帮忙看下
链接:https://pan.baidu.com/s/1rXUb8s6Xtora5G9v1RdzFA
提取码:2gps

你好,日志已经上传了,帮忙看下