TIDB批量插入慢

【 TiDB 使用环境】线上
【 TiDB 版本】v6.1.0
【遇到的问题】
机器配置tikv 8c 32G,主要场景是批量insert和批量update,500条为一批,刚开始插入的时候速度还行,2000条差不多10几秒,但是运行一段时间后就越来越慢,直接tikv重启后才恢复正常速度。观察慢查询主要是commit耗时高,大部分时间消耗在prewrite和commit阶段,看集群负载都不高。
【问题现象及影响】
【附件】



tikv日志报错

update语句和相关表结构可以发一下完整的



另外把tikv重启后写入速度就正常了。

重启后正常一会儿是不是会再慢?最开始快是因为都写到了memtable,只有wal是落盘的。后面flush和compact的时候,磁盘io上来了,估计延迟就高了。确认下是不是这个情况。
如果有物理机的监控,看看磁盘io的趋势。

有个疑问是,如果是落盘的时候应该磁盘IO会比较高,事实上在写入慢的时候整体负载反而不高了。

如果确认磁盘io没增加,那就不是我说的这个事儿。这个问题得分析监控了。你把监控整个都贴上来,应该会有好心人给你看的,如果你是截的长图我可能会看一下,如果导出metric的话,我这边也没有grafana环境,导入一次怪费劲的,就等其他好心人给你看吧:laughing:

看grafana吧,dashboard的东西少点。

是不是因为TiKV内存占满了?

看监控没满哦

1.看看集群内的网络传输
2.看看region的调度

看下是不是有锁

网络最高30多Mb