tidb和tikv之间网络流量异常增加

【 TiDB 使用环境】测试
【 TiDB 版本】5.4.0
【复现路径】
【遇到的问题:tidb和tikv之间网络流量异常增加,tidb 错误日志如下



测试环境流量很低,突然有一天晚上流量异常,通过iftop查看发现tikv在给tidb传送网络流量,数量最大700M,间隔5分钟一次。因为测试环境流量非常小,机会没有,查看tikv和pd的日志没有发现线索,tidb日志如图片,请大神帮忙解释下,谢谢了

看下expensive query和慢查询,应该是关联查询导致的

1 个赞

能不能导些TiDB和TiKV的监控出来看看。
将 Grafana 监控数据导出成快照 | PingCAP 文档中心

出现网络流量增加,大概率是计算层和存储层有大量数据进行传输。可以重点排查一下当时集群的SQL访问情况。

通过Dashboard 查询语句分析,还有系统热力图查看读写热点情况,分析当前访问的库表和region,进而确认业务

从提示看是存在大的DML语句造成的,检查那个时间点的SQL

是不是有大量的查询操作。

grafana部署了吗,在tidb-cluster-node_exporter页面可以看看网络监控部分

这种一般就是tidb执行大sql导致的

用TOP SQL功能去定位,一般是SQL导致的

是不是又大事务或者大结果查询