tikv 打印大量 ["kv rpc failed"]

【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.5.0
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】发现tikv日志打印大量的[“kv rpc failed”] [err=RemoteStopped] ,为什么会打印这些日志呢,是否影响稳定性和性能
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

查下集群几个 节点是否正常


各个节点状态

info级别日志不影响吧

INFO 级别的还好,另外看下监控,Tidb 的 kv request 没啥问题我觉得就没问题,日志打的比较细。

日志级别太细了 info的话不影响使用可以忽略, 我调整到error级别了

有没有在进行大批量的写操作?

可以看下网络有没有波动?

info级别的不用管,担心有问题查查cpu是不是负载太高,或者网络是不是稳定

我发现我的tikv的日志中也有很多同样的info级别的错误,而且数量还不少,
但是查看pd和tidb的日志都没有异常的信息,不知道这个跟下面的issue是不是同样的问题
https://github.com/tikv/tikv/issues/5178

rpc是不是网络有问题。

不影响可以忽略。

这是rpc 请求访问kv数据的报错,info级别的,说明内部会有重试机制来应对这类情况,一般不会有影响。

稳妥起见,可以对集群的健康状况作进一步的巡检分析。

1 个赞

info级别还好,不用太担心

谢谢建议,等上班了去查一下,我之前发现日志中相关的信息还不少呢

看看网络情况,应该是有波动

忽略掉。影响不大,你是混合部署吧,一般pd和kv不建议混合部署

可以忽略

看下backoff

我在一台tikv的机器的日志中发现了大量的错误提示,在grafana的tidb查看Batch receive avarage duration看起来也不太正常,不知道是否有关,有大牛知道怎么回事