TiDB Server节点出现大量的ERROR日志:write: broken pipe

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.1
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

10月24日的时候,tidb server日志中出现了大量如下的连接报错的日志,如下:

业务侧反馈也出现了短暂的连接断开的情况,业务层面没有做过任何的调整

网络问题或者tidb server有异常,你的tidb做负载均衡了嘛

排查了网络问题,网络没有明显的异常;TiDB Server也没有重启或其他的,tidb通过consul做了负载均衡,但是在这个时间段,两个tidb server的日志中,都出现了上述的ERROR日志

Grafana的TiDB/KV Errors面板有没有写冲突之类的错误啊

这个是TiDB/KV Errors面板的监控


好像也没有明显的异常

LOCK resolve OPS面板上尝试清除锁的红色有点异常啊,KV Backoff OPS 面板中的 txnLock 是否在同一时间段有明显上升?是否是因为解锁导致短暂的写冲突?


txnLock 在同一时间段好像没有明显的上升

tidb通过consul做了负载均衡?

那client 最终还是直连的 tidb 节点咯?

LOCK resolve OPS的红色query_resolve_lock_lite和KV Backoff OPS的txnLock的时间段是一致的啊,18:00-19:00,20:00,21:30

这个错误的原因是一边在写入数据的时候,另一边把连接关闭了。

如果不是应用端连接池策略的问题,那就要查查haproxy这类代理的设置。还有某一边的连接数量限制也有可能导致这个问题。

这个你可以参考一下。
tidb本身不会主动关闭这个连接。而且,这个报错在服务端也说明关闭连接的一方大概率不是tidb这边。

1 个赞

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。