TiFlash write to tunnel tunnel20+22 which is already closed

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.0
【复现路径】做过哪些操作出现的问题
查询Tiflash write to tunnel tunnel20+22 which is already closed
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】

2
  • 检查网络连接：确保 TiDB 和 Tiflash 节点之间的网络连接正常。
  • 查看 Tiflash 日志：检查 Tiflash 的日志文件，以获取更多关于错误的上下文信息。
  • 监控资源使用情况：使用 TiDB Dashboard 监控 Tiflash 节点的 CPU、内存和磁盘使用情况，确认是否存在资源瓶颈。
  • 重启 Tiflash：如果问题持续，尝试重启 Tiflash 服务以恢复正常功能。
  • 查看配置：检查 Tiflash 的配置是否符合官方推荐，并进行必要的调整。
1 个赞
3

也遇到这个问题，导致查询失败了，有什么解决 方案么。

4

完整地报错可以发一下

5

一般来说这个报错就是多个tiflash 在做mpp的时候，其中一个oom了。这是最常见的情况。

如果不是oom那么就是查网络/cpu这些是不是打满了。基本都是这些原因。

另外把对应mpp的sql拿出来研究一下，是不是把不适合mpp的操作放到tiflash上做了。

你找找这方面的问题，另起一贴看看。

6

:thinking:是什么操作导致的呢？大查询？百分百复现么？

7

业务发来的报错，

我检查了tidb日志、tiflash日志都没有error告警，最多有warn告警。

8

建议排查方向：
1、检查 TiFlash 日志中 tunnel20/22 通道的关闭原因记录
2、监控网络丢包率（建议低于 0.1%）和延迟（建议低于 50ms）
3、验证 gRPC 连接池配置参数 grpc.keepalive_time
4、执行系统一致性检查：tiup ctl:v pd -u http://:2379 store --state Up
5、在低峰时段执行强制通道重置：ALTER TABLE <table_name> COMPACT tiflash replica

9

:thinking:建议开新帖，上传日志，大家一起看看

10

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。