TiDB 4.0.2 版本,BR 备份发现 tikv 内部有报错 No route to host

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】tikv 节点替换
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【复制黏贴 ERROR 报错的日志】
【其他附件:截图/日志/监控】

BR 工具的报错日志

[error="msg:"Io(Custom { kind: Other, error: \"failed to put object Error during dispatch: error trying to connect: tcp connect error: No route to host (os error 113)\" })" "] [errorVerbose="msg:"Io(Custom { kind: Other, error: \"failed to put object Error during dispatch: error trying to connect: tcp connect error: No route to host (os error 113)\" })"


纠正下,和 tikv 内部的错误节点信息没关系,新的 tikv 集群也有同样的问题

/data1/logs/tikv_4000.log:314:[2025/02/19 11:12:06.262 +08:00] [ERROR] [endpoint.rs:284] [“backup save file failed”] [error=“Io(Custom { kind: Other, error: "failed to pu
t object Error during dispatch: error trying to connect: tcp connect error: No route to host (os error 113)" })”]
/data1/logs/tikv_4000.log:315:[2025/02/19 11:12:06.262 +08:00] [ERROR] [endpoint.rs:669] [“backup region failed”] [error=“Io(Custom { kind: Other, error: "failed to put o
bject Error during dispatch: error trying to connect: tcp connect error: No route to host (os error 113)" })”] [end_key=] [start_key=] [region=“id: 2 start_key: 748000000
0000000FF2D00000000000000F8 region_epoch { conf_ver: 17 version: 22 } peers { id: 123 store_id: 18 } peers { id: 133 store_id: 1 } peers { id: 167 store_id: 165 }”]
/data1/logs/tikv_4000.log:316:[2025/02/19 11:12:06.263 +08:00] [ERROR] [service.rs:86] [“backup canceled”] [error=RemoteStopped]

tikv 内部会访问 cos 对象存储吗

备注,使用 pd-ctl 查询后也没有 10.1.0.214:4010 这个节点

tiup cluster display能看到这个节点么?

这版本有点低,可能需要重启一下pd。

已经过了 EOL 时间,建议升级,另外 是不是 Tikv 超过2年没有重启过了?

是 rawkv 吗?

我看下

好像没显示成员节点,结果如下

./pd-ctl cluster display
{
“id”: 6839250598844572907,
“max_peer_count”: 3
}

:thinking:哦哦,是v4版本啊,不是用tiup部署的?

没有直接使用 rawkv 的 api 接口,就是一个 TiDB 集群,只不过我们数据有好几 T,要走 br 备份到 s3 中

不是,但是应该是内部网络有点问题,直接手操的部署

tikv 长时间不重启会有问题吗?看了下启动时间也还不到 1 年

有遇到过同类的问题?tikv 节点记录了一个已经下线的节点吗

问题已解决,tikv 4.0.2 是通过 path-style 的风格访问 cos,因此域名设置少设置了一个

1 个赞

同问啊

运行795天后会重启。

另外提一下4.0.2版本太低了,要升级了。
整个4.x版本都已经EOL了。

https://cn.pingcap.com/tidb-release-support-policy/

还能维护的最小版本也是5.4了。