pd 与 tidb 一直报错"retrying of unary invoker failed

TiDBer_L0e0nfHL · 2024 年11 月 14 日 09:46

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】 8.1.1
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】

Tidb 与 PD WARN
2024-11-14T17:43:49.458253571+08:00 [2024/11/14 17:43:49.458 +08:00] [WARN] [retry_interceptor.go:62] [“retrying of unary invoker failed”] [target=etcd-endpoints://0xc008194000/advanced-tidb-pd-0.advanced-tidb-pd-peer.tidb-cluster.svc.cluster.local:2379] [attempt=0] [error=“rpc error: code = DeadlineExceeded desc = context deadline exceeded”]

TIDB-Learner · 2024 年11 月 14 日 09:54

检查网络和实例资源使用情况，看更详细的日志分析下情况。

Kongdom · 2024 年11 月 14 日 11:49

display看一下集群状态，有没有节点down掉

TiDBer_L0e0nfHL · 2024 年11 月 15 日 00:29

都是正常的
日志一直在刷

这一个 log

TiDBer_L0e0nfHL · 2024 年11 月 15 日 00:34

资源这块也是比较正常的吧日志没有其他的就是同一条日志

像风一样的男子 · 2024 年11 月 15 日 00:48

集群使用正常的话这种warning日志可以忽略

TiDBer_L0e0nfHL · 2024 年11 月 15 日 00:53

好的感谢
还有一个问题就是

进行数据迁移之后 tikv 的内存不会进行释放占用一直很高这个有没有什么解决方案

像风一样的男子 · 2024 年11 月 15 日 00:56

可以配置下参数storage.block-cache.capacity，建议不超过机器内存的60%

TiDBer_L0e0nfHL · 2024 年11 月 15 日 01:10

好的感谢调整过了我这边再监控一下看看是否还存在问题
关于监控这块

tikv监控点是根目录并非挂载的 pvc 这个有办法进行调整嘛？

Kongdom · 2024 年11 月 15 日 01:16

数据迁移的多么？会不会是tikv在做副本均衡？看看grafana的region监控，看看个节点的region是否均衡

像风一样的男子 · 2024 年11 月 15 日 01:16

还真没关心过这个挂载点怎么显示的。平时服务器的基础监控我都看另外的监控不看这个dashboard。

TiDBer_L0e0nfHL · 2024 年11 月 15 日 01:22

好的我这边观察一下grafana 前段时间做初始数据导入的时候差不多导入了7到8e左右的数据的时候内存一直在 200+ 一直都是导入完成后做重启动作来进行释放的

TiDBer_L0e0nfHL · 2024 年11 月 15 日 01:23

ok 了解了不过也不影响只是刚好就问问看之前刚开始安装的时候以为挂载的有问题后面排查发现没问题就是这个显示的不对