Failed to send Raft Message due to full

🪐 TiDB 技术问题 部署&运维管理
,
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：v2.1.8
  • 【问题描述】：日志中报这个错误ERRO kv.rs:905: send raft msg to raft store fail: Transport(Discard(“Failed to send Raft Message due to full”))

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

日志只反映一个点问题，排查需要看监控，请提供以下信息：

  1. tikv 页面对应时间段 error 组的监控信息
  2. tikv 页面对应时间段 thread cpu 组的监控信息
  3. 每个 tikv 的 region 数量
3

image
image1334×508 62 KB
image
image1351×526 38.8 KB
image
image1343×519 158 KB
image
image1340×515 160 KB
image
image1341×540 116 KB
每个tikvregion数量怎么看呢？

4

tikv region 数量在 tikv dashboard 行首 cluster table 内。

  1. 检查下 tikv 机器之间的网络丢包和网络延迟情况，从监控看出现大量 server report failure /
  2. tikv 所在机器配置是？
  3. tikv 所在机器是否还部署其服务组件？
5

是否还有其他方面的，网络都挺好的。 32g内存+16核 部署了lightning中的importer节点

6

是否有详细截图替代 “网络都挺好的” 信息。

lightning & import 服务是否在运行？

7

image

这个时间点没有import任务运行，之前是运行lightning的时候这个服务器宕机了，然后重新启动后就有标题中的错误。

8
  1. 先查下 tikv8 是那台界定，然后看下目前 tikv8 是否在运行。
  2. 可以贴以下 tikv8 最近的一些日志。

官网搜索 pd-ctl / 来学习如何查看 store 8 的信息。