Failed to send Raft Message due to full

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v2.1.8
  • 【问题描述】:日志中报这个错误ERRO kv.rs:905: send raft msg to raft store fail: Transport(Discard(“Failed to send Raft Message due to full”))

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

日志只反映一个点问题,排查需要看监控,请提供以下信息:

  1. tikv 页面对应时间段 error 组的监控信息
  2. tikv 页面对应时间段 thread cpu 组的监控信息
  3. 每个 tikv 的 region 数量

image 每个tikvregion数量怎么看呢?

tikv region 数量在 tikv dashboard 行首 cluster table 内。

  1. 检查下 tikv 机器之间的网络丢包和网络延迟情况,从监控看出现大量 server report failure /
  2. tikv 所在机器配置是?
  3. tikv 所在机器是否还部署其服务组件?

是否还有其他方面的,网络都挺好的。 32g内存+16核 部署了lightning中的importer节点

是否有详细截图替代 “网络都挺好的” 信息。

lightning & import 服务是否在运行?

image

这个时间点没有import任务运行,之前是运行lightning的时候这个服务器宕机了,然后重新启动后就有标题中的错误。

  1. 先查下 tikv8 是那台界定,然后看下目前 tikv8 是否在运行。
  2. 可以贴以下 tikv8 最近的一些日志。

官网搜索 pd-ctl / 来学习如何查看 store 8 的信息。