tikv 监控中 gc worker 单个 tikv 高

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.15
  • 【问题描述】:单个tikv cpu较高

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。


发现是gc work 导致的

  1. 可以看到 gc 消耗的 cpu 主要集中在92上,麻烦先检查下发生问题的时间段,leader 的数量是否是均衡的,多谢。
  2. 能否确认当时批量清理的数据,是否是某张表连续的数据? 都集中在了某些region.
  3. 麻烦反馈下tikv-detail这个时间段的监控信息
    (1)、chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

(2)、鼠标焦点置于 Dashboard 上,按 ?可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。

(3)、使用这个 full-page-screen-capture 插件进行截屏保存

周五删除了1.5T数据,并且从2.1.14升级到3.0.15

  1. 如果是先删除的1.5 T 数据,由于2.1版本 gc 是单线程,速度会比较慢;3.0之后的版本是多线程,会比较快。
  2. 如果您的 gc 是在升级到3.0后删除的,麻烦收集下监控信息;如果是2.1删除的,之后如果有大的数据清理操作,可以看下3.0的情况,多谢。

好的 2.1删除的 也就是等我gc完成之后就好了是吧

  1. select VARIABLE_NAME, VARIABLE_VALUE from mysql.tidb where VARIABLE_NAME like “tikv_gc%”; 反馈下信息
  2. 请先上传过去2个小时的tidb日志,和上面帖子的detail-tikv监控信息,多谢。

1.5 T 的应该已经 gc 结束了,当前看起来应该比较正常,如果不方便上传监控信息,您可以自己再观察下,如果有 gc cpu 高的问题,再反馈,多谢。

现在还是有gc cpu高,谷歌插件我装不上,暂时我先观察,如果一直持续我在反馈

这是刚刚出现的新的gc 我在kv节点看到的日志

当前看 tikv gc 在每 10min 进行一次,属于正常现象,请问目前 gc worker cpu 是否还是但是 tikv 较高呢。

100%多是正常吗?

split-region-on-table 这个参数需要调成false 吗

和gc的数据量也有关系,反馈下需要的监控和日志。 多谢。