tidb的报警pending_task

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【遇到的问题】
【复现路径】做过哪些操作出现的问题
【问题现象及影响】
task任务堆积该如何处理

[FIRING:1] TiKV_pending_task

Labels

  • alertname: TiKV_pending_task
  • cluster: bib_tidb_prod
  • env: bib_tidb_prod
  • expr: sum(tikv_worker_pending_task_total) BY (instance,name) > 1000
  • instance: 10.108.33.4:20181
  • level: warning
  • monitor: prometheus
  • name: gc-worker

Annotations

  • description: cluster: bib_tidb_prod, type: , instance: 10.108.33.4:20181, values: 3487
  • summary: TiKV pending task too much
  • value: 3487

Source: http://10.108.33.140:9090/graph?g0.expr=sum+by(instance%2C+name)+(tikv_worker_pending_task_total)+>+1000&g0.tab=1
【附件】

请提供各个组件的 version 信息，如 cdc/tikv，可通过执行 cdc version/tikv-server --version 获取。

2

参考这里检查一下

3

看下以下监控项目前的值：

  • Scheduler pending commands：每个 TiKV 实例上 pending 命令的 ops
  • Compaction pending bytes：等待 compaction 的大小
  • Worker pending tasks：当前 worker 中，每秒钟 pending 和 running 的任务的数量，正常情况下，应该小于 1000