tidb binglog pump组件GC时间修改不生效问题

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
V5.1.1

【概述】 场景 + 问题概述
TIdb binlog pump磁盘快满了,修改GC间隔不生效

【备份和数据迁移策略逻辑】

【背景】 做过哪些操作
tiup cluster edit-config tidb-qh-prod 修改pump gc 由5天变成1天
tiup custer reload tidb-qh-prod -R pump
【现象】 业务和数据库现象

【问题】 当前遇到的问题
GC间隔不生效
【业务影响】
磁盘快满了
【TiDB 版本】
V5.1.1
pump.20.20.90.29.log.zip (2.5 MB) pump20.20.90.27.log.zip (2.6 MB) pump20.20.90.28.log.zip (2.4 MB)

2 个赞

show pump status 看下

1 个赞


状态正常

1 个赞

去对应的 pump上看下配置文件是否已经更改


是这个吧
27,28,29 3个节点都是1

1 个赞

看起来已经成功了,现在是什么问题

https://docs.pingcap.com/zh/tidb/v4.0/tidb-binlog-configuration-file#stop-write-at-available-space

把这个值调小到 5G 然后再看下

2 个赞

1 个赞

目前在10G时已经被拒绝写了入,我上传的各节点日志里有

改配置重启服务

1 个赞

修改为
storage.stop-write-at-available-space = 5 Gib 配置后
再tiup cluster reload tidb-qh-prod -R pump
生效了。神奇的操作

1 个赞

这个配置的作用是 当你的磁盘空间少于 10G 时候 会 block 后续的操作 。你修改为 5 GB 后 给出了缓冲的 space 空间。相关 GC 操作就有 work space 了。 pump 服务属于较早前产品,部分的设置属于偏硬性的设置。需要对产品有深入了解才可以做出最正确的操作
对于你的 这次问题后续运维上的改进

1.做好磁盘空间的特定规划,需要将 保护磁盘空间排除掉来计算磁盘可用空间。
2. 如同步数据量较大 ,建议配置更大的 Pump 存储空间来应对 append log 的增长
3. 合理设计 pump GC 的 safe day

3 个赞

感谢几位大佬协助处理

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。