脚本小王子
(脚本小王子)
1
为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【TiDB 版本】
v4.0.4
【问题描述】
两个pump(172.16.5.220:8250、172.16.5.221:8250),一个drainer(172.16.5.167:8249)的syncer.db-type设置为file,两个pump的gc都设为1。
172.16.5.221:8250下的/data/tidb-data/pump-8250/value的vlog文件保存的是最近一天的文件(正常)
172.16.5.220:8250下的/data/tidb-data/pump-8250/value的vlog文件从搭建binlog(1月28日2点)到现在(1月30日15点)都一直没删除(异常,磁盘都快爆了)
pump和drainer的 status如下:
tiup cluster edit-config mg-tidb 的server_configs部份如下:

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。
脚本小王子
(脚本小王子)
2
tiup cluster edit-config mg-tidb的pump_servers部份增加的两个host都加上gc大约一两小时后突然变得正常(172.16.5.220:8250的vlog也自动删除了)
请问下只在server_configs部份加gc什么不能在所有pump实例生效?
Lucien
( Lucien)
3
可以查到最早的 pump 启动日志确认一下 gc 时间吗?看起来 gc 1 天这个配置没有生效。
1 个赞
来了老弟
4
你好,请问下 tidb binlog 的版本是多少,并提供下两个 pump log 看下 gc 时间
从当前设置来看,设置是正确的,看下 pump_server 下是否有重复设置?覆盖了全局设置?
脚本小王子
(脚本小王子)
5
感谢回复!
一开始搭建binlog时默认用了gc时间7天,后面忘了什么时候改了gc时间为1天,reload pump后没生效,日志有点多又忘了时间现在找不到当时reload的日志,现在我是在pump_servers加上gc1天重新reload生效了
脚本小王子
(脚本小王子)
6
感谢回复
tidb binlog的版本是V4.0.4,当时在server_configs下配置gc: 1 reload pump没生效,后来在pump_server 下的两个host都加上gc: 1再reload就生效了,不知为啥全局的没生效
来了老弟
7
未生效的 pump log 是否可以提供下?这个不很重要,有两次 welcome 的记录就行,或者全部反馈上来。我们确认下这个问题,理论上 server_configs 下的参数,是组件全局生效的。
脚本小王子
(脚本小王子)
8
pump_start_top100.log (200.2 KB)
附件是所有pump reload的日志,最后在ppump_server的每个host下加上gc:1生效时间是2021-01-29 16:18左右
谢谢
来了老弟
9
这个问题是否可以确认?就是同一时间仅在一个地方配置了 gc 时间。
脚本小王子
(脚本小王子)
11
当时只配了server_configs下的gc,pump_server 没配,确认只有一个pump生效,另一个pump没生效,对比个两个pump日志都做了相同次数的reload。后来两个pump_server 都配了后reload一个小时左右生效
来了老弟
12
这个是预期的,pump gc 每一小时执行一次、
gc 时间线, 自己对照下,重点是 加粗 部分。后面在关注下吧, 或者在设置成 7 reload -R pump 看看所有 pump 是否都已经生效。
[2021/01/28 01:32:47.622 +08:00] gc 7
[2021/01/28 01:43:54.036 +08:00] gc 7
[2021/01/30 12:34:47.571 +08:00] gc 1
[2021/01/30 12:56:31.941 +08:00] gc 7
[2021/01/30 14:38:54.265 +08:00] gc 7
[2021/01/30 15:17:01.078 +08:00] gc 7
[2021/01/30 15:18:31.790 +08:00] gc 1
[2021/01/30 17:18:01.034 +08:00] gc 1
system
(system)
关闭
17
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。