drainer内存问题

debug.zip (19 字节)

curl http://10.101.2.116:8249/debug/zip?seconds=60 --output debug.zip

:ok_hand: 收到

如何?

不知道你的 格式为什么不对:unzip 解压不了

按照你上面提供的命令执行的

把这里的 goroutine 换成 heap 呢

debug (13.6 MB)

这样你看下

不行的,正常里面有5个文件吧

这个具体怎么写?

http://IP/statusport/debug/pprof/heap?debug=2

哦哦哦

怎么解决?

Hi,请问一下这个内存使用是峰值比较高还是一直这么高呢?以及这个内存 profile 大概是在启动后多久抓的呢?方便的话可以附上抓 profile 的集群的日志吗?

启动后最高使用内存67G,现在维持在47G左右,profile是启动几天后抓取的。

https://github.com/pingcap/tidb-binlog/issues/1087
binlog 曾经有过一个大事务(对于楼主的状况而言,看起来像是某些批量删除)之后内存无法及时释放的 bug,现在的 heap profile 和这个问题发生的时候比较像。
这个问题已经被修复了,不过悲剧的是,暂时还没有带到 release 版本中去。

这边业务经常会有批量删除(定时任务),以及一些临时表删除(临时表可能会无主键)。
这个问题后续版本是否会修复?

内存泄漏的修复按照惯例应该会被带到 5.4.0 中,在那之后,平时的内存占用应该会下降。
但是从日志上来看,启动时的峰值内存占用可能主要还是全量加载 DDL 的问题,这个我去给了一个 issue,但是现在事实上 binlog 的开发已经停滞了,所以可能无法保证后续版本能及时修复,很抱歉。

1 个赞

需要ti-cdc来解决这种实时同步?