dm worker内存占用高问题

image
这边有几个dm worker,其他内存占用都并不超过2G,但就某一个内存占用特高,如果是全量同步阶段还好,但现在只是增量同步,为啥内存占用还是这么高?

你用的什么版本呢?

1赞

v2.0.6

1赞

是比较新的,前三四个月安装的

1赞

你好。
可以查看下该 dm-worker 的日志,看看现在在干什么。我这边,常遇到因为 DDL SQL 不兼容而 rollback,导致内存持续增高。
如果没有什么同步任务,就一直占用这么高,就得拿下 heap 信息,分析下了。

1赞

v2.0.7 优化了 worker 的 cpu 和内存,可以尝试升级。
麻烦拿下 profile
curl http://host:port/debug/pprof/heap > memory.profile

1赞

memory.profile (1.6 MB) 这东西咋看

1赞

用 go tool pprof 看


看到 levedb 占了较大内存,这个在 v2.0.7 里已经优化了

1赞

大佬,有没有2.0.6到2.0.7平滑升级的链接

1赞

升级可以参考 https://docs.pingcap.com/zh/tidb-data-migration/v2.0/maintain-dm-using-tiup#滚动升级 。升级命令查看在链接中下一小节。

1赞

估计都是这个毛病

1赞

tiup安装的是不是没有tidb-ansible这个目录???找不到

1赞

没有,tiup 开始支持以后,ansible 就被替换掉了

ansible 是3.X的产物,已经放弃了,不用考虑

1赞