dm load时期同步逐渐变慢。 重启tidb恢复,等待几分钟继续变慢

【 TiDB 使用环境】生产环境
【 TiDB 版本】v6.5.1
【复现路径】dm 全量同步mysql 到 tidb。数据99GB
【遇到的问题:问题现象及影响】刚开始很快,越同步越慢。必须重启tidb集群后才能加速load
【资源配置】
dmmater 和dm work 同一台机器 16核32G
tikv 3 16核32G SSD
tidb 3 8核16G SSD
pd 3 8核16G SSD
【附件:截图/日志/监控】

DM master 和worker的日志检查了没,看看里面有没有什么明显的异常信息

tidb的内存情况使用如何?

rocksdb.defaultcf.disable-auto-compactions: true

经参数测试 跟压缩有关系,我关闭压缩 可以持续load数据了

%70左右 跟内存没关系


rocksdb.defaultcf.disable-auto-compactions: true
压缩数据传输为什么会引起无法持续写入数据

rocksdb.defaultcf.disable-auto-compactions: true ,这个参数很坑的,设置后等数据量涨起来后可能影响pd的调度一系列问题。

慎用,慎用! :grinning:

好像是这样的,写着写着 进不去了

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。