DM同步延迟严重,怎么加快同步速度

使用DMv2.0从MYSQL同步数据到TiDB(v4.0.8), 由于上游变更量较大, 导致下游TiDB延迟较严重,怎么提高同步的速度

任务的配置文件里有个一下参数,可以根据硬件适当调大
syncers:
global:
worker-count: 16
batch: 100

文档有个排查思路,能否借鉴一下
https://docs.pingcap.com/zh/tidb/stable/dm-handle-performance-issues#写入-sql-到下游

感觉你的版本很低,可以看下有没有线程的配置项

这两个参数调整后,感觉没什么变化 :joy:

看下你的服务器资源呢,cpu内存io之类的是不是到瓶颈了?

1 个赞

你是增量还是全量+增量啊?如果数据量比较大的话,用dumpling+lightning全量,dm增量比较好,dm最高也就30~50 GiB/h

场景是什么,上游一般啥业务

得确定瓶颈,io,cpu,内存,物理资源没问题,调大线程数

得从多方面考虑网络io 物理资源和其他问题

参考下性能测试报告:

另外感觉你的DM版本有点低,可以升级一下

1 个赞

get

得确定io,cpu,内存,物理资源没问题,再调大线程数

1 个赞

升级下版本

先升级再说吧