dm数据同步,binlog的拉取速度可以控制吗

想请教下,dm增量同步阶段,拉取binlog时是单线程还是多线程的,如果是单线程的话,那么有什么方式可以加快binlog的拉取速度吗

瓶颈大多数情况下不在读取binlog的速度上,而在读取完成后向下游写入上。

https://docs.pingcap.com/zh/tidb/stable/dm-tune-configuration#增量复制

相关配置看这个。

不同机房,已经很确定拉取binlog慢了。现在想加大拉取速度

主要查一下网络是否有问题。
个人经验是,从美国同步到中国,网络不时中断的情况下,也没出现瓶颈在拉取binlog上的问题。只要网络不卡,很快能写入到下游。

而且我查了下,mysql之间的复制也有你说的这个问题。
mysql是这样解决的。

slave-parallel-typeslave-parallel-workers这两个参数我不确定dm是否支持,不过文档也没说不支持,你可以尝试一下。

好的,感谢

可以看下这个: https://docs.pingcap.com/zh/tidb/stable/dm-handle-performance-issues#读取-binlog-数据

1 个赞

这好像不支持吧,官方文档上面没找到相关参数

是不是网络本身不快?否则正常不会导致拉取binlog慢,反而是binlog的应用慢比较常见。 在MySQL中,可以通过设置slave-parallel-type和slave-parallel-workers参数来启用并行复制,这可能会加快binlog的拉取速度