DM是否有计划支持按mysql源事务并发同步

DM在binlog事件转为sql执行的调度过程中
并未按mysql的原始事务提交,最终结果相当于分拆了事务

同步过程进行时,外界查询有可能会只查到同一个事务的部分数据

想了解一下,DM后续的开发计划是否有这方面的改良
在同步时支持按mysql原始事务的粒度来导入,并支持并发同步(类似mysql 5.7的实现方式)

你好,这块目前还没有开发计划。 想了解你这边你的同步使用背景是怎么样的,需要比较严格的上下游同步一致性?

使用场景是从多个Mysql数据源同步到TiDB,利用这些数据进行比较复杂的查询
并且有较高的实时性要求

DM拆分了事务,会造成查询可能读到事务的中间状态,部分变更可见,部分尚未写入 这时候查询的数据结果就是不正确的,目前这个问题即使设置单线程导入也没办法解决

嗯,目前 DM 在增量同步时候是会拆分事务做冲突检测,然后按照行级别进行并发执行的,执行效率比 mysql 5.7 的高而且能支持的版本多一些。 这个我们 DM 这边记一下,后面会跟其他用户都做下调研和研究。

好的多谢,增量同步就是效率和一致性平衡比较难把控,如果可以选择不同的策略
对具体的使用场景来说是更加灵活的

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。