task-mode不使用all的情况下,如何实现全量同步和增量同步之间的斜街?

【TiDB 使用环境】测试环境
【TiDB 版本】v8.5.1
【操作系统】Rocky Linux 9.1+
【部署方式】裸机部署
【集群数据量】3pd 3kv 2tidb 1tiproxy
【遇到的问题:问题现象及影响】
task-mode不使用all的情况下,如何实现全量同步和增量同步之间的斜街?并且保证期间的数据不丢失。
数据源好像只有一个 “拉取上游 binlog 的起始文件名” 的配置。
1、增量同步的时候是会将这个起始binlog文件中的所有event都同步吗?还是说只同步任务启动后新增的event
2、增量同步过滤好像只控制到了event层面。有没有类似 “从binlog文件中固定位置开始同步 或者 指定从某个时间点开始同步后面的event”这样的配置?

来自一枚初学者的求教 :grinning:

通过 SQL 表达式过滤 DML 这个可以实现根据固定字段过滤。但只能根据字段过滤


可以指定 pos 或者 gtid 的。https://docs.pingcap.com/zh/tidb/stable/task-configuration-file-full/

1 个赞

看到了, :pray:

请教一下task-mode: all同步方式下,全量增量衔接是怎么实现的?

all 是 dumpling + lighting + 增量同步。dumpling 备份文件中会有 meta 文件记录备份位点。


文档上有描述
DM 任务完整配置文件介绍 | TiDB 文档中心