DM 1.0.4-HOTFIX 数据同步问题

数据同步过程中,我有多个task同步任务同步不同的数据库到TIDB中,但是其中一个task任务同步的库有问题,需要初始化, 那么根据TIDB初始化方法,TIDB中的库dm_meta要删除,那其它任务的同步记录也删除了,这样所有同步都出问题了,这样的情况改怎么处理??

  1. 上游的的库需初始化是包括哪些呢?是指上游的数据出现变更需要重新进行全量的迁移同步呢?还是需要连接到一个新的上游进行同步呢?
  2. 根据你提到的重新初始化是否可以理解为一个全新的 task 进行同步。只需要使用一个与现有的 task 不重复的新的 taskname 即可。
  1. 上游的的库需初始化是包括哪些呢?是指上游的数据出现变更需要重新进行全量的迁移同步呢?还是需要连接到一个新的上游进行同步呢?

–指的是重新全量进行数据迁移同步,而不是换一个新的上游库。

  1. 根据你提到的重新初始化是否可以理解为一个全新的 task 进行同步。只需要使用一个与现有的 task 不重复的新的 taskname 即可。
    –重新全量进行数据迁移同步,肯定是要用一个全新的task名字, 但是 DM_META库做什么处理呢??

那需要你自己把下游的已经同步的数据进行清理,然后直接用新的 task_name 起一个新的全量 task 就可以了。不需要对 DM_META 库做处理。

好的,感谢!

不同的 task 的元信息存储在 DM_META 库下的不同表里,可以只清理对应 task 的表(以 task name 开头)。

或者就是像前面 Bin-PingCAP 说的,用一个新的 task name。

OK,明白了,感谢。

默认情况下,元信息存储在 dm_meta 这个库里,但不同 task 的元信息,存储在不同的表里。

比如 task name 叫做 “test”,它就把 4 类元信息存储在 “test_loader_checkpoint”, “test_syncer_checkpoint”, “test_syncer_sharding_meta” 和 “test_onlineddl” 里。你可以只 drop 这几张表就行。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。