mysql分表数据迁移到tidb,如何去除分表中的重复数据?

mysql分表100张,不同的表中可能存在相同的数据(除主键外),如何在迁移数据的过程中,去掉重复的数据?

1赞

每太挺懂,除主键外是什么意思,

你说的相同的数据是什么意思,就是主键不一致,其他字段值都一致吗

建议你全部迁移完毕后再进行去重。

迁移过程不会去重,可以选择先自行在mysql端去重或者迁移完成后去重

创建一个view,目前代码不会去重

对,是的

可以详细说一下吗

目前dm迁移最小粒度是表,列级的处理要在迁移后进行处理,你这重复可以做个简单的清洗就好了

主键不一致,就说明不是重复的数据吧

话说这是源端的问题呀。业务上原始可以重复吗?必须重复?如果可以那tidb,这里不好做了。
如果不可以,那么就把原始的删除了,就可以迁移过来了。
总之重复在源端解决。