mysql分表100张，不同的表中可能存在相同的数据(除主键外)，如何在迁移数据的过程中，去掉重复的数据？
1 个赞
每太挺懂，除主键外是什么意思，
你说的相同的数据是什么意思，就是主键不一致，其他字段值都一致吗
建议你全部迁移完毕后再进行去重。
迁移过程不会去重，可以选择先自行在mysql端去重或者迁移完成后去重
创建一个view，目前代码不会去重
对，是的
可以详细说一下吗
目前dm迁移最小粒度是表，列级的处理要在迁移后进行处理，你这重复可以做个简单的清洗就好了
主键不一致，就说明不是重复的数据吧
话说这是源端的问题呀。业务上原始可以重复吗？必须重复？如果可以那tidb，这里不好做了。
如果不可以，那么就把原始的删除了，就可以迁移过来了。
总之重复在源端解决。