dm同步问题

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.7
【遇到的问题:问题现象及影响】
现在通过dm同步mysql数据到tidb集群。目前有个需求,有2个数据源。各有一张mysql表t1.但2个表的字段不完全一样。想问下,有没有办法,能把这2个mysql表的部分字段合并同步到tidb里的一张表里?

下游的表取上游2个表的列并集就行,然后配置下路由就行

不是简单的分表合并。是2个库各有1个表,a库t1有(a,b,c,d)这些字段,b库t1有(a,d,e)这些字段.要把这2个表合并同步到tidb的t1(a,b,d,e).如果可以,可以给个配置,学习一下。谢谢!

单纯dm应该实现不了,不支持这么复杂的配置,可以同步到目标端后再加工,或者目标直接使用视图

dm 目前来看只支持表级别的同步,字段级别的同步找其他工具吧。
或者和官方提个需求。

dm目前不支持

谢谢大家。知道了! :handshake:

dm 无法实现,你可以尝试在 MySQL 侧把这两张表合并成一张表(如trigger)然后再通过 DM 同步

上下游列数量不一致的迁移

跟这个场景不一样。是不支持。

发一下详细信息版本

单纯好奇你这个t1中的a,d字段和t2中的a,d字段都要的场景是啥,如果不是直接insert到一个并集表里,是2个表有重复么

下游建个俩表集合试试呗

表的字段多,mysql里纵向切分了。

我测试了下,好像真不行,同步会校验上下表结构。。。。

搞成功了,记得发个文让我们都学学

搞不成功。不支持哈! :joy:

感觉dm目前不支持吧,最小支持到表级别的同步

这样的需求,有点变态。。。即使合并了。业务也要适配