- 【TiDB 版本】:v4.0.7
- 【问题描述】:
我们想要同步的MySQL数据库,不在我们集群内部,在阿里云里面,MySQL的binlog日志,使用maxwell解析成JSON后,发送到Kafka里面。我们可以消费Kafka里面的JSON数据,但是这个JSON数据已经不是binlog日志了。
总而言之,我们接触不到所要同步的数据库的binlog日志,也不能将TiDB作为所要同步的数据库的从库。
请问这种情况下,用DM应该不适用吧,因为接触不到binlog日志。请问我们可以采用什么方案来同步实时数据?用程序写可以实现,但是一个表一个表的写程序,太慢了。
当前架构,在 TiDB 的生态工具中应该是没有特别好的方式来实现,DM 也是需要解析 binlog 的。还是建议评估下 binlog + maxwell + kafka + 应用程序消费来实现增量同步。
好的,谢谢。请问可以把maxwell的JSON再还原成binlog,然后让TiDB以某种方式通过这个binlog来同步数据吗?
感觉理论上是不可以的,即使了解 maxwell 解析 MySQL binlog 的规则,反解析 JSON,同时,最终一比一还原了 binlog,也是不能使用 DM 的。
因为 DM 在拉取 binlog 时,是将自己模拟为一个 MySQL 的 slave 来拉取 binlog 的,上面的方式的话,解析完 binlog 后,更希望是一个静态拉取的过程,而不是作为 MySQL 的从库存在的~~
TiDB 的其他的生态工具暂时应该是么有静态解析 binlog ,然后同步到下游 TiDB 的功能~
好的,谢谢
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。