啥是DM集群

能描述一下DM集群吗

1 个赞

TiDB Data Migration (DM) 是一款便捷的数据迁移工具,支持从与 MySQL 协议兼容的数据库(MySQL、MariaDB、Aurora MySQL)到 TiDB 的全量数据迁移和增量数据同步。使用 DM 工具有利于简化数据迁移过程,降低数据迁移运维成本。

产品特性

  • **与 TiDB 同样保持 MySQL 兼容性。**高度兼容 MySQL 协议、MySQL 5.7 和 MySQL 8.0 的常用功能及语法。
  • **支持 DML & DDL 事件同步。**支持解析和同步 binlog 中的 DML 和 DDL 事件。
  • **支持合库合表同步模式。**可以方便的将上游各个分片 MySQL 实例的各个分表数据,合并同步到下游 TiDB 的一张表。支持自定义编写同步规则以方便各种可能的同步需求,且具备自动识别和处理上游分片 MySQL 的 DDL 变更,大幅简化运维成本。
  • **内置多种过滤器以灵活适应不同场景。**支持以预定义事件类型、正则表达式、SQL 表达式等多种方式在数据同步过程中对 MySQL binlog 事件进行过滤。
  • **集中管理。**DM 支持上千个节点的集群规模,可同时运行并集中管理大量数据迁移同步任务。
  • **对第三方 Online Schema Change 工具变更过程的同步优化。**在 MySQL 生态中,gh-ost 与 pt-osc 等工具被广泛使用,DM 对其变更过程进行了特殊的优化,以避免对不必要的中间数据进行迁移。详细信息可参考 online-ddl
  • **高可用。**支持迁移任务在不同节点自由调度,少量工作节点宕机并不会影响进行中的任务。

https://docs.pingcap.com/zh/tidb/stable/dm-overview

搜一下也很简单的… :rofl: :rofl: :rofl: :rofl: :rofl: :rofl: :rofl: :rofl: :rofl:

1 个赞

Data Migration 高可用机制 | PingCAP 文档中心

TiDB Data Migration(DM)是一个开源的数据迁移工具,用于将数据从传统数据库迁移到分布式数据库 TiDB 或者在 TiDB 集群之间进行数据同步。它具有高效、稳定、易于使用等特点,适用于各种场景下的数据迁移和同步需求。


不是DM工具,是DM集群

1 个赞

DM集群是高可用、高扩展的数据库解决方案,通过多种集群模式(如数据守护、读写分离、共享存储集群等)实现数据同步、负载均衡和故障切换,以确保数据一致性和服务连续性。

为了满足 DM 工具的运维和操作的便利性和适应性,就需要有架构来支持,DM 集群就是为了满足这套架构的实例咯…

https://docs.pingcap.com/zh/tidb/stable/dm-arch

1 个赞

:+1:学习

DM是一款便捷的数据迁移工具,支持从与 MySQL 协议兼容的数据库(MySQL、MariaDB、Aurora MySQL)到 TiDB 的全量数据迁移和增量数据同步。使用 DM 工具有利于简化数据迁移过程,降低数据迁移运维成本。

DM 是可以单节点的。
但是设置为三个实例分布在不同地方就可以实现高可用了。
DM-master 和 DM-worker 可以近似类比为 PD 和 TiDB。

1 个赞

学习一下

学习了。

就是迁移工具,可以把MySQL的数据同步到TiDB

通俗的讲,就是一款迁移工具,上游可以是tidb,mysql,下游泳也可以是tidb\mysql\kafka等