同步工具的选择

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.4.0
【问题】
我了解的tidb同步工具有dm、ticdc、dump、binlog、dranier、t2o、lighting,除了这些可能还有别的同步工具。有些是同步到oracle的,有些是同步到mysql的,有些可以全量同步,有些可以部分同步。

1、为什么会有这么多同步工具?
2、它们分别有哪些区别?
3、有冗余的工具嘛?
4、在做同步时应该怎么选择?

文档里的实操介绍并不是很清晰,有没有相关的文章或者资料推荐!!!
感谢各位大神帮助

1 个赞

你这种情况用etl 工具吧。

其实同步就一个cloudcanal
从mysql 同步到tidb 用dm
从tidb 同步到tidb 用ticdc
其他的都是历史g

1 个赞

t2o是啥工具,谁来个链接

  1. 为什么会有这么多同步工具?

这么多同步工具的存在是为了满足不同的业务需求和场景。不同的数据库系统、数据规模、数据同步方式等因素都会导致需要不同的同步工具来进行数据同步。例如,TiDB作为一个分布式数据库系统,可以与其他数据库系统(如Oracle、MySQL)进行数据同步,因此需要不同的工具来实现与不同数据库系统的数据同步。

  1. 它们分别有哪些区别?
  • DM(Data Migration):DM是一个开源的、易于使用的数据库迁移工具,用于将数据从MySQL/MariaDB迁移到TiDB。它支持全量迁移和增量同步,并提供了数据一致性保证和高可用性。

  • TiCDC(TiDB Change Data Capture):TiCDC是一个开源的、分布式的数据变更捕获工具,用于将TiDB集群中的数据变更同步到其他数据存储系统。它支持将数据变更以流式的方式传输到其他系统,如Kafka、MySQL等。

  • Dump & Binlog:Dump和Binlog是MySQL自带的工具。Dump用于导出MySQL数据库的全量数据,而Binlog用于记录MySQL数据库的增量变更。这两个工具可以与TiDB结合使用,实现MySQL到TiDB的数据迁移和增量同步。

  • Drainer:Drainer是一个用于将MySQL的Binlog数据同步到TiDB的工具。它可以将MySQL的Binlog数据解析并同步到TiDB集群中,实现MySQL到TiDB的数据同步。

  • T2O(TiDB to Oracle):T2O是一个用于将TiDB数据同步到Oracle数据库的工具。它可以将TiDB中的数据导出并同步到Oracle数据库中,实现TiDB到Oracle的数据同步。

  • Lightning:Lightning是一个用于将大规模数据导入到TiDB的工具。它可以高效地将数据从外部存储(如MySQL、HDFS等)导入到TiDB中,用于快速初始化或重新加载TiDB集群。

这些工具在功能和使用场景上有所区别,可以根据具体的需求选择合适的工具。

  1. 有冗余的工具吗?

在某些方面可能存在一定的重叠和冗余。例如,DM和TiCDC都可以实现TiDB与其他数据库系统的数据同步,但它们的设计目标和使用方式有所不同。DM更适用于MySQL到TiDB的数据迁移和同步,而TiCDC则更适用于将TiDB的数据变更同步到其他系统。

  1. 在做同步时应该怎么选择?

在选择同步工具时,应该根据具体的业务需求和场景来进行评估和选择。以下是一些考虑因素:

  • 数据源和目标数据库:确定需要同步的数据源和目标数据库是哪些,以及它们的类型(如MySQL、Oracle等)。

  • 数据规模和性能要求:评估数据规模和同步性能的要求,选择能够满足需求的工具。

  • 同步方式:确定是需要全量同步还是增量同步,以及是否需要实时同步。

  • 工具的成熟度和稳定性:考虑工具的开发者社区活跃度、文档完善程度、稳定性和可靠性等因素。

  • 部署和维护成本:评估工具的部署和维护成本,包括配置复杂性、学习曲线和运维工作量等。

综合考虑以上因素,选择适合自己业务需求和场景的同步工具。

3 个赞

dumpling和lighting是逻辑备份恢复工具,不能算数据同步工具

t2o drainer,同步到oracle数据库的

1 个赞

去看一下培训视频303,里面你想要的都有

同步工具多肯定是为了满足不同的需求呗,每个同步工具的特点和优势都不一样,看自己需要进行选择

根据你要做的备份大小,能不能停机,物理还是逻辑,热备还是温备,能不能锁表等信息

:+1:学到了

满足不同数据库之间的同步需求呗

drainer是属于binlog一个组件,dump,lightning是属于逻辑备份恢复组件,并不算同步工具

也可以算是一个全量同步的工具

这个使用场景的文档看一下。
https://docs.pingcap.com/zh/tidb/stable/ecosystem-tool-user-case#tidb-工具的使用场景

过来学习的,留个言吧