关于从TiDB同步数据到MySQL技术实施方案

terry0219 · 2024 年3 月 25 日 08:37

【 TiDB 使用环境】测试/ Poc
【 TiDB 版本】7.5.1
想通过工具将TiDB的数据同步到下游MySQL，作为一个备用库使用。目前了解到的方法是先通过dumpling导全量，在通过TiCDC来做增量。如果上游TiDB的数据量比较大，比如4T左右，dumpling这个效率如何，也是通过这个方式进行同步吗？有大佬做过类似的方案吗

Daniel-W · 2024 年3 月 25 日 09:02

dumpling效率还可以

WalterWj · 2024 年3 月 25 日 09:10

4TB 按照经验默认参数 4h 能备份完。

tidb菜鸟一只 · 2024 年3 月 25 日 09:14

tidb到mysql的话，就得dumpling+cdc了，dumpling效率挺高的。

zhanggame1 · 2024 年3 月 25 日 09:17

7.5.1版本没有问题，速度看你磁盘和网络带宽了。低版本 tidb 用dumpling会oom

mono · 2024 年3 月 25 日 09:17

你这是打算从tidb迁回mysql吗？我是从mysql迁到tidb。用dm停顺利的。

像风一样的男子 · 2024 年3 月 25 日 09:18

数据量大的话，我怕你mysql 会崩

Kongdom · 2024 年3 月 25 日 09:19

估计磁盘和带宽是影响最大的瓶颈，反而工具不是瓶颈，毕竟有官方做背书。

terry0219 · 2024 年3 月 25 日 09:27

不是迁，就是做备库而已

Daniel-W · 2024 年3 月 25 日 09:31

也得具体看机器配置

WalterWj · 2024 年3 月 25 日 11:11

是的。硬件太烂也确实达不到。。。

DBAER · 2024 年3 月 25 日 13:45

dumpling 或者cdc

TiDBer_lEE0p32k · 2024 年3 月 26 日 01:20

dumpling效率挺高的

kelvin · 2024 年3 月 26 日 01:42

先dumpling 再cdc是可行的

TiDBer_小阿飞 · 2024 年3 月 26 日 01:46

不是迁回单机MySQL吧？MySQL集群？类似热璞数据库一类的?dumpling全量导出，TICDC增量

TiDBer_HErMeXDz · 2024 年3 月 31 日 23:01

dumpling效率还行。。即使慢一些。对业务影响也不大。。

Jellybean · 2024 年3 月 31 日 23:23

建议就是使用dumping 做基量数据的迁移

友利奈绪 · 2024 年4 月 1 日 03:14

先dumpling 再cdc

RyanHowe · 2024 年4 月 8 日 08:03

我们这边用br+cdc；也可以用云服务里面的dts

dba-kit · 2024 年4 月 8 日 08:20

前几天刚测试过，在限制导数并发为8的前提下，88亿的数据从MySQL(16C32G)中导出总共花了7h28m，如果是表数据量分布比较均匀没有特别大的表，时间还可以更短。