tidb v3.1.0 40T数据迁移到新集群，有啥好的成熟方案，或者一键迁移工具吗

xingzhenxiang · 2023 年11 月 2 日 07:07

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】想把v3.1.0的数据迁移到新集群
【遇到的问题：问题现象及影响】
【资源配置】
【附件：截图/日志/监控】

Billmay表妹 · 2023 年11 月 2 日 07:16

这个版本有点低呀，可能需要往更新版的集群搞！

你是想要迁到什么版本的集群？

xingzhenxiang · 2023 年11 月 2 日 07:18

老的集群
目前要求保持原样

新集群
首要目标v7.1.x
最终目标v7.5.x（MySQL8.0兼容）

有啥好建议吗

Billmay表妹 · 2023 年11 月 2 日 07:26

什么时候要迁移
可以先考虑 7.1.2 或者 6.5.5

xingzhenxiang · 2023 年11 月 2 日 07:28

目前正在收集可行性方案，有DTS（Data Transformation Service）类的工具吗

Billmay表妹 · 2023 年11 月 2 日 07:31

之前有些讨论

xingzhenxiang · 2023 年11 月 2 日 07:36

主要这40来T数据如何能够快速导出来，目前没有开启binlog，即使开启binlog也得要基础数据的处理

像风一样的男子 · 2023 年11 月 2 日 07:48

br导出测试下，你这个快不了，导出一次按天计算的

xingzhenxiang · 2023 年11 月 2 日 07:59

请问这个网络磁盘除了s3，还有哪些文件系统支持啊

像风一样的男子 · 2023 年11 月 2 日 08:20

我是用的nfs共享盘挂载的，安装比较简单

xingzhenxiang · 2023 年11 月 2 日 08:35

备份完毕后数据是如何汇总的呢？

像风一样的男子 · 2023 年11 月 2 日 08:47

你只要把共享盘挂载到所有的kv节点。br backup的时候会自动汇总

像风一样的男子 · 2023 年11 月 2 日 08:47

Fly-bird · 2023 年11 月 3 日 00:48

使用BR工具

tidb菜鸟一只 · 2023 年11 月 3 日 01:23

就算用br也只是把全量数据同步到新集群啊，你最终迁移还是得用binlog，3.1连ticdc都不支持。

xingzhenxiang · 2023 年11 月 3 日 01:57

我研究一下，br3.1.0感觉没有这么多内容

xingzhenxiang · 2023 年11 月 3 日 01:58

目前正在研究这个方式

xingzhenxiang · 2023 年11 月 3 日 01:58

目前研究队列存放增量数据

Kongdom · 2023 年11 月 3 日 02:08

新集群部署v3.1.0，然后备份还原，还原后升级到v7.1.x。

xingzhenxiang · 2023 年11 月 3 日 02:11

逻辑备份出来是不是直接可以干到v7.1.x