用TiDB快速搭建MySQL从的方案(数据量大概2T)

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:TiDB 3.0.12 DM 1.0.4
  • 【问题描述】:
  1. 计划将TiDB 作为我们某个业务的从库运行一段时间。
  2. 我们某个MySQL DB的数据量大小大概为2T,怎么做才能快速平滑完成
  3. 当在TIDB 做为从库时,主库MySQL的DDL的变更,哪些能被同步呢? 如果我们想屏蔽某些DDL的同步如何设置呢?

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

  1. 使用lightning全量导入

https://pingcap.com/docs-cn/v3.0/tidb-lightning/tidb-lightning-overview/

  1. 使用 DM 增量同步

https://pingcap.com/docs-cn/tidb-data-migration/stable/

  1. DDL 参考

https://pingcap.com/docs-cn/dev/mysql-compatibility/

  1. 跳过参考

https://pingcap.com/docs-cn/tidb-data-migration/stable/skip-or-replace-abnormal-sql-statements/

  1. DM和TiDB 的监控如何集成到我们现有的Grafana 监控里呢?
  2. 配置里DM做为迁移测试,监控配跟TIDB一样,结果被覆盖了。

建议分开部署吧,或者到 grafana 社区咨询下,多谢

DM和TiDB的监控能合并吗?

在测试时候,指向同一个。结果DM将TIDB的覆盖了。

建议分开部署吧,DM就是用DM部署时的ip可以了。

是分开部署比较好。 如果说要求一定要部署在一起的话,可以吗?有什么弊端呢?

  1. 弊端可能就是grafana没有了,监控都无法查看。
  2. 您可以研究下部署方法,欢迎分享,多谢。

领导是有这方面的要求,但目前不是很坚定 。

因此,想咨询下专家们,是否有类似的案例,可借鉴。 再者,是了解其弊端,避免后续的踩坑。

TiDB Lightning 简介 | TiDB 官方用户文档

然后使用DM增量增加导入, 那么它的增量点如何获取呢?

mydumper 导出的文件中有记录postion信息

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。