【TiDB 4.0 PCTA 学习笔记】- 3.6.3 Data migration from Aurora(如何将数据从 Aurora 迁移到 TiDB)@2班+邱育珍

课程名称:3.6.3 Data migration from Aurora(如何将数据从 Aurora 迁移到 TiDB)

学习时长:20min

课程收获:

分库分表架构下数据库数据如何迁移至 TiDB

课程内容:

1.DM整体架构


DM 主要包括三个组件:DM-master,DM-worker 和 dmctl。
DM-master 负责管理和调度数据迁移任务的各项操作。

  • 保存 DM 集群的拓扑信息
  • 监控 DM-worker 进程的运行状态
  • 监控数据迁移任务的运行状态
  • 提供数据迁移任务管理的统一入口
  • 协调分库分表场景下各个实例分表的 DDL 迁移

DM-worker 负责执行具体的数据迁移任务。

  • 将 binlog 数据持久化保存在本地
  • 保存数据迁移子任务的配置信息
  • 编排数据迁移子任务的运行
  • 监控数据迁移子任务的运行状态
    DM-worker 启动后,会自动迁移上游 binlog 至本地配置目录(如果使用 DM-Ansible 部署 DM 集群,默认的迁移目录为 <deploy_dir>/relay_log )。关于 relay log,详见 DM Relay Log

dmctl 是用来控制 DM 集群的命令行工具。

  • 创建、更新或删除数据迁移任务
  • 查看数据迁移任务状态
  • 处理数据迁移任务错误
  • 校验数据迁移任务配置的正确性

2.DM同步流程

3.Aurora迁移的样例


环境准备

4.DM操作

5.DM 任务配置

6.DM 迁移任务启动

学习过程中遇到的问题或延伸思考:

  • 问题 1:
  • 问题 2:
  • 延伸思考 1:
  • 延伸思考 2:

学习过程中参考的其他资料