【TiDB 4.0 PCTA 学习笔记】- 3.6.3 如何将数据从 Aurora 迁移到 TiDB@2班+胡宏强

课程名称:课程版本(101/201/301)+ 3.6.3 如何将数据从 Aurora 迁移到 TiDB

学习时长:10

课程内容:

一、DM 架构
主要以DM-master 和DM-worker

二、DM 工作流程


支持 全量 、 增量

三、Aurora迁移样例
假设2个Aurora节点需要迁移


需要进行的检查工作

  • Aurora读写器不能开启binlog ,所以不能作为上游
  • Aurora的binlog format 设置row
  • 上下游实例账户权限需要独立设置
  • 上游数据库实例与tidb 表结构兼容性
  • 上游的冲突主键

四、DM 环境准备

  • 在中控制上下载DM-Ansible
    • 在中控机上安装DM-Ansible
    • 在中控机上配置ssh免密和sudo规则
    • 在中控机上下载DM和监控组件
  • 编辑inventory.ini文件
    • 单个节点一个DM-worker或单个节点多个DM-worker
    • 填写上游MySQL的用户名及用dmctl加密密码

五、DM维护

  • Confirm mutual trust and tidb user status
    ansible -i inventory.ini all -m shell -a ‘whoami’ && ansible -i inventory.ini all -m shell -a ‘whoami’ -b
  • Deploy DM cluster
    ansible-playbook deploy.yml
  • Start the DM cluster
    ansible-playbook start.yml
  • shutdown the DM cluster
    ansible-playbook stop.yml
  • task config 文件

六、启动MDM task

  • ./dmctl -master-addr 172.16.10.71:8261
  • start-task ./task.yaml
  • query-status

学习过程中遇到的问题或延伸思考:

  • 问题 1:
  • 问题 2:
  • 延伸思考 1:
  • 延伸思考 2:

学习过程中参考的其他资料