【TiDB 4.0 PCTA 学习笔记】-3.6.3 Data migration from Aurora(如何将数据从 Aurora 迁移到 TiDB)@3班+张近博

课程名称:课程版本(301)+ 3.6.3 Data migration from Aurora(如何将数据从 Aurora 迁移到 TiDB)

学习时长:8分钟

课程收获:了解Aurora迁移到TIDB的方式方法以及注意事项

课程内容:

DM 架构

  1. dm master:管理节点,管理和调度各项操作
  2. dm worker:任务执行节点
  3. prometheus:同步任务数据采集,用于状态展示
  4. mysql Binlog:源数据的日志
  5. tidb cluster:目标集群
  6. dmctl 命令行工具,创建任务,删除任务,查看任务状态,任务过程跟踪等等
    DM 同步流程
    3-2
    支持全量 + 增量模式
    首次进行全量同步,后续通过增量保持数据更新
    增量主要依靠 binlog 的日志 pos 节点,原理也依赖于此
    迁移aurora 的注意事项 (mysql 5.7 及 aurora 2.0.4.1 以上)
  7. aurora无binglog 功能,无法成为DM 的上游数据提供者
  8. DM 依赖于 row 模式的binlog
  9. 上下游数据库实例的权限需要单独设置
  10. 数据库表结构需要单独检查,例如 外键,字符集等等
  11. 上游分库分表及自增主键也需要检查,冲突检查
    DM 环境准备
  12. 安装dm-ansible 到控制机
  13. 配置ssh互信及权限到控制机
  14. 安装DM 监控组件到控制机