课程名称:课程版本(301)+ 3.6.3 Data migration from Aurora(如何将数据从 Aurora 迁移到 TiDB)
学习时长:8分钟
课程收获:了解Aurora迁移到TIDB的方式方法以及注意事项
课程内容:
DM 架构
- dm master:管理节点,管理和调度各项操作
- dm worker:任务执行节点
- prometheus:同步任务数据采集,用于状态展示
- mysql Binlog:源数据的日志
- tidb cluster:目标集群
- dmctl 命令行工具,创建任务,删除任务,查看任务状态,任务过程跟踪等等
DM 同步流程
支持全量 + 增量模式
首次进行全量同步,后续通过增量保持数据更新
增量主要依靠 binlog 的日志 pos 节点,原理也依赖于此
迁移aurora 的注意事项 (mysql 5.7 及 aurora 2.0.4.1 以上) - aurora无binglog 功能,无法成为DM 的上游数据提供者
- DM 依赖于 row 模式的binlog
- 上下游数据库实例的权限需要单独设置
- 数据库表结构需要单独检查,例如 外键,字符集等等
- 上游分库分表及自增主键也需要检查,冲突检查
DM 环境准备 - 安装dm-ansible 到控制机
- 配置ssh互信及权限到控制机
- 安装DM 监控组件到控制机