课程名称:课程版本(101/201/301)+ TiDB数据迁移工具介绍&如何将数据从MySQL迁移到TiDB
学习时长:30min
课程收获:
课程内容:
TiDB数据迁移工具介绍
数据迁移工具:
- Dumpling
- Tidb Lightning
- Tidb Data migration(DM)
Dumpling:
- 软件包含在tidb-toolkit中;
- 可全量逻辑备份,导出文件为sql文件或者CSV文件;
- 支持tidb 4.0及以上版本;
- 筛选数据更方便;
- 对单条sql可以限制内存使用;
- 通过tidb_snapshot保证数据一致性;
TiDB LightNing主要用途:高速导入全量数据的工具
- 可读取sql文件或CSV文件
- 大量新数据的导入;
- 全量备份数据的恢复;
Lightning架构
Data Migration(DM)
一体化数据迁移平台,支持mysql或mariadb数据全量迁移到tidb,支持增量复制;
DM特点:
- 简化迁移流程,降低成本;
- 黑白名单:支持哪些表可以迁移;
- Binlog过滤;
- 在线DDL功能;
- 多个表迁移到tidb的同i一张表;
DM工作流程图:
如何将数据从MySQL迁移到 TiDB
一、使用Dumpling导出数据
下载地址:
wget https://download.pingcap.org/tidb-community-toolkit-v4.0.9-linux-amd64.tar.gz
dumpling用户权限:
grant select,reload,lock tables,replication client on . to ‘root’@‘%’;
flush privileges;
GC时间调整:(默认10分钟)
如果时间不够,使用下边命令调大GC时间,使用完成后调回默认值;
调整为720小时:
update mysql.tidb set variable_value='720h' where variable_name='tikv_gc_life_time';
还原为默认10分钟:
update mysql.tidb set variable_value='10m' where variable_name='tikv_gc_life_time';
Dumpling参数配置:
其他参数:
二、使用Lightning导入数据(tidb-backed模式-online)
01、部署Lightning
02、配置相关存储目录及下游tidb集群访问信息
03、通过脚本执行导入
导入过程中,可以通过日志查询检查导入进度(每隔5分钟会更新一次);
也可以通过监控面板上查看详细信息;