【TiDB 4.0 PCTA 学习笔记】-TiDB数据迁移工具介绍&如何将数据从MySQL迁移到TiDB@3班+Datamz

课程名称:课程版本(101/201/301)+ TiDB数据迁移工具介绍&如何将数据从MySQL迁移到TiDB

学习时长:30min

课程收获:

课程内容:

TiDB数据迁移工具介绍

数据迁移工具:

  • Dumpling
  • Tidb Lightning
  • Tidb Data migration(DM)

Dumpling:

  • 软件包含在tidb-toolkit中;
  • 可全量逻辑备份,导出文件为sql文件或者CSV文件;
  • 支持tidb 4.0及以上版本;
  • 筛选数据更方便;
  • 对单条sql可以限制内存使用;
  • 通过tidb_snapshot保证数据一致性;

TiDB LightNing主要用途:高速导入全量数据的工具

  • 可读取sql文件或CSV文件
  • 大量新数据的导入;
  • 全量备份数据的恢复;

Lightning架构

Data Migration(DM)

一体化数据迁移平台,支持mysql或mariadb数据全量迁移到tidb,支持增量复制;

DM特点:

  • 简化迁移流程,降低成本;
  • 黑白名单:支持哪些表可以迁移;
  • Binlog过滤;
  • 在线DDL功能;
  • 多个表迁移到tidb的同i一张表;

DM工作流程图:

如何将数据从MySQL迁移到 TiDB

一、使用Dumpling导出数据

下载地址:
wget https://download.pingcap.org/tidb-community-toolkit-v4.0.9-linux-amd64.tar.gz

dumpling用户权限:
grant select,reload,lock tables,replication client on . to ‘root’@‘%’;
flush privileges;

GC时间调整:(默认10分钟)
如果时间不够,使用下边命令调大GC时间,使用完成后调回默认值;

调整为720小时:
update mysql.tidb set variable_value='720h' where variable_name='tikv_gc_life_time';

还原为默认10分钟:
update mysql.tidb set variable_value='10m' where variable_name='tikv_gc_life_time';

Dumpling参数配置:
122703
其他参数:

二、使用Lightning导入数据(tidb-backed模式-online)

01、部署Lightning

02、配置相关存储目录及下游tidb集群访问信息

03、通过脚本执行导入
L3

导入过程中,可以通过日志查询检查导入进度(每隔5分钟会更新一次);
也可以通过监控面板上查看详细信息;

同学你好,感谢参与 TiDB 4.0 课程的学习!

本篇笔记逻辑清晰、内容丰富,被评选为优质笔记,将额外获得 20 积分,并在 「TiDB 培训」分类下获得“置顶”权益,积分兑换规则将于近期开放,敬请关注!

期待您继续产出优质内容!

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。