课程名称:课程版本(301)+ 3.6.1 Data migration tools introduction、3.6.2 Data migration from MySQL
学习时长:
20分
TiDB 数据迁移工具介绍
dumpling
dumpling相比mydumper的提升:
支持到处多种格式,包括SQL和CSV;
支持表级过滤;
对于tidb的跟多优化:支持单独对一个tidb的sql配置内存限制,tidb4.0及以上版本支持自动调节GC time;使用tidb隐藏的column_tidb_rowid优化单表并行数据导出;支持tidb设定tidb_snapshot的值指定时间点导出,确保备份的一致性,代替使用FLUSH TABLES WITH READ LOCK来确保一致性。
tidb lighting
tidb data migration
支持table routing:table routing支持将上游的mysql或mariadb的整个表同步到下游的指定表;
黑名单表过滤功能;
binlog事件过滤功能;
DM Online DDL Schema;
支持从sharded table合并同步数据,该功能支持将相同或不同的mysql或mariadb的table、schema导入到同一个tidb表.
如何将数据从 MySQL 迁移到 TiDB
dumpling需要的权限包括:select、reload、lock tables、replication client
grant select,reload,lock tables,replication client on . to ‘root’@’%’;
flush privileges;
update mysql.tidb set VARIABLE_VALUE=‘720h’ where BARIABLE_NAME=‘tikv_gc_life_time’; #如果导出的数据非常大,可以调高GC time避免导出失败
update mysql.tidb set VARIABLE_VALUE=‘10m’ where BARIABLE_NAME=‘tikv_gc_life_time’; #导出完成后调回GC time参数到原来的值
dumpling -u root -P 4000 -h 127.0.0.1 -p $YOUR_SECRET_PASSWORD --filetype sql --threads 32 -o /tmp/test -F 256
部署lighting导入数据
课程收获:
课程内容:
学习过程中遇到的问题或延伸思考:
- 问题 1:
- 问题 2:
- 延伸思考 1:
- 延伸思考 2: