【TiDB 4.0 PCTA 学习笔记】 2.3.3 Import Data to TiDB(将数据导入 TiDB)@1班 李元月

课程名称:

201 2.3.3 Import Data to TiDB(将数据导入 TiDB)

学习时长:

25 min

课程收获:

了解 TiDB 生态中导入工具 Lighting 和 DM

课程内容:

1. 使用 TiDB Lighting 全量导入数据

1. TiDB Lighting 介绍

1. 什么是 TiDB Lighting?

TiDB Lighting 是把全量数据导入到 TiDB 集群中的工具

2. 两种模式

local 模式

特性

  • 使用本地 kv 存储做 backend
  • 特点是可以很快将大量数据导入到新集群中

架构

tidb 模式

特性

  • 使用 TiDB/MySQL 做 backend
  • 支持在线导入

架构

image

2. TiDB Lighting 特性

  • 支持数据类型

    • SQL
    • CSV
  • 表过滤

  • 断点

  • web 界面

3. 使用场景

  • 将 CSV 格式数据导入到 TiDB
  • 导入大量数据到 TiDB
  • 只导入全量数据到 TiDB

2. 使用 TiDB Data Migration 增量导入数据

1. TiDB Data Migration 介绍

1. 什么是 TiDB Data Migration?

DM 是用来将数据从 MySQL/MariaDB 迁移至 TiDB 的工具

2. 三种模式

  • full
  • incremental
  • all(full + incremental)

3. 架构

DM 主要包含三个组件:DM-master、DM-worker 和 dmctl

  • DM-master 负责管理和调度数据迁移任务的各项操作
  • DM-worker 负责执行具体的数据迁移任务
  • dmctl 是用来控制 DM 集群的命令行工具

2. TiDB Data Migration 特性

  • table routing
  • table filter
  • binlog event filter
  • 支持分库分表
  • 支持 online DDL

3. 使用场景

  • 只导入增量数据到 TiDB
  • 分库分表合并到 TiDB
  • 全量+增量数据导入到 TiDB

学习过程中参考的其他资料

1 个赞