【TiDB 4.0 PCTA 学习笔记】- 2.3.3 Import Data to TiDB(将数据导入 TiDB)@2班+wxh

课程名称:2.3.3 Import Data to TiDB(将数据导入 TiDB)

学习时长:

20min

课程收获:

了解如何将已有数据导入到 TiDB 集群中

课程内容:

导入全量数据-TiDB Lightning

  • local
    • 使用kv storage作为backend
    • 特点是可以快速的将大量的数据导入到TiDB集群中
  • tidb
    • 使用TiDB/MySQL作为backend
    • 特点是可以做线上导入
  • 特点
    • 数据源支持类型
      • SQL导出文件
        • 使用Mydumper或者Dumpling导出的,来源可以是MySQL/TiDB
      • CSV文件
        • 使用Dumpling或者其他格式兼容的工具导出
        • 需要提供一个额外的schema文件,也可以在TiDB中先创建好数据表
    • 表过滤
      • 只导入重要数据库或数据表
      • 把多个数据放在同一个共享存储上,然后启动多个TiDB Ligtning实例,每个实例只导入部分的数据库或数据表
    • 断点
      • 文件导入过程会有中断的场景,断点可以在中断后存储,继续之前的导入
      • 2种存储方式
        • 本地文件
        • MySQL格式兼容数据库
      • 将断点信息存储在本地文件或者另一个MySQL数据库可以减少MySQL或TiDB的压力,从而加快导入
  • 适用场景
  • 把CSV中的数据导入到TiDB中
  • 导入大量的数据到TiDB中
  • 只需要导入全量数据,不需要导入增量数据

导入增量数据-TiDB Data Migration

DM功能

DM适用场景

  • 增量数据的导入
  • 分库分表合并
  • 既有全量数据和增量数据的导入

学习过程中参考的其他资料

同学你好,感谢参与 TiDB 4.0 课程的学习!

本篇笔记逻辑清晰、内容丰富,被评选为优质笔记,将额外获得 20 积分,并在 「TiDB 培训」分类下获得“置顶”权益,积分兑换规则将于近期开放,敬请关注!

期待您继续产出优质内容!

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。