使用tidb-lightning 要配置指定库吗

【 TiDB 使用环境】生产\测试环境\ POC
【 TiDB 版本】
【遇到的问题】
【复现路径】做过哪些操作出现的问题
【问题现象及影响】
【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)
  • 对应模块日志(包含问题前后 1 小时日志)
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"

[tikv-importer]
# "local":默认使用该模式,适用于 TB 级以上大数据量,但导入期间下游 TiDB 无法对外提供服务。
# "tidb":TB 级以下数据量也可以采用`tidb`后端模式,下游 TiDB 可正常提供服务。 关于后端模式更多信息请参阅:https://docs.pingcap.com/tidb/stable/tidb-lightning-backends
backend = "local"
# 设置排序的键值对的临时存放地址,目标路径需要是一个空目录,至少需要数据源最大单表的空间,建议与 `data-source-dir` 不同磁盘目录并使用闪存介质,独占 IO 会获得更好的导入性能
sorted-kv-dir = "${sorted-kv-dir}"

[mydumper]
# 源数据目录,即第 1 步中 Dumpling 保存数据的路径。
data-source-dir = "${data-path}" # 本地或 S3 路径,例如:'s3://my-bucket/sql-backup?region=us-west-2'

[tidb]
# 目标集群的信息
host = ${host}                # 例如:172.16.32.1
port = ${port}                # 例如:4000
user = "${user_name}"         # 例如:"root"
password = "${password}"      # 例如:"rootroot"
status-port = ${status-port}  # 导入过程 Lightning 需要在从 TiDB 的“状态端口”获取表结构信息,例如:10080
pd-addr = "${ip}:${port}"     # 集群 PD 的地址,Lightning 通过 PD 获取部分信息,例如 172.16.31.3:2379。当 backend = "local" 时 status-port 和 pd-addr 必须正确填写,否则导入将出现异常。

使用tidb-lightning
这个配置文件不需要指定库吗

1 个赞

1.TiDB-lightning 的功能是将数据导入到 tidb 集群中,配置文件中可以不指定数据库名字,它会根据文本文件的名字来解析: db_name.table_name.csv
2. TIDB-Lightning 也支持表库过滤,可以参见官网:https://docs.pingcap.com/zh/tidb/v6.0/table-filter

2 个赞

默认是全部导入,如果是想单独导入某个库可以用-f '库名.*'过滤

2 个赞

所以直接tidb里建一个相同名字的库就行了吗?

1 个赞

不用手动创建。

1 个赞

给 tidb-lightning 执行用户在下游数据库 create 权限就好,它会自己创建db和table

1 个赞

导入的信息里就有了包括建库和建表的信息

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。