【 TiDB 版本】v8.4
把Aurora 数据保存到s3 路径： s3://test-tidb/snapshot/ ,这个s3 目录下有s3://test-tidb/snapshot/export-20241127/, export-20241127开始都是自动生成的。
现在我有tidbtest库里面的users表需要导入到tidb。
tidb-lightning-data.toml 文件如下：
[tidb]
目标 TiDB 集群信息。
host = “192.168.1.129”
port = 4000
user = “root”
password = “ABC123456” # TiDB 的“状态端口”，通常为 10080
status-port = 10080 # TiDB 的“状态端口”，通常为 10080
pd-addr = “192.168.1.139:2379,192.168.1.149:2379,192.168.1.1592379” # 集群 PD 的地址，port 通常为 2379
[tikv-importer]
采用默认的物理导入模式 (“local”)。注意该模式在导入期间下游 TiDB 无法对外提供服务。
关于后端模式更多信息请参阅：https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-overview
backend = “local”
设置排序的键值对的临时存放地址，目标路径必须是一个空目录，目录空间须大于待导入数据集的大小。
建议设为与 data-source-dir 不同的磁盘目录并使用闪存介质，独占 IO 会获得更好的导入性能。
sorted-kv-dir = “/data/tp”
[mydumper]
设置从 Amazon Aurora 导出的快照文件的地址
data-source-dir = “s3://test-tidb/snapshot/”
[[mydumper.files]]
解析 parquet 文件所需的表达式
pattern = ‘(?i)^(?:[^/]/)([a-z0-9_]+).([a-z0-9_]+)/(?:[^/]/)(?:[a-z0-9-_.]+.(parquet))$’
schema = ‘tidbtest’
table = ‘users’
type = ‘$3’
不知道这个写法对不对，users 的parquet文件路径是：ls s3://test-tidb/snapshot/export-20241128/tidbtest/tidbtest.users/1/part-00239-ebbc976a-4231-3ec4-a83d-02b20acdad61-c000.gz.parquet