如何使用lightning 导入 s3 上的数据

liufugen · 2021 年3 月 12 日 07:19

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【TiDB 版本】
4.0.10
【问题描述】
使用dumpling 将数据导出到 s3上，在使用lightning 把数据向tidb进行导入的时候，如何填写地址呢？
我这样填写是错误的！！！

image848×98 3.8 KB

image1213×744 311 KB

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

yilong · 2021 年3 月 12 日 08:08

liufugen · 2021 年3 月 12 日 08:24

这个是 operator 环境下的，我的是物理机上的。
我之前看到这个文档了，但是我还是不太清楚在tidb-lightning.toml的文件中，如何添加资源的存储路径，我没有搞清楚 mydumper.data-source-dir 这个参数下如何拼接s3 的路径。

yilong · 2021 年3 月 12 日 09:41

liufugen · 2021 年3 月 16 日 01:58

我使用了这个方法进行导入数据，配置如上图所示，但是出现了下面的错误，这个是我哪里出问题了呢，麻烦帮我看一下，谢谢了。

yilong · 2021 年3 月 16 日 06:17

请问，您 S3 的数据是从哪里备份出来的？ aurora 吗？

liufugen · 2021 年3 月 16 日 08:55

从tidb数据库使用 dumpling 工具备份到s3上，然后准备从s3 上使用tidb-lightning 工具进行恢复

yilong · 2021 年3 月 16 日 08:57

不配置路由试试

liufugen · 2021 年3 月 16 日 09:00

不配置路由会显示，没有权限访问方面的错误

yilong · 2021 年3 月 17 日 07:17

backend = “local” 我看您的配置是 tidb 吗？方便发一份当前的所有配置吗？

liufugen · 2021 年3 月 17 日 07:19

我配置的是 tidb 模式的

yilong · 2021 年3 月 17 日 07:21

liufugen · 2021 年3 月 17 日 07:24

集群在使用，有其他数据的，属于研发环境。
这个问题可能出现在哪呢？我目前感觉是在lightning 对于 s3 的权限配置有问题。因为我使用br是没有问题的。

yilong · 2021 年3 月 17 日 07:39

根据 tidb-operator 的文档，是需要访问 S3 的权限的，目前有配置吗？看日志是无法访问S3.

liufugen · 2021 年3 月 17 日 09:07

我看之前你分享的那片文章，是在这里配置的。密钥的正确性是没有问题的，因为使用br的时候是成功的。
我刚才看了一下 operator 中tidb-lightning 部分的恢复，发现它配置的endpoint

yilong · 2021 年3 月 17 日 09:52

liufugen · 2021 年3 月 18 日 03:24

你好，我按照文档试了一下，因为我是使用的endpoint，所以我配置的是
data-source-dir = “s3://kpi/lsmnd?endpoint=‘http://10.154.12.32:8080’”
然后会哟这样的错误

gaolei · 2021 年3 月 18 日 06:03

“:” 字符在 url 里面需要做一下转义处理 “http%3A//” 这样就可以了

liufugen · 2021 年3 月 18 日 06:23

我按照你说的替换了，但还是出现相同的错误。
我尝试着 data-source-dir = “s3://kpi/lsmnd?endpoint=http://10.154.12.32:8080” 配置中，endpoint 后面参数的单引号，会出现以下错误。

但是我使用br、dumpling命令访问s3 ，是可以访问到的。

gaolei · 2021 年3 月 18 日 06:35

使用 ip 地址的类 s3 服务需要设置参数「force-path-style=true」, see: https://docs.aws.amazon.com/AmazonS3/latest/userguide/VirtualHosting.html