lighting导入外部数据参数data-source-dir配置

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】
【遇到的问题:问题现象及影响】lighting导入另一台服务器上的sql文件,怎么配置data-source-dir参数
【资源配置】
【附件:截图/日志/监控】

nfs共享数据目录 或 数据拷贝到当前机器一份

为啥要导入其他机器上的sql文件,拷贝过来一份不行吗?

1 个赞

数据量太大,一个表10亿多数据,服务器放不下,所以搞个中间服务器

那就考虑使用共享存储设备,让运维同事帮你挂载到某个路径下。

1 个赞

这个方式可以

data-source-dir这个值是支持S3地址的,也可以考虑放到S3上面

1 个赞

那就nfs把远端的目录挂载到本地吧,但是导入会受到两个服务器间的网络带宽的影响

更延伸的话,可以在中间服务器上搭一个minio来做S3存储,或者直接把tidb-lightning传到中间服务器上,在中间服务器上导入得了