tispark写入本地文件的时候的权限问题

我用tispark往本地写文件,spark先创建目录,然后写入数据的时候会因为权限问题无法写入,我需要给这个目录手动更改权限,再次执行写入才能写进去。请问有什么解决办法吗

tidb版本5.0.0 centos版本7.5

1 个赞

为了让社区成员更好地定位问题,请尽可能详细地列出:
出现的问题
可复现操作
脚本
日志

1 个赞

比如我想把df写入到这个路径
df1.write.mode(“append”).parquet(“file:///data3/daily/2020/13.parquet”)
spark会创建13.parquet这个文件夹,权限是drwxr-xr-x,这个权限是没法写入的,我需要去手动更改权限成777,再执行写入,会在13.parquet下边创建个临时文件,权限还是drwxr-xr-x,我又得手动改成777,然后才能写入


创建目录的时候用户是root,权限755,写入的时候用户成了tidb,结果就写不进去,得手动改权限。
要么改权限,要么改所有者和所有组

您好,tispark 不会涉及权限管理。tispark 只是一个 spark 插件,不负责创建文件等。你遇到的权限问题需要看下 spark 集群启动时是否都是以 tidb 用户启动的。

2 个赞

我用tiup装的tispark,是tidb用户启动的

TiSpark 没有负责权限,你需要自己处理一下权限问题。
应该遵照 spark 的使用方法,在 tispark 中只会处理读写 tikv。你这边是用 parquet 文件写入,这个不在 tispark 能力的范围内。

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。