tispark读取tidb是否可以动态指定spark.tispark.pd.addresses

🛸 其他技术问题 TiSpark
1

我是否可以在执行spark的时候指定pd的地址啊
spark-shell --jars hdfs://nameservice1/sparklib/* --conf “spark.tispark.pd.addresses=127.0.0.1:2379”
如果可以的话。我去读取别人的tidb集群，怎么设定用户名和密码啊
我只指定库与表

还有就是在spark写tidb的时候可不可以配制成让其去读取spark.tispark.pd.addresses
我不用我在代码里写入地址用户名密码这些啊

df.write.
  format("tidb").
  option("tidb.addr", "127.0.0.1").
  option("tidb.port", "4000").
  option("tidb.user", "root").
  option("tidb.password", "").
  option("database", "tpch").
  option("table", "target_orders").
  mode("append").
  save()
1 个赞
2

你的需求是什么？

3

老师回复：
指定 pd 地址和指定 tidb 用户名密码没有任何关联

如果不想填用户名密码的话可以自己写配置文件读取？

4

我的需求是不在spark-default.conf里面静态指定spark.tispark.pd.addresses
是动态指定spark.tispark.pd.addresses ， 可以读取任意tidb集群中的数据。

如：我可以读取A公司的tidb中的数据写入我自己公司的HIVE中等。
tispark读取数据的时候应该有权限限制，不然后的话我不是可以读取别人公司tidb任意数据。
而不是读取别人指定的数据

5

如果需求明确，可以直接提需求的帖子或创建 issue 的

6

https://asktug.com/c/advice-feedback/requirements
可以到这里提个产品需求~

7

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。