Tispark 读取不到tidb库

[Hacker_KqoO9yKS]

原有spark集群,只是将tispark 放在hdfs目录上 //以下操作使用spark-submit 可以执行
1.spark -shell --jars hdfs://…/tispark_version.jar
2.sparkconf.setifmissiong(tidb,pd相关配置) //提交到yarn执行
2.val tispark=SparkSession.builder.config(sparkconf)…
3.tispark.sql //读取不到tidb库

[来了老弟]

你好，

帮忙反馈下：

1. tispark 版本 和 原有 spark 集群版本
2. 麻烦上传下 tispark 日志

部署和访问是否根据文档来做
https://pingcap.com/docs-cn/stable/tispark-overview/

[Hacker_KqoO9yKS]

tispark:2.1.8
spark:2.4.0

[来了老弟]

你好，

确认下访问的库表是否存在，

请帮忙执行下 select count(*) from mysql.tables; 是否可行

[Hacker_KqoO9yKS]

存在

[windtaker]

@Hacker_KqoO9yKS

rkSession.builder.con

可能和下面这个warning有关：

[Hacker_KqoO9yKS]

我也觉得

[来了老弟]

辛苦执行下： import org.apache.spark.sql.TiExtensions，并执行语句看是否 ok

[Hacker_KqoO9yKS]

执行过啦,ok的

[Hacker_KqoO9yKS]

[来了老弟]

尝试去掉 Spark-Default 中配置的另外一个 Extension，看下可否解决。

[zhexuany-PingCAP (杨哲轩 - PingCAP)]

SparkSession 是单例模式，无法在运行时重新被创建，可以在 spark-shell 启动时通过 --conf 参数传入。

[Hacker_KqoO9yKS]

修改tidb.password 成spark.tispark.tidb.password 后成功了,为啥spark-submit却可以写成tidb.password

[来了老弟]