spark初始化有问题

我在idea上做测试,数据就几条,

加上setIfMissing(“spark.sql.extensions”, “org.apache.spark.sql.TiExtensions”).就报Failed to init client for PD cluster
住宿掉setIfMissing(“spark.sql.extensions”, “org.apache.spark.sql.TiExtensions”)就报表不存在

1赞

这个 pd 可以连上吗?请确认一下

怎么确认

我在windows上用的ktconnext,这个应该没有错

1 netcat 看下端口是否可以连上
2 pd 日志中找下有没有连接上的信息

大哥具体一点



请问这两个是同一个问题吗?

1赞

对,差不多

  1. 通过 telnet 看一下 netcat 验证端口状态;
  2. 在 PD 日志找一下对应的 IP 连接信息状态,也可以把操作时间的 PD 日志发一下。
  1. 通过 telnet 看一下 netcat 验证端口状态;telnet 192.168.98.63 2379 没有通

是不是我在windows上,ktconnect不成功访问不了k8s

跳板机登陆上去查询一下,需要依赖 Pd log 看一下问题。

1赞

k8s不是我部署的,找半天不知道日志在哪

1赞

已经查看日志没有找到error信息

pdlog.txt (106.7 KB)

这个对应的是报错时间么 ?

对的,,

没找到有价值的错误信息1

tispark 需要直接访问 pd 和 tikv,如果 spark 集群和 tikv 集群无法连通就不能提供服务

1赞