tispark Catalog不能用

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

[TiDB 版本] 5.0.0
tispark: 2.5,spark:3.0

[问题描述] 按照文档配置了catalog之后不能正常使用

1 个赞

麻烦运行一下 spark.conf.getAll.foreach(println)

是有catalog的配置的

能否将 spark 日志级别调整为 INFO,然后把 driver 的日志发给我们,感谢

driver.log (24.9 KB)

21/05/06 08:48:45 INFO TiCatalog: Initialize TiCatalog with name: tidb_catalog, pd address: 127.0.0.1:2379

https://github.com/pingcap/tispark/blob/d076066aab0f55f703b3f0668f290fc694cfdad1/core/src/main/scala/org/apache/spark/sql/catalyst/catalog/TiCatalog.scala#L130

可以看下是不是某个地方配置了 127.0.0.1:2379 ?

没有的

我加了些日志,麻烦用这个版本运行一下,然后把 driver 日志发一下,感谢

链接: https://pan.baidu.com/s/10n2IXg9PqVc4q7u4lNEu6w 提取码: gcvc 复制这段内容后打开百度网盘手机App,操作更方便哦

找到原因了,我用的是很早以前tispark刚支持spark3时编译的jar包,估计那会儿有bug,用你的这个jar包就可以了。非常感谢

1 个赞

最新版可以在这里下载 https://download.pingcap.org/tispark-assembly-nightly-linux-amd64.tar.gz

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。