tispark的spark配置问题

ajian · 2022 年4 月 5 日 09:26

❯ cat /etc/apache-spark/spark-defaults.conf
spark.sql.extensions org.apache.spark.sql.TiExtensions
spark.tispark.pd.addresses 127.0.0.1:2379
spark.sql.catalog.tidb_catalog org.apache.spark.sql.catalyst.catalog.TiCatalog
spark.sql.catalog.tidb_catalog.pd.addresses 127.0.0.1:2379

当我跑tispark的集成测试的时候,会遇到异常

22/04/05 17:14:31 ERROR TiExtensions$: TiSpark must work with TiCatalog. Please add TiCatalog in spark conf.

spark的jar包

❯ ll /opt/apache-spark/jars/tispark-assembly*
.rw-r--r-- 26M root root 2022-04-05 16:33 /opt/apache-spark/jars/tispark-assembly-2.5.0.jar

xfworld · 2022 年4 月 5 日 10:59

缺少 TiCatalog 的配置，可以参考这个帖子：

TiDBer_o0MXVuK4 · 2023 年1 月 30 日 03:56

我没看明白您说的，上面他都配置了呀：
spark.sql.catalog.tidb_catalog org.apache.spark.sql.catalyst.catalog.TiCatalog
spark.sql.catalog.tidb_catalog.pd.addresses 127.0.0.1:2379

oO眸眸Oo · 2023 年2 月 1 日 08:03

此版本在代码中加了个检查，在没有配置 Catalog 的情况下，检查报错，提示 TiSpark must work with TiCatalog。

数据小黑 · 2023 年2 月 1 日 08:20

用新版本试试，在xfworld大佬引用的帖中有详细的讨论，最初的版本可能会有问题
最新版可以在这里下载 https://download.pingcap.org/tispark-assembly-nightly-linux-amd64.tar.gz

system · 2023 年4 月 2 日 08:20

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。