tispark的spark配置问题

🛸 其他技术问题 TiSpark
1 
❯ cat /etc/apache-spark/spark-defaults.conf
spark.sql.extensions org.apache.spark.sql.TiExtensions
spark.tispark.pd.addresses 127.0.0.1:2379
spark.sql.catalog.tidb_catalog org.apache.spark.sql.catalyst.catalog.TiCatalog
spark.sql.catalog.tidb_catalog.pd.addresses 127.0.0.1:2379

当我跑tispark的集成测试的时候,会遇到异常

22/04/05 17:14:31 ERROR TiExtensions$: TiSpark must work with TiCatalog. Please add TiCatalog in spark conf.

spark的jar包

❯ ll /opt/apache-spark/jars/tispark-assembly*
.rw-r--r-- 26M root root 2022-04-05 16:33 /opt/apache-spark/jars/tispark-assembly-2.5.0.jar
2

缺少 TiCatalog 的配置，可以参考这个帖子：

image
image959×527 158 KB

3

我没看明白您说的，上面他都配置了呀：
spark.sql.catalog.tidb_catalog org.apache.spark.sql.catalyst.catalog.TiCatalog
spark.sql.catalog.tidb_catalog.pd.addresses 127.0.0.1:2379

4

此版本在代码中加了个检查，在没有配置 Catalog 的情况下，检查报错，提示 TiSpark must work with TiCatalog。

5

用新版本试试，在xfworld大佬引用的帖中有详细的讨论，最初的版本可能会有问题
最新版可以在这里下载 https://download.pingcap.org/tispark-assembly-nightly-linux-amd64.tar.gz