TiSpark可以显示有哪些库,但是执行其他SQL时会报错

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.7
  • 【问题描述】:
    我按照官网案例配置的TiSpark。spark.sql(show databases)时,没有问题,能正确显示TiDB的数据库。但是spark.sql(select * from tidbTable)的时候就会报错。

    tisparkError.txt (37.6 KB)

请问使用使用的tispark是哪个版本?

我只在代码的pom文件里引入了相关的依赖,没有在TiDB集群的jars里面放入tispark的jar包
image
这是2.2.0版本的?

我对使用哪个版本没有要求,只要可以运行就行

嗯,可能是版本低了点,这个看上去就是coprocessor的协议有点没对上。可以升级到2.3.x试试

我代码的pom里面,有Spark的依赖,用的是2.3.0。需不需要tispark-assembly使用对应的版本?是不是有什么冲突之类的

2.3.x的tispark可以兼容spark 2.3的。具体兼容性的要求可以参照这个文档:
https://github.com/pingcap/tispark#how-to-choose-tispark-version