Spark-Shell 启用TiSpark,第一次访问Tidb的表成功,第二次报找不到类异常?

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.X
  • 【问题描述】:Spark-Shell 启用TiSpark,第一次访问Tidb的表成功,第二次报找不到类异常?

1 个赞


好像打的 jar 包有问题,这里引用的不是打包进去的 shade.com.google.common.primitives.UnsignedLong

2 个赞

我也遇到这个,怎么解决啊

请问怎么解决的

我们没有重新编译 TiSpark,而是把 spark 安装目录 /opt/cloudera/parcels/CDH/lib/spark/jars/ 下的 guava jar 换成了一个合适的版本。
这个版本能保证 TiSpark 里用到的那个方法还在,但又不至于因为版本太新造成 spark 正常的使用出问题。

我们用到 spark 版本是 spark-core_2.11-2.4.0-cdh6.3.2.jar,tispark 版本是 tispark-assembly-2.2.0.jar,最后选择的 guava 版本是 guava-14.0.1.jar

谢谢!

麻烦用这个版本测试一下

链接: https://pan.baidu.com/s/1p5crnA1aXnpSf8MJqN8Mbw 提取码: cdbg

代码见:https://github.com/pingcap/tispark/pull/1436

master branch的fix见 https://github.com/pingcap/tispark/pull/1440

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。