TiSpark读取tidb表报错

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.1
  • 【问题描述】:TiSpark读tidb表报错
    tispark:2.1.8
    spark:2.4.0
    hadoop:2.6

Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.primitives.UnsignedLong.fromLongBits(J)Lcom/google/common/primitives/UnsignedLong;
at com.pingcap.tispark.statistics.StatisticsHelper$.shouldUpdateHistogram(StatisticsHelper.scala:151)
at com.pingcap.tispark.statistics.StatisticsHelper$.shouldUpdateHistogram(StatisticsHelper.scala:137)
at com.pingcap.tispark.statistics.StatisticsManager$.com$pingcap$tispark$statistics$StatisticsManager$$putOrUpdateTblStats(StatisticsManager.scala:193)
at com.pingcap.tispark.statistics.StatisticsManager$$anonfun$loadStatsFromStorage$1.apply(StatisticsManager.scala:166)

1 个赞
  1. 请问具体执行的什么命令?
  2. 表结构麻烦发一下,多谢

image
spark-submit

猜测可能是guava的jar包冲突导致(tispark中依赖的版本和hadoop中使用的版本冲突)

我们稍后会提供一个shade的版本

ok,谢谢

ok,有问题欢迎开新帖继续提问

好的,等大佬们给我整个shade版本

:wink:

麻烦用这个版本测试一下

链接: https://pan.baidu.com/s/1p5crnA1aXnpSf8MJqN8Mbw 提取码: cdbg

代码见:https://github.com/pingcap/tispark/pull/1436

1 个赞

可以了,谢谢

可以先使用这个jar包,等后续发布2.1.10后可以切换成官方release版本

:ok_hand:

:handshake:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。