使用tispark运行问题和jar包的问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.2 【spark版本】:2.3.1 【tispark版本】
  • 【问题描述】: 本地运行可以运行处结果,上图标箭头的是tispark的依赖包的版本 上图是本地打包上传到spark集群运行的错误日志 这个类是版本的问题吗?还是其他的问题呢? 错误日志.txt (29.2 KB) [错误日志.

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

请问你“本地打包”指的具体是什么意思?现在Tispark应该用类似“tispark-assembly-2.3.0-SNAPSHOT.jar”的包就行了

恩,使用了tispark-assembly-2.2.0,原因也找到了,是在sapark集群的worker节点没有导入tispark-core-2.1.8-spark_2.3-jar-with-dependencies依赖包

:+1::+1::+1:

如果使用 tispark-assembly-2.2.0,则不应导入 tispark-core-2.1.8 的依赖包,这两个是不同的 tispark 版本。能否确认worker 或 master 节点是否存在多版本的 tispark ?主楼中的错误日志也表现集群中存在不同版本的 tispark,这可能才是引发错误的原因。

,恩,谢谢提醒我引入了不同的包,现在目前没有出错,后期写的业务复杂了,肯定会出问题。

现在还有什么问题吗?

现在没问题了,谢谢!

:+1: 好的