tispark 编译失败

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
java version “1.8.0_202”
mvn version: “4.19.91-25.1.al7.x86_64”
tidb version: 5.3.0
spark version: spark-2.4.8-bin-hadoop2.7
tispark version: tispark-assembly-2.4.1.jar

【概述】 场景 + 问题概述

  1. 使用 tispark 导入数据到 tidb,报错:

  2. tispark 编译最新代码失败
    拉取master 分支后,在 pom.xml 增加依赖 tispark-assembly: 2.3.16,执行编译命令:mvn clean install -Dmaven.test.skip=true

【应用框架及开发适配业务逻辑】

【背景】 做过哪些操作

  1. 使用新版 tispark-assembly-2.4.2.jar,scala 版本报错,spark 2.x 都是scala 2.11 版本编译

  2. 尝试spark3.x + tispark-2.4.2 ,报错,tispark 只支持spark 2.x

  3. 尝试编译最新版本 tispark ,编译失败:

【现象】 业务和数据库现象

【问题】 当前遇到的问题

【业务影响】

【TiDB 版本】

【附件】 相关日志及监控(https://metricstool.pingcap.com/)


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1 Like

编译master分支时,spark版本选择的是什么?默认的么?
我用以下的pom文件编译成功,你可以尝试一下。
pom.xml (10.6 KB)

把你数据写入tidb的那一段代码贴一下,如果是jdbc写入,以前有过此类问题,参考:

1 Like

后面没编译了,报错太多,解决一个又出另一个,后面去maven 仓库下载了你们的最新 tispark-assembly-2.5.0-rc.1.jar,配合spark-3.0.3-bin-hadoop2.7 能使用起来

我跑通的也是这个组合,后面建议参考https://github.com/GoogleCloudPlatform/spark-on-k8s-operator,本地运行环境更简洁一些。

1 Like

:call_me_hand::call_me_hand::call_me_hand::call_me_hand:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。