tispark 编译失败

[TiDBer_PyN8ad50]

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：
【 TiDB 使用环境】
java version “1.8.0_202”
mvn version: “4.19.91-25.1.al7.x86_64”
tidb version: 5.3.0
spark version: spark-2.4.8-bin-hadoop2.7
tispark version: tispark-assembly-2.4.1.jar

【概述】 场景 + 问题概述

1. 使用 tispark 导入数据到 tidb，报错：
   

   

2. tispark 编译最新代码失败
   拉取master 分支后，在 pom.xml 增加依赖 tispark-assembly: 2.3.16，执行编译命令：mvn clean install -Dmaven.test.skip=true

【应用框架及开发适配业务逻辑】

【背景】 做过哪些操作

1. 使用新版 tispark-assembly-2.4.2.jar，scala 版本报错，spark 2.x 都是scala 2.11 版本编译

2. 尝试spark3.x + tispark-2.4.2 ，报错，tispark 只支持spark 2.x

3. 尝试编译最新版本 tispark ，编译失败：
   

   

【现象】 业务和数据库现象

【问题】 当前遇到的问题

【业务影响】

【TiDB 版本】

【附件】 相关日志及监控（https://metricstool.pingcap.com/)

---

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

[数据小黑]

编译master分支时，spark版本选择的是什么？默认的么？
我用以下的pom文件编译成功，你可以尝试一下。
pom.xml (10.6 KB)

[数据小黑]

把你数据写入tidb的那一段代码贴一下，如果是jdbc写入，以前有过此类问题，参考：

最基本的写入，返回错误：WARN RowIDAllocator: error during allocating row id

so， 如果要写入数据到tidb，要怎么做呢？ 直接用JDBC的方式也写不进去。

[TiDBer_PyN8ad50]

后面没编译了，报错太多，解决一个又出另一个，后面去maven 仓库下载了你们的最新 tispark-assembly-2.5.0-rc.1.jar，配合spark-3.0.3-bin-hadoop2.7 能使用起来

[数据小黑]

我跑通的也是这个组合，后面建议参考https://github.com/GoogleCloudPlatform/spark-on-k8s-operator，本地运行环境更简洁一些。

[spc_monkey (carry@pingcap.com)]