TiSpark如何在一个包里同时支持spark3.1和spark3.2？

TiDBer_PYmtzTZg · 2023 年9 月 8 日 02:38

hi, 我们的数据同步任务是用TiSpark + Deltastreamer入Hudi,
公司正在从Spark3.1升级到Spark3.2，但是这个升级是按队列灰度升级（由Livy控制），意味着tispark同时需要支持2个版本的Spark.

这边使用TiSpark v3.1.1尝试打包，但是

Screenshot 2023-09-08 at 10.34.21 AM

tispark profile为spark3.2运行在spark3.1的报错：

tispark profile为3.1 运行在spark3.2的报错：

所以想确认一下官方文档说的这个兼容，是指分别兼容（separately in diff jar）而非同时兼容（simultaneously）么？

tidb菜鸟一只 · 2023 年9 月 8 日 03:01

官方文档的意识是3.1和3.2都支持，但是不代表你可以同时用3.1和3.2吧。。。

TiDBer_PYmtzTZg · 2023 年9 月 8 日 03:12

嗯，我现在也意识到了，只是想再确认挣扎一下

天蓝色的小九 · 2023 年9 月 8 日 03:22

这个，不能放吧

ShawnYan · 2023 年9 月 8 日 08:15

分别兼容。

另请参考：

system · 2023 年11 月 7 日 08:15

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。