TiSpark兼容性问题

公司目前跑的Spark是2.4.5 TIDB版本是8.0.0 这两个是不是不兼容啊 试了一下连不上pd :skull_and_crossbones:

:see_no_evil: 感觉是不行
https://docs.pingcap.com/zh/tidb/stable/tispark-overview/#tispark-用户指南

1 个赞

这里有个对照关系

3 个赞

嗯 目前打算使用高版本的spark试试

是的,感觉现在高版本不支持了。

:neutral_face:是的 感觉不兼容8.0的tidb 我现在读不到kv 进spark-shell只能读到一些元数据。。等下换个tispark版本试试看 :clown_face:

对照官方文档,换个版本吧

这个对照关系写得就是很明确了

版本跨度太大

原生Spark吧,官方都不打算支持了

1 个赞

请问下官方是有替代方案了吗?Spark其实作为数据分析工具普遍率还是挺高的,基本是离线处理的不二选择了

当然也期待TiDB能将Flink整合将来,如果能做到实时数据分析那就更牛了!

实测了一下 8.x的版本用最新的TiSpark 3.23是可以跑的

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。