如果tispark安装在tikv节点上,是每一台tikv上都要安装吗?还是缺几台没关系

如果tispark安装在tikv节点上,是每一台tikv上都要安装吗?还是有几个tikv上没装也没关系

1赞

不是理解,TiSpark和TiKV应该是两个独立的组件,只是为了节约服务器采用了混合部署,只要资源足够,TiSpark安装一台或者多台都可以。

官方文档中建议了TiKV 与 TiSpark 集群分开部署Spark 与 TiSpark 集群独立部署,以及TiSpark 与 TiKV 集群混合部署的三种建议配置。
https://docs.pingcap.com/zh/tidb/stable/tispark-overview#推荐配置

我现在有4台tikv,其中3台上有tispark,我现在有时候做操作的时候就会报region 183501 is not fully replicated,然后在spark-shell里看不到进度,在4040和8080上也看不到

:thinking:这么说起来,就是要4台都部署TiSpark了?

最麻烦的看不到进度,不知道spark是不是还在做计算

部署的话,建议参考2楼给的链接,报错的话,给的信息太少

解决了,我重新给集群做了一遍免密登陆,然后在新的tikv上装上了tispark,调高了tikv_gc_life_time,现在差最后一个问题,配置有点跟不上,准备先调配置,调完遇到问题再来问

好的,另外,如果有时间的话,建议帮整理一下这个问题(我感觉稍微有点模糊)

3个问题
1。新加入的机器没做免密登陆
2. tikv_gc_life_time时间太短,10min
3.集群配置太低
三个问题都解决后就没再报错了

1赞

感谢分享~