Tispark 执行shell出现警示 NotLeader Error with region id 28937 and store id 61109, new store id 97001

为提高效率,提问时请尽量提供详细背景信息,问题描述清晰可优先响应。以下信息点请尽量提供:

  • 系统版本 & kernel 版本:centos7.6
  • TiDB 版本:v3.0.3
    ansible集群安装

在执行spark shell 操作出现以下提示,但查询结果是有的,具体是什么问题?

1 个赞

TiDB 生态系统内的数据是以 region 为单位的形式存在于分布式存储引擎 TiKV 上。 同时, 每个 Region 都以 Raft 共识算法保证了在有网络隔离的情况下的数据一致性。 当 Region Leader 发生了改变(可能由于 Region Split 或者某台 TiKV 挂掉),TiSpark 会重试当前的任务。最新的 Region Leader 信息是通过 PD 查询所得。

混合部署, tispark 的性能 不如直接连接tidb快 同一个语句count出4000多万,用tispark 5秒多, 直接操作tidb 1秒多

TiSpark 的优势在于可以利用 Spark 集群进行复杂的 SQL 计算(例如 Join)。 TiDB 目前是单点计算。 需要选择合适的 SQL 才能得出正确的结论。

1 个赞

好的,感谢@ zhexuany-PingCAP
:grinning:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。