tispark查询速度很慢

🛸 其他技术问题 TiSpark
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：4.0.0
  • 【问题描述】：目前在一台单独的服务器上配置了spark2.4.7和tispark2.3.5，使用standalone的方式启动，slave和master都是这台机器，pd使用了目前已有tidb-cluster的3台pd。worker配置如下：
    image
    因为之前没用过spark，尝试多个worker分摊系统配置或者上面这种1个worker，spark都很慢，明显慢于tidb
    执行SQL过程中观察服务器IO和内存，发现使用的内存几乎不增加，请问这是哪里有问题吗？
2

image
image
这是tispark和tidb的执行时间，tidb单点的服务器配置仅为tispark的一半

3

image
image923×72 2.91 KB

再次执行上面的SQL抛错了

4

你好，

请帮忙检查下 tikv-server 是否有发生过重启在上面报错时间点，并检查 spark/tispark 到 tikv 的网络情况是否乐观

5

检查之后3台tikv都没有重启。
另外，这台机器和tidb-cluster的机器是同一个机房，应该不存在网络问题

6

你好，
此时间点的 tispark 的 log 辛苦提供下