tispark8080端口看到的东西是啥


为啥我的8080页面进来是这样,跑着的任务看不见

4040端口是好的

1赞
  1. 请问 tispark 版本是什么? spark 版本是什么?
  2. 是使用 tiup 安装的吗? 麻烦执行 tiup cluster display <cluster_name> 展示下结果,多谢。
1赞


这个吗?
tispark是2.4.1
spark是2.4.8

tispark 也是使用 tiup 安装的吗?主要想看下 tispark master 节点是否使用的默认的 8080 端口?

不是,是后来自己装的,spark用standalone模式装在了tikv节点上,tispark就是把下载的jar包放进去了

https://docs.pingcap.com/zh/tidb/stable/tispark-overview
查看的是 master 节点吗? 在master 节点查看试试

确定啊,都是在master节点上看的

好的,麻烦反馈下启动后的 log 文件,多谢。

spark-root-org.apache.spark.deploy.master.Master-1-tikv0001.gz.baidu.internal.out (268 字节) spark-root-org.apache.spark.deploy.master.Master-1-tikv0001.gz.baidu.internal.out.1 (321 字节) spark-root-org.apache.spark.deploy.worker.Worker-1-tikv0001.gz.baidu.internal.out (262 字节) spark-root-org.apache.spark.deploy.worker.Worker-1-tikv0001.gz.baidu.internal.out.1 (315 字节)
是这些文件吗,如果不是能告诉我路径吗

  1. 日志里 Error 信息
    Spark Command: /usr/local/soft/jdk1.8.0_291/bin/java -cp /opt/spark-2.4.8-bin-hadoop2.7/conf/:/opt/spark-2.4.8-bin-hadoop2.7/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host 172.16.16.39 --port 7077 --webui-port 8080
    ========================================
    21/06/30 09:56:16 ERROR Master: RECEIVED SIGNAL TERM
  2. 启动后打印的这个log文件
    image

  1. 每次启动 master 都会有这个提示吗?ERROR Master: RECEIVED SIGNAL TERM
  2. 检查下 message 日志是否有告警

每次启动时不回打印error警告,每次都是我发的那张图。
message警告是啥,在哪看啊

操作系统日志,不同操作系统位置不同,可能在/var/log/message , 尝试启动一次,看看master 日志是否还是有 ERROR Master: RECEIVED SIGNAL TERM。 同时看看这个时候的message日志,是否有报错。

还有ERROR Master: RECEIVED SIGNAL TERM
messages (8.7 MB)
message里显示的都是
Jul 2 08:38:17 tikv0001 systemd: Stopped Start daemon at boot time.
Jul 2 08:38:17 tikv0001 systemd: Starting Start daemon at boot time…
Jul 2 08:38:17 tikv0001 systemd: Started Start daemon at boot time.
Jul 2 08:38:28 tikv0001 systemd: bot.service holdoff time over, scheduling restart.

Jun 30 21:45:08 tikv0001 systemd: Configuration file /usr/lib/systemd/system/bcm-agent-new.service is marked executable. Please remove executable permission bits. Proceeding anyway.
Jun 30 21:45:17 tikv0001 systemd: bot.service holdoff time over, scheduling restart.
Jun 30 21:45:17 tikv0001 systemd: Stopped Start daemon at boot time.
Jun 30 21:45:17 tikv0001 systemd: Starting Start daemon at boot time…
Jun 30 21:45:17 tikv0001 systemd: Started Start daemon at boot time.

  1. 不确认这个是否和无法tispark 启动报错有关,可以试试先解决这个问题。可以问下操作系统是否能够查看这个文档。
    https://access.redhat.com/solutions/2080483
  2. 或者可以试试使用 tiup 安装 tispark

使用tiup怎么单独安装tispark啊,我们的集群已经把数据导入进去了

  1. 可以在测试环境先按照扩容测试。
    https://docs.pingcap.com/zh/tidb/stable/tispark-deployment-topology#tispark-部署拓扑
  2. 目前除了不能查看任务,还有其他影响吗?

暂时没有