tispark8080端口看到的东西是啥

Hacker_Z7JgkkPI · 2021 年6 月 29 日 09:18

为啥我的8080页面进来是这样，跑着的任务看不见

4040端口是好的

yilong · 2021 年6 月 29 日 11:11

请问 tispark 版本是什么？ spark 版本是什么？
是使用 tiup 安装的吗？麻烦执行 tiup cluster display <cluster_name> 展示下结果，多谢。

Hacker_Z7JgkkPI · 2021 年6 月 29 日 12:50

这个吗？
tispark是2.4.1
spark是2.4.8

yilong · 2021 年6 月 29 日 13:20

tispark 也是使用 tiup 安装的吗？主要想看下 tispark master 节点是否使用的默认的 8080 端口？

Hacker_Z7JgkkPI · 2021 年6 月 29 日 23:05

不是，是后来自己装的，spark用standalone模式装在了tikv节点上，tispark就是把下载的jar包放进去了

yilong · 2021 年6 月 30 日 01:29

https://docs.pingcap.com/zh/tidb/stable/tispark-overview
查看的是 master 节点吗？在master 节点查看试试

Hacker_Z7JgkkPI · 2021 年6 月 30 日 01:35

确定啊，都是在master节点上看的

yilong · 2021 年6 月 30 日 02:04

好的，麻烦反馈下启动后的 log 文件，多谢。

Hacker_Z7JgkkPI · 2021 年6 月 30 日 02:12

spark-root-org.apache.spark.deploy.master.Master-1-tikv0001.gz.baidu.internal.out (268 字节) spark-root-org.apache.spark.deploy.master.Master-1-tikv0001.gz.baidu.internal.out.1 (321 字节) spark-root-org.apache.spark.deploy.worker.Worker-1-tikv0001.gz.baidu.internal.out (262 字节) spark-root-org.apache.spark.deploy.worker.Worker-1-tikv0001.gz.baidu.internal.out.1 (315 字节)
是这些文件吗，如果不是能告诉我路径吗

yilong · 2021 年6 月 30 日 02:15

日志里 Error 信息
Spark Command: /usr/local/soft/jdk1.8.0_291/bin/java -cp /opt/spark-2.4.8-bin-hadoop2.7/conf/:/opt/spark-2.4.8-bin-hadoop2.7/jars/* -Xmx1g org.apache.spark.deploy.master.Master --host 172.16.16.39 --port 7077 --webui-port 8080
========================================
21/06/30 09:56:16 ERROR Master: RECEIVED SIGNAL TERM
启动后打印的这个log文件

Hacker_Z7JgkkPI · 2021 年6 月 30 日 02:22

yilong · 2021 年7 月 1 日 02:40

每次启动 master 都会有这个提示吗？ERROR Master: RECEIVED SIGNAL TERM
检查下 message 日志是否有告警

Hacker_Z7JgkkPI · 2021 年7 月 1 日 07:16

每次启动时不回打印error警告，每次都是我发的那张图。
message警告是啥，在哪看啊

yilong · 2021 年7 月 1 日 08:47

操作系统日志，不同操作系统位置不同，可能在/var/log/message , 尝试启动一次，看看master 日志是否还是有 ERROR Master: RECEIVED SIGNAL TERM。同时看看这个时候的message日志，是否有报错。

Hacker_Z7JgkkPI · 2021 年7 月 2 日 00:40

还有ERROR Master: RECEIVED SIGNAL TERM
messages (8.7 MB)
message里显示的都是
Jul 2 08:38:17 tikv0001 systemd: Stopped Start daemon at boot time.
Jul 2 08:38:17 tikv0001 systemd: Starting Start daemon at boot time…
Jul 2 08:38:17 tikv0001 systemd: Started Start daemon at boot time.
Jul 2 08:38:28 tikv0001 systemd: bot.service holdoff time over, scheduling restart.

yilong · 2021 年7 月 2 日 07:54

Jun 30 21:45:08 tikv0001 systemd: Configuration file /usr/lib/systemd/system/bcm-agent-new.service is marked executable. Please remove executable permission bits. Proceeding anyway.
Jun 30 21:45:17 tikv0001 systemd: bot.service holdoff time over, scheduling restart.
Jun 30 21:45:17 tikv0001 systemd: Stopped Start daemon at boot time.
Jun 30 21:45:17 tikv0001 systemd: Starting Start daemon at boot time…
Jun 30 21:45:17 tikv0001 systemd: Started Start daemon at boot time.

不确认这个是否和无法tispark 启动报错有关，可以试试先解决这个问题。可以问下操作系统是否能够查看这个文档。
https://access.redhat.com/solutions/2080483
或者可以试试使用 tiup 安装 tispark

Hacker_Z7JgkkPI · 2021 年7 月 3 日 01:41

使用tiup怎么单独安装tispark啊，我们的集群已经把数据导入进去了

yilong · 2021 年7 月 5 日 00:08

可以在测试环境先按照扩容测试。
https://docs.pingcap.com/zh/tidb/stable/tispark-deployment-topology#tispark-部署拓扑
目前除了不能查看任务，还有其他影响吗？

Hacker_Z7JgkkPI · 2021 年7 月 9 日 00:48

暂时没有

system · 2022 年10 月 31 日 19:16

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。