tiup cluster deploy 成功，但是start 报错，pd 和tidb启动不起来

dong · 2022 年9 月 15 日 08:59

【 TiDB 使用环境】生产环境
【 TiDB 版本】
V5.4.0
【遇到的问题】
tiup cluster deploy 成功，但是start 报错，pd 和tidb启动不起来,pd错误如下：ace left on device
Failed to write to log, write /data1/tidb-deploy/pd-2379/log/pd.log: no space left on device
[2022/09/14 09:57:42.181 +08:00] [WARN] [retry_interceptor.go:61] [“retrying of unary invoker failed”] [target=endpoint://client-45d8c668-704a-472e-876c-b0168fef1cd8/10.71.130.114:2380] [attempt=0] [error=“rpc error: code = DeadlineExceeded desc = latest balancer error: all SubConns are in TransientFailure, latest connection error: connection error: desc = "transport: Error while dialing dial tcp 10.71.130.114:2380: connect: connection refused"”]
Failed to write to log, write /data1/tidb-deploy/pd-2379/log/pd.log: no space left on device

【复现路径】做过哪些操作出现的问题
tiup cluster start tidb-ipps 就会报这个错
【问题现象及影响】

【附件】

请提供各个组件的 version 信息，如 cdc/tikv，可通过执行 cdc version/tikv-server --version 获取。

Ming · 2022 年9 月 15 日 09:08

磁盘空间不足 no space left on device

wisdom · 2022 年9 月 15 日 09:23

检查节点磁盘

dong · 2022 年9 月 15 日 09:34

嗯，日志没粘对，error="mkdir /data1/tidb-data/pd-2379/member/snap: permission denied 是这个错，tiup cluster start tidb-ipps 的时候

dong · 2022 年9 月 15 日 09:36

嗯，日志没粘对，error="mkdir /data1/tidb-data/pd-2379/member/snap: permission denied 是这个错，tiup cluster start tidb-ipps 的时候，我是用root用户deploy的，也是用root start的

dong · 2022 年9 月 15 日 09:40

deploy 成功后是这样的，不知道哪不对劲，不重要的up了，关键的down 或是NA
10.71.130.114:3000 grafana 10.71.130.114 3000 linux/x86_64 Up - /data1/tidb-deploy/grafana-3000
10.71.130.114:2379 pd 10.71.130.114 2379/2380 linux/x86_64 Down /data1/tidb-data/pd-2379 /data1/tidb-deploy/pd-2379
10.71.130.114:9090 prometheus 10.71.130.114 9090/12020 linux/x86_64 Up /data1/tidb-data/prometheus-9090 /data1/tidb-deploy/prometheus-9090
10.71.130.114:4000 tidb 10.71.130.114 4000/10080 linux/x86_64 Down - /data1/tidb-deploy/tidb-4000
10.71.130.114:9000 tiflash 10.71.130.114 9000/8123/3930/20170/20292/8234 linux/x86_64 N/A /data1/tiflash/data,/data2/tiflash/data /data1/tidb-deploy/tiflash-9000
10.71.130.111:20160 tikv 10.71.130.111 20160/20180 linux/x86_64 N/A /data1/tidb-data/tikv-20160 /data1/tidb-deploy/tikv-20160
10.71.130.112:20160 tikv 10.71.130.112 20160/20180 linux/x86_64 N/A /data1/tidb-data/tikv-20160 /data1/tidb-deploy/tikv-20160
10.71.130.113:20160 tikv 10.71.130.113 20160/20180 linux/x86_64 N/A /data1/tidb-data/tikv-20160 /data1/tidb-deploy/tikv-20160

Ming · 2022 年9 月 15 日 09:49

去手动创建一下，看一下什么效果呢

dong · 2022 年9 月 15 日 09:57

手动创建文件，是可以的，已经试验过了

alfred · 2022 年9 月 15 日 11:07

看起来是目录权限问题

wuxiangdong · 2022 年9 月 15 日 12:42

好像是磁盘空间的问题

cheng · 2022 年9 月 16 日 00:49

[quote=“dong, post:5, topic:933466”]
mkdir /data1/tidb-data/pd-
[/quote]机器间要做互信，你做了吗

dong · 2022 年9 月 16 日 00:50

请问怎么做呢？没搜到相关资料，按着教程来的，没注意到有这一步

cheng · 2022 年9 月 16 日 00:55

TiDB 环境与系统配置检查 | PingCAP Docs
这个安装前环境配置里面有些

cheng · 2022 年9 月 16 日 00:56

看到你报错是没有权限，你检查一下中控机到所有的机器是不是可以直接ssh 并且可以mkdir

xiaohetao · 2022 年9 月 16 日 02:21

这个是没有空间了

xiaohetao · 2022 年9 月 16 日 02:29

1、启动之前目录权限是什么？
2、yaml 配置文件中的用户是什么？
3、免密（配置文件中用户免密登陆该节点的root用户）和互信（中控机免密登陆其他节点）配置是否正确

dong · 2022 年9 月 16 日 03:58

嗯，第三点确实没做，正看怎么做呢，有啥工具能快速做到互信么？

dong · 2022 年9 月 16 日 03:58

确实，ssh 到别的机器，需要输入密码，可能需要做免密，请问有啥工具可以做这个事么？

Ming · 2022 年9 月 16 日 04:10

https://docs.pingcap.com/zh/tidb/stable/check-before-deployment#手动配置-ssh-互信及-sudo-免密码
这里有配置互信

dong · 2022 年9 月 16 日 05:05

嗯，我看的就是这个，第三步看的不啥很明白，而且我用的是tiup，

写的是自动，很奇怪为什么没有，我是中控机a ，配的tikv 是b/c/d b是可以互通的，c、d不可能，很奇怪