PD集群启动失败

TiDBer_G64jJ9u8 · 2024 年9 月 3 日 11:52

【 TiDB 使用环境】测试/ Poc
【 TiDB 版本】6.5.8
【复现路径】K8S 1.23 使用TiOperator部署
【遇到的问题】PD经常启动失败
【资源配置】
【附件：截图/日志/监控】
cluster-2:~ # kubectl logs -f -n namespace basic-pd-0
Server: 10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

有没有大神回答下，后面这个报错的原因，我看了正常启动的时候，join的成员是3个啊。为啥说不能包含自己。

TiDBer_jYQINSnf · 2024 年9 月 3 日 12:10

Answer

这个错误的原因是 PD 服务器的 join 配置中包含了一个无效的 URL。具体来说,问题出在以下配置行:
--join=http://basic-pd-2.basic-pd-peer.namespace.svc:2380,http://basic-pd-1.basic-pd-peer.namespace.svc:2380,http://basic-pd-0.basic-pd-peer.namespace.svc:2380/
错误信息指出 URL 不能包含路径,但最后一个 URL http://basic-pd-0.basic-pd-peer.namespace.svc:2380/ 末尾多了一个斜杠 /。这个多余的斜杠被解释为路径,导致了错误。

要解决这个问题,你需要移除最后一个 URL 末尾的斜杠。正确的配置应该是:
--join=http://basic-pd-2.basic-pd-peer.namespace.svc:2380,http://basic-pd-1.basic-pd-peer.namespace.svc:2380,http://basic-pd-0.basic-pd-peer.namespace.svc:2380
这个错误与 join 配置包含自身无关。PD 服务器在启动时可以包含自己的 URL 在 join 列表中,这是允许的。问题纯粹是由于 URL 格式不正确造成的。

要修复这个问题:

检查你的 PD 配置文件(通常是 pd.toml)。

找到 join 配置项。

确保所有的 URL 都不包含末尾的斜杠。

保存更改并重启 PD 服务器。

如果你使用的是 Kubernetes 部署,你可能需要更新你的 Kubernetes 配置文件(如 ConfigMap 或 StatefulSet 定义)来修复这个问题。

这个错误强调了在配置分布式系统时需要格外注意细节,即使是一个小小的斜杠也可能导致启动失败12。

Footnotes

PD Configuration File | PingCAP Docs

TiDB Cluster Troubleshooting | PingCAP Docs

以上答案来自于 tidb.ai。可以试试有没有作用

下面的答案是我本来要说的：
既然你是tidb-operator部署的，拿出来你的tc看看，按理说你都不会动到pd的启动参数的。

TiDBer_ZxWlj6A1 · 2024 年9 月 3 日 13:39

看报错etcd无法启动。

koby · 2024 年9 月 4 日 00:18

配置文件看看

迷途小书童 · 2024 年9 月 4 日 00:40

跟大佬们学习下。

xiaohaozifeifeifei · 2024 年9 月 4 日 00:53

etcd close？是不是etcd有问题

TiDBer_G64jJ9u8 · 2024 年9 月 4 日 02:31

这个根本不是自己配的，这个是TiOperator自动配置的内容。

tc配置如下：
apiVersion: pingcap.com/v1alpha1
kind: TidbCluster
metadata:
name: basic
namespace: namespace
spec:
version: v6.5.8
preferIPv6: false
timezone: UTC
pvReclaimPolicy: Retain
discovery: {}
pd:
podManagementPolicy: Parallel
baseImage: pingcap/pd
replicas: 3
# if storageClassName is not set, the default Storage Class of the Kubernetes cluster will be used
storageClassName: tidb-pd-storage-namespace
requests:
storage: “1Gi”
config: {}
nodeSelector:
node-role.kubernetes.io/master: “”
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app.kubernetes.io/component
operator: “In”
values:
- “pd”
topologyKey: “kubernetes.io/hostname”
tikv:
podManagementPolicy: Parallel
baseImage: pingcap/tikv
replicas: 3
# if storageClassName is not set, the default Storage Class of the Kubernetes cluster will be used
storageClassName: tidb-kv-storage-namespace
requests:
storage: “20Gi”
config:
raftdb:
compaction-readahead-size: 2MiB
defaultcf:
max-write-buffer-number: 10
target-file-size-base: 32MiB
raftstore:
sync-log: true
readpool:
coprocessor:
use-unified-pool: true
storage:
use-unified-pool: true
unified:
max-thread-count: 10
rocksdb:
compaction-readahead-size: 2MiB
defaultcf:
max-write-buffer-number: 10
target-file-size-base: 32MiB
storage:
block-cache:
capacity: 2GiB
shared: true
strict-capacity-limit: true
reserve-space: 0MB
nodeSelector:
node-role.kubernetes.io/master: “”
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app.kubernetes.io/component
operator: “In”
values:
- “tikv”
topologyKey: “kubernetes.io/hostname”
tidb:
podManagementPolicy: Parallel
baseImage: pingcap/tidb
replicas: 3
limits:
memory: 8Gi
service:
type: ClusterIP
config: |
[instance]
tidb_slow_log_threshold = 10000
nodeSelector:
node-role.kubernetes.io/master: “”
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app.kubernetes.io/component
operator: “In”
values:
- “tidb”
topologyKey: “kubernetes.io/hostname”

TiDBer_G64jJ9u8 · 2024 年9 月 4 日 02:36

etcd是pd内嵌的，源码都没找到，不知道莫名其妙要close

Miracle · 2024 年9 月 4 日 06:34

operator使用的是什么版本的

TiDBer_jYQINSnf · 2024 年9 月 4 日 08:08

看你的tc没啥问题，那检查下operator的版本？

https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/tidb-operator-overview

TiDBer_G64jJ9u8 · 2024 年9 月 4 日 09:04

现在用的1.5.2版本

WalterWj · 2024 年9 月 10 日 07:39

看报错是生成的启动命令行有问题。你要不试试升级下 tidb operator 到 1.6 版本，tidb 到 6.5.10

TiDBer_G64jJ9u8 · 2024 年9 月 10 日 09:09

我准备回退到1.4.7

WalterWj · 2024 年9 月 11 日 02:24

OK 了？

TiDBer_G64jJ9u8 · 2024 年9 月 14 日 08:22

没有，回退到1.4.7发现这个版本不支持IPv6，难了！现在升级到1.5.3再观察。

WalterWj · 2024 年9 月 14 日 08:33

要不用更新的 Orz

kevinsna · 2024 年9 月 15 日 07:47

在配置 PD 集群时，提供的 etcd 初始集群 URL 包含了一个路径，这是不被允许的。在 etcd 的 URL 中，路径部分（即冒号后面的部分）应该是空的，因为 etcd 服务监听的是 IP 地址和端口，而不是特定的路径。 http://basic-pd-0.basic-pd-peer.namespace.svc:2380/ 这个末尾的斜杠去掉试试