k8s部署tidb pvc不能绑定

h5n1 · 2023 年1 月 9 日 13:45

【版本】
OS：4.19.90-17.ky10.aarch64 、 k8s: v1.24.9 、operator: 1.4.0 、tidb 6.1.2
dyrnq/local-volume-provisioner:v2.5.0
3节点，其中一个为master
【配置信息】
https://raw.githubusercontent.com/pingcap/tidb-operator/v1.4.0/examples/local-pv/local-volume-provisioner.yaml
参考上面配置文件配置的存储，具体见附件tidb_pv.yaml：
tidb_pv.yaml (5.1 KB)

【问题】
apply tidb配置文件后PD处于pending状态， describe信息如下(中间有试过把bindmode改为Immediate)

检查pvc处于pending状态：

pvc describe如下：

检查storeage class存在

1、该如何处理上述问题？

2、官方文档描述如下： https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/configure-storage-class
样例中配置的目录作为发现目录，每个子目录创建一个pv，但这里并没有子目录，如何创建pv?

这里又说每个目录创建一个pv

Lucien · 2023 年1 月 10 日 01:02

这一步是 k8s 操作，所以在文档上面省略，参考一下 k8s 文档试试呢配置 Pod 以使用 PersistentVolume 作为存储 | Kubernetes

yiduoyunQ · 2023 年1 月 10 日 01:31

检查 sc 相关日志确认问题原因，若是本地盘 local-static-provisioner ，提前参考文档中链接步骤挂载目录

h5n1 · 2023 年1 月 10 日 01:44

@Lucien apply tidb集群的配置是会自动创建一个pvc和pv，只是现在pvc报找不到storage class

@yiduoyunQ 配置时就是参看的官方文档，对目录名、pv名等进行了自定义。sc信息如下

localvolume的daemonset日志见附件：
sc.txt (9.9 KB)

yiduoyunQ · 2023 年1 月 10 日 02:02

mount -l | grep pd_data 看看目录下是否有挂载点吧

h5n1 · 2023 年1 月 10 日 02:22

这个在哪看，pd pending状态没法进入pod去看挂载点，pv还没成功

yiduoyunQ · 2023 年1 月 10 日 02:26

node 上确认挂载点，参考官网文档

h5n1 · 2023 年1 月 10 日 02:29

这个步骤是挂载一个具体的独立磁盘给pd使用，我用的是已经挂载的目录/vdata 下面的子目录k8s_storage/pd

必须 --bind方式mount吗

ffeenn · 2023 年1 月 10 日 02:30

可以截图看看 kubectl get pv -A 吗

h5n1 · 2023 年1 月 10 日 02:32

还没有PV, pvc pending状态，运行local volume的daemonset pod见前面的日志

ffeenn · 2023 年1 月 10 日 02:41

PV 没有创建，应该看看 discovery 没有创建pv的原因。

可以看一下他有没有报错

yiduoyunQ · 2023 年1 月 10 日 02:51

如上面说的，参考官网文档里链接的 local-static-provisioner 步骤，在 xxxx 目录下挂载 3 个目录，那么（在这个 node 上） mount path = xxxx 即可生成 3 个可用 pv。
挂载方式不是重点（请避免相同 disk 重复挂载之类的问题，但可参考官网文档链接 Sharing a disk filesystem by multiple filesystem PVs），重点是在 mount path 的底下挂载

ffeenn · 2023 年1 月 10 日 04:20

感觉像是配置文件有问题， storeclass存在确发现不了，如果核对配置文件没有问题，感觉可以降低版本试试

h5n1 · 2023 年1 月 10 日 04:35

我还是没弄太明白，官方文档的样例使用的是单独的磁盘挂载不用组件的目录，hostpath mountpath 内容是一致的，我安照sharefilesystem方式做了几个bind mount，将原来的目录/vadata/k8s_storage/pd 挂载到了/k8spv/pd（mount --bind /vdata/k8s_storage/pd /k8spv/pd）还是pending状态

daemonset pod的volume 和mounts

storageclass configmap

上面的几个目录配置应该没错吧： volumes的path 和hostdir 是node上的mount点，mountpath 和 mountDir 是 pd pod内的挂载点

Discovery: The discovery routine periodically reads the configured discovery directories and looks for new mount points that don’t have a PV, and creates a PV for it.
这里说为发现目录下的挂载点创建pv。这个发现目录是哪一层。