tidb查看系统变量非常慢

newHE3DBer · 2021 年4 月 28 日 03:19

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【TiDB 版本】
V4.0.10
【问题描述】
tidb查看系统变量非常慢耗时100s
show global variables like ‘%max%’;

tidb日志出现：大量的如下警告：

tikv日志出现：大量的日志中出现：

具体的监控如下：

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

tison · 2021 年4 月 28 日 04:51

这个问题的原因应该已经被定位正在处理

https://github.com/pingcap/tidb/issues/24326

newHE3DBer · 2021 年4 月 28 日 05:52

我这边不是第一次执行show global variables like ‘%max%’;我执行很多次，每次都很慢
这集群是使用operator部署的

newHE3DBer · 2021 年4 月 28 日 05:53

但是在物理机上部署的集群查询不慢

Jiahao · 2021 年4 月 28 日 06:38

跑其它 sql 也慢吧？ log 里是不停有 not leader(pd 在不停切 leader?) 另外有一个 tikv 挂了？

这个问题跟本身怎么部署应该没什么关系

newHE3DBer · 2021 年4 月 28 日 06:54

newHE3DBer · 2021 年4 月 28 日 07:16

是的，pd在不断的切换

Jiahao · 2021 年4 月 28 日 07:37

能提供下 pd log 吗
（另外看一开始的监控有一个 kv low space? 是有一个 kv 的数据特别多？）

newHE3DBer · 2021 年4 月 28 日 08:00

刚刚查了一下tidb,pd的资源配置

原来的cpu和memory设置的很小，设置调大了就可以

newHE3DBer · 2021 年4 月 28 日 08:05

另外我想问一下物理机部署的话有tidb,pd,tikv资源使用的限制的配置吗

Jiahao · 2021 年4 月 28 日 08:14

github.com

pingcap/tiup/blob/334c38a96e2e08beb49ab420966882af85cc1030/embed/templates/examples/minimal.yaml#L19


ssh_port: 22
# # Storage directory for cluster deployment files, startup scripts, and configuration files.
deploy_dir: "/tidb-deploy"
# # TiDB Cluster data storage directory
data_dir: "/tidb-data"
# # Supported values: "amd64", "arm64" (default: "amd64")
arch: "amd64"
# # Resource Control is used to limit the resource of an instance.
# # See: https://www.freedesktop.org/software/systemd/man/systemd.resource-control.html
# # Supports using instance-level `resource_control` to override global `resource_control`.
# resource_control:
#   # See: https://www.freedesktop.org/software/systemd/man/systemd.resource-control.html#MemoryLimit=bytes
#   memory_limit: "2G"
#   # See: https://www.freedesktop.org/software/systemd/man/systemd.resource-control.html#CPUQuota=
#   # The percentage specifies how much CPU time the unit shall get at maximum, relative to the total CPU time available on one CPU. Use values > 100% for allotting CPU time on more than one CPU.
#   # Example: CPUQuota=200% ensures that the executed processes will never get more than two CPU time.
#   cpu_quota: "200%"
#   # See: https://www.freedesktop.org/software/systemd/man/systemd.resource-control.html#IOReadBandwidthMax=device%20bytes
#   io_read_bandwidth_max: "/dev/disk/by-path/pci-0000:00:1f.2-scsi-0:0:0:0 100M"
#   io_write_bandwidth_max: "/dev/disk/by-path/pci-0000:00:1f.2-scsi-0:0:0:0 100M"

https://docs.pingcap.com/zh/tidb/stable/tiup-cluster-topology-reference

newHE3DBer · 2021 年4 月 28 日 08:15

谢谢！

newHE3DBer · 2021 年4 月 29 日 05:49

在系统配置中没有memory_limit，cpu_quota参数，请问如何获取这些参数呢

Jiahao · 2021 年4 月 29 日 06:28

这个是指比如部署时对应的 resource limit 吗？是的话是没得查系统参数的。
其它问题请另外发帖谢谢

newHE3DBer · 2021 年4 月 29 日 06:31

那我怎么知道对应的组件设置资源限制成功了呢

yilong · 2021 年4 月 29 日 13:23

先在说的是tiup部署吗？那么查看 systemd 下的service文件，里面会有这些限制参数的，这些是系统参数。