node_exporter tidb最大活动连接数

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】

【概述】场景+问题概述
node_exporter log:
time=“2021-07-16T10:36:44+08:00” level=error msg=“ERROR: systemd collector failed after 0.001569s: couldn’t get units: couldn’t get dbus connection: The maximum number of active connections for UID 1000 has been reached” source=“collector.go:132”

[root@xxxx]# ps h -Led -o user | sort | uniq -c | sort -n
1 postfix
2 dbus
7 polkitd
40 admin
351 tidb
408 root

/etc/security/limits.conf相关参数

  •      soft    nproc     20480
    
  •      hard    nproc     20480
    
  •      soft    nofile    102400
    
  •      hard    nofile    102400
    

root soft nproc unlimited

通过ip:9100/metrics 获取不到,间接性的发生
【背景】做过哪些操作

【现象】业务和数据库现象
业务无影响,仅9100无法获取数据,直到超时

【TiDB 版本】
v4.0.4

1 个赞

这个需要修改 token 的数量
参考下:
image

  1. token-limit 的官方文档说明:
  • TiDB 中同时允许运行的 Session 数量,用于流量控制
  • 默认:1000
  • 如果当前运行的连接多于该 token-limit,那么请求会阻塞,等待已经完成的操作释放 Token
  1. 如果增大token-limit 到3000,那么同时运行的连接数就会是3000, 那么需要考虑的影响就是,多的这些session是否会对 tidb-server 和 tikv-server 产生大的压力。
  2. 可以查看当前的监控系统资源,over-view,如果峰值业务时间段,系统资源占用很低,那么增加token-limit 应该没有问题,如果峰值时间段,系统负载已经很高,业务延时也比较高,那么建议尽量不调整,或者可以试试先少调高一些。
  3. 修改方式参考文档:https://docs.pingcap.com/zh/tidb/stable/maintain-tidb-using-tiup#修改配置参数

参数模板选择对应版本: https://github.com/pingcap/tidb/blob/v4.0.11/config/config.toml.example

https://pingcap.com/docs-cn/stable/reference/configuration/tidb-server/configuration/#--token-limit

感谢,已经解决,跟tidb本身没关系。是systemctl的问题导致busctl里面一堆tidb的东西,并且达到最大值。已经通过systemctl daemon-reexec解决。同时这个问题也影响了ssh(比平时慢10秒左右),通过systemctl restart systemd-logind.service。
参考文档:https://access.redhat.com/discussions/3536621?tour=8

  • 该问题是否已经解决?如已经解决,请 对问题标记【对我有用】,问题 才能被搜索到,也能帮助他人更高效地找到答案。如果你的问题还没有解决,请继续追问及反馈你遇到的问题,附上操作提示或者截图。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。