ng-monitoring-server导致tikv 打开文件数量过多

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】V6.1.0
【遇到的问题：问题现象及影响】
背景：
TIDB 从5.4.0 升级到 6.1.0

线上碰到告警，相关内容：
TiKV_server_report_failure_msg_total

tikv错误日志显示：open too many file

通过抓包分析，句柄来源与ng-monitoring-server，导致打开之后不进行释放。因为机器配置句柄限制为100W，所以达到阈值时，则会导致tikv故障。

2

检查下句柄数量，配置的多少…

ulimit -n

3

配置的100W。监控访问的句柄不释放会不断累加，直到到达峰值，tikv重启之后释放

4

所有的tikv 节点都如此么？

5

linux操作系统要做一下配置，/etc/security/limits.conf
sudo sh -c ‘echo "#liukx " > /etc/security/limits.conf’
sudo sh -c ‘echo “* soft nofile 1048576” >> /etc/security/limits.conf’
sudo sh -c ‘echo “* hard nofile 1048576” >> /etc/security/limits.conf’
sudo sh -c ‘echo "* soft nproc 1048576 " >> /etc/security/limits.conf’
sudo sh -c ‘echo "* hard nproc 1048576 " >> /etc/security/limits.conf’

6

恩所有节点都是如此

7

这几个我看是也一些限制，其中会有告警和报错，和句柄不释放有什么内在的联系吗，没太明白其中道理。