tidb server已经在配置文件中限制了内存,但是还是爆满了。

这个是在“ 通过 TiUP 部署 TiDB 集群”时的拓扑配置文件中定义的。
可以参考文档: https://docs.pingcap.com/zh/tidb/stable/tiup-cluster-topology-reference#global (本质上是使用 systemd 的系统限制功能)