关于这个问题，我在 Prometheus 的社区里得到了回答。
当集群节点和数据量的数据较大时，磁盘每隔一段时间会存在写入量过大，因为有数据的压缩和落盘，这个属于 Prometheus 的正常现象。
他们并不推荐修改任何参数来解决问题，修改参数可能会让 Prometheus 服务变的更加糟糕。
我们可以将 Prometheus 作为一个特别的节点来看待，修改该告警规则。
NODE_disk_write_latency - Prometheus server - Prometheus Monitoring System
顺便补充一下：磁盘写入延迟这个指标意义不大，重点可以看 IOPs 指标