实战：使用 Prometheus 快速检测 Linux 文件描述符泄露

你是否也曾遇到过这样的情况？系统看起来一切正常，CPU 不高，内存没问题，但服务偶尔突然挂掉。重新启动服务后，它恢复了正常，又过了几天，问题又再次发生。直到你深入分析，才发现问题并不是在代码中，而是系统的文件描述符（FD）耗尽了。

文件描述符泄露在许多高负载的服务器上是一个“隐形杀手”。它不像 CPU 占用过高那样显眼，但当文件描述符耗尽时，系统便无法打开新文件或建立新的网络连接，最终导致服务中断。

更糟的是，文件描述符泄露问题通常并不会立即显示在系统日志中，也没有明显的错误提示，直到问题恶化到系统无法处理新的请求为止。那么，作为运维人员，如何才能及时发现文件描述符泄露，并防止它影响到服务的稳定性呢？

Table of Contents

文件描述符泄露到底是什么？

首先，为什么文件描述符如此重要？

在 Unix/Linux 系统中，每个打开的文件、套接字（socket）、管道等资源都会分配一个“文件描述符”。这个文件描述符是操作系统为应用程序提供的“标识符”，应用程序通过它来操作文件或与其他系统进行通信。

每个进程都会有一个文件描述符的最大限制，通常是由操作系统的内核决定的。你可以通过以下命令查看这个限制：

bash
ulimit -n

如果文件描述符泄露问题没有被及时发现，系统将会用完所有的文件描述符，导致新连接无法创建。结果就是，应用程序不能打开文件，不能连接数据库，甚至网络请求也会失败，整个服务会崩溃。

泄露通常发生在应用程序打开文件或网络连接后，并且没有在任务完成后关闭它们。简单地说，文件描述符泄露就是“忘记”释放已分配的资源，从而导致资源耗尽，最终导致系统故障。

文件描述符泄露的影响

一个简单的类比：你可以将文件描述符看作是“门票”。每当一个新的“顾客”（即应用程序的文件操作或连接请求）想进入时，你需要给他一张“门票”。如果顾客进门后没有退票（即没有关闭文件或连接），那么其他想要进入的顾客就无法获得门票，导致系统“拒绝服务”。

而这种“拒绝服务”并不是立即发生的，通常是随着系统运行时间的增长，文件描述符逐渐耗尽，最终导致服务不稳定，甚至崩溃。

为什么 Prometheus 是检测文件描述符泄露的利器？

Prometheus 是一款流行的开源监控系统，可以通过多种方式抓取、存储和查询时间序列数据。对于我们监控 Linux 系统的文件描述符使用情况，Prometheus 非常适合，原因如下：

Prometheus 支持自定义指标：我们可以通过 Node Exporter、cAdvisor 等工具获取系统级别的监控数据，结合自定义脚本，获取文件描述符使用情况。
时间序列数据查询：使用 PromQL（Prometheus 查询语言），可以方便地进行时间序列数据的查询，快速分析文件描述符的使用趋势。
灵活的告警机制：通过 Alertmanager，可以设置基于文件描述符使用情况的告警规则，及时发现问题，避免服务中断。
可视化：结合 Grafana，Prometheus 能够为文件描述符使用情况提供漂亮的可视化面板，让你更直观地查看文件描述符的使用和泄露趋势。

如何使用 Prometheus 检测文件描述符泄露？

安装与配置 Node Exporter

为了监控 Linux 系统的文件描述符使用情况，我们首先需要安装 Node Exporter。Node Exporter 是一个用于收集机器性能指标的工具，它能够暴露很多系统指标，包括文件描述符的使用情况。

在 Linux 系统上安装 Node Exporter：

bash
# 下载 Node Exporter
wget https://github.com/prometheus/node_exporter/releases/download/v1.1.2/node_exporter-1.1.2.linux-amd64.tar.gz

# 解压
tar -xvf node_exporter-1.1.2.linux-amd64.tar.gz

# 进入目录
cd node_exporter-1.1.2.linux-amd64

# 启动 Node Exporter
./node_exporter &

Node Exporter 默认会将系统监控数据暴露在 9100 端口上，你可以通过访问 http://localhost:9100/metrics 来查看数据。

查看文件描述符相关的 Prometheus 指标

Node Exporter 会暴露许多关于系统资源的信息，包括文件描述符的相关数据：

node_fd_open: 当前打开的文件描述符数量
node_fd_max: 当前系统最大文件描述符数量

你可以通过以下 PromQL 查询文件描述符使用情况：

promql
rate(node_fd_open[1m])

这个查询会返回过去 1 分钟内打开的文件描述符数量的变化率。

设置告警规则

一旦 Prometheus 开始抓取文件描述符的数据，你可以创建告警规则，提前监控文件描述符泄露的情况。以下是一个简单的告警规则配置：

yaml
groups:
  - name: file_descriptor_alerts
    rules:
      - alert: FileDescriptorLimitExceeded
        expr: rate(node_fd_open[1m]) / node_fd_max > 0.9
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "文件描述符使用超过 90%"
          description: "当前文件描述符使用超过系统最大限制的 90%，可能会导致文件描述符泄露。"

这条规则的意思是：如果文件描述符使用超过系统最大限制的 90% 并持续 5 分钟以上，则触发告警。

结合 Grafana 进行可视化展示

将 Prometheus 与 Grafana 配合使用，可以让你更直观地查看文件描述符的使用情况。你可以在 Grafana 中创建一个仪表盘，展示 node_fd_open 和 node_fd_max 指标的趋势图。

在 Grafana 中，添加 Prometheus 作为数据源。
创建一个新的仪表盘，选择 node_fd_open 和 node_fd_max 作为面板的数据源，绘制图表。
配置告警通知：当 node_fd_open 达到某个阈值时，发送告警邮件或通知。

文件描述符泄露排查

即使你已经设置了告警和可视化面板，文件描述符泄露问题也不是一朝一夕能解决的。你可能需要通过以下几个步骤来排查和修复问题：

检查应用程序日志：检查应用程序是否存在频繁打开文件或连接而未关闭的情况。
增加文件描述符限制：临时提高系统的文件描述符限制，以减轻短期压力，但并非长久之计。
优化应用程序代码：确保每次打开文件或网络连接后，都有相应的关闭操作。

小结

文件描述符泄露是一个悄无声息但致命的问题。通过 Prometheus、Node Exporter 和 Grafana，运维人员可以实现对文件描述符的实时监控和告警，提前发现潜在的资源泄露问题，确保系统的稳定运行。

下一步，确保你已经在生产环境中部署了 Prometheus 和 Node Exporter，并且为文件描述符泄露设置了有效的告警和可视化，确保每一个潜在的资源泄露都不被忽视。

{{userData.name}}已认证