
磁盘还有一半空间,网站却在备份开始后明显变慢;CPU 使用率不高,数据库查询和文件写入都要等很久。这时需要检查读写延迟和排队情况。df -h 反映文件系统容量,不能告诉你磁盘每秒能处理多少请求,也无法说明应用在存储上等了多久。
本文面向 Linux 云服务器上的网站、数据库和文件服务。命令以已安装 sysstat 工具的环境为例,主要执行只读采样。文中的数值解释不代表对读者服务器的实测结果;设备、内核和工具版本不同,字段可能有差异。
先确认慢请求与存储压力发生在同一时段
记录网站变慢的时间、受影响的接口,以及当时是否有数据库备份、日志压缩、批量导入或文件同步。后台任务和线上请求共用云盘时,即便各自没有报错,也可能争用吞吐、IOPS 或实例侧存储带宽。
先检查容量与目标路径:
df -h /var/lib/mysql
df -i /var/lib/mysql
findmnt -T /var/lib/mysql
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
路径仅为示例,应替换成实际的数据、日志或上传目录。df -i 排除 inode 用尽,findmnt 帮助确定该路径处于哪个挂载点。某些旧版 lsblk 不支持 MOUNTPOINTS,可改用 MOUNTPOINT。
数据盘、系统盘、容器可写层和网络挂载不是同一类存储。LVM、设备映射和 RAID 还可能产生多层设备视图。要把业务路径对应到承载它的设备,不能仅凭设备名称猜测,也不要把逻辑层和物理层统计直接相加。
如果已经出现 I/O error、文件系统转只读或设备超时,应同时检查内核与云平台事件。这类故障涉及可靠性,单纯提高性能规格未必能解决。
用 iostat 连续采样,避免把开机累计值当成现场
iostat -xz -y 1 10
这条命令按约一秒间隔输出十次扩展设备统计,-y 跳过首次的开机以来累计报告。没有 iostat 时,先按发行版的软件管理流程安装 sysstat;安装软件属于环境变更,应在允许的窗口进行。
如果本机版本不支持 -y,可以执行 iostat -xz 1 11,忽略第一组累计数据。采样窗口应覆盖网站变慢时段,平稳时的一张截图无法还原早先的拥堵。
建议同时关注这些字段:
| 字段 | 用途与限制 |
|---|---|
r/s、w/s |
每秒完成的读写请求数量,反映设备层请求频率 |
rkB/s、wkB/s |
读写吞吐量,需留意版本显示的单位 |
r_await、w_await |
平均读写请求耗时,包含排队与处理时间 |
aqu-sz |
平均队列长度;旧版可能显示 avgqu-sz |
%util |
设备存在 I/O 活动的时间占比,不能直接换算成所有设备的剩余性能 |
把延迟和排队放在一起看。例如,写入期间 w_await 与队列一起上升,同时业务写入变慢,可以继续寻找写入来源。读写延迟应与本机平时基线和业务要求比较,不能为所有云盘规定一个统一的“超过多少毫秒就坏了”的阈值。
为什么 %util 接近 100% 仍不能单独判定瓶颈
对串行处理请求的设备,较高的 %util 有参考意义。现代 SSD、RAID 和虚拟云盘可以并行处理多个请求,设备在整个采样周期都有活动,并不等于每条并行通道都已耗尽。
反过来,一次持续时间很短但延迟较大的同步写,也可能伤害特定接口,却没有把整段采样的 %util 顶满。平均值还会掩盖尾部延迟。
判断存储是否成为业务瓶颈,需要结合请求延迟、队列、应用响应和平台侧限制。只看到 %util=100 就升级云盘,容易漏掉后台任务争用或应用自身的访问模式问题。
CPU 的 iowait 高,不等于已经找到读写进程
vmstat 1 10
第一行通常是开机以来的统计,后续各行反映采样间隔。wa 可提示 CPU 统计中出现 I/O 等待,b 可提示处于不可中断睡眠的进程数量;它们都需要与设备和进程记录交叉判断。
内核文档提醒,多核环境中的 iowait 归属和计数存在局限,因此不能把它理解成“有多少百分比的进程在等硬盘”。低 iowait 也不能排除存储延迟。
支持压力停顿信息的系统还可读取:
cat /proc/pressure/io
some 表示至少有部分任务因 I/O 停顿的时间占比;full 反映所有非空闲任务同时停顿的时间占比。avg10、avg60、avg300 分别给出不同时间窗口的平均值。文件不存在可能与内核支持或配置有关,不代表没有 I/O 压力。
这些压力指标能辅助观察任务受影响程度,但不会直接指出某块盘、某个目录或某条 SQL。需要继续定位进程。
找到正在读写的进程,再对照业务任务
pidstat -d -p ALL 1 10
pidstat 同属 sysstat,可观察进程读写速率。对于版本支持且内核启用相关统计的环境,输出还可能包含 iodelay。没有该字段或值为零,不能证明进程完全没有等待。
发现某个 PID 后,可查看其基本信息:
ps -p 1234 -o pid,ppid,user,etime,stat,comm
sudo cat /proc/1234/io
将 1234 替换为实际 PID。/proc/PID/io 是累计计数,可间隔读取两次观察变化;采样期间进程可能退出,PID 也可能被复用。页面缓存、后台回写和容器层会影响进程统计与设备统计的对应关系,所以两者数值不要求逐项相等。
常见来源包括备份程序、数据库、同步工具和日志压缩。进程名只能提供线索,还需对照其运行时间、任务日志和实际业务。内核回写线程活跃时,产生脏页的应用可能早已完成写入调用。
不要根据读写量直接结束数据库或内核线程。对于确认可中断的后台任务,使用其自身的暂停或限速功能,观察业务延迟是否恢复。任何会中断生产任务的操作,都应先确认任务负责人、恢复方式和数据一致性要求。
云盘容量、IOPS 和吞吐量分别核对
云盘没写满,不代表性能没有触顶。应在控制台核对实际卷类型、配置的 IOPS、吞吐、实例侧带宽以及平台提供的排队和节流指标。部分卷还有突发额度或容量与性能关联规则,具体按当前产品文档判断。
请求大小不同,触达上限的方式也不同。小块随机请求更容易先受请求次数约束;大块顺序传输可能先达到吞吐上限。应用的一次读写调用又可能在内核或存储链路上被拆分、合并,不能把应用调用次数直接当作云平台计费或性能指标中的 IOPS。
例如,AWS 官方文档按 EBS 卷类型分别列出 IOPS 和吞吐能力;其他云平台也有自己的计量口径和实例限制。本文不提供跨平台通用规格数字,采购或扩容前应核对当前区域、实例和卷的限制。
若设备统计不高但应用仍在等,继续查网络文件系统延迟、文件锁、数据库锁、连接池和应用内部排队。网络挂载的压力不一定会显示成某块本地块设备的高负载。
修复应对应已确认的读写来源
可以从影响较小的措施开始:
- 备份、日志压缩与批量同步挪开业务高峰,必要时采用工具支持的限速,保留完成时限和恢复验证。
- 数据库产生大量读请求时,检查慢查询和执行计划;新增索引、修改参数或结构前评估锁、磁盘空间和回滚方案。
- 重复读取相同资源时,评估应用缓存与查询复用;减少读写次数后再次采样,确认延迟确实下降。
- 云平台明确显示卷或实例达到性能限制时,再评估扩容、规格调整或数据迁移,预先检查变更能否回退及快照恢复方案。
对不同介质和调度器,ionice 的效果存在差异;仅设置进程 I/O 优先级不能保证限住全部设备带宽。若采用 cgroup I/O 控制,还需确认实际 cgroup 版本、设备映射、权限和控制范围,避免把整个业务组一起限制。
现场也不适合直接运行高负载 fio、清理缓存或递归扫描整个数据目录。压测会额外争用资源,写测试还可能破坏数据。需要压测时,应安排独立测试卷、明确测试文件和停止条件,并选择维护窗口。
用同一段业务负载验证改动
调整后重新采集同样的 iostat、pidstat 和应用响应指标,覆盖原来变慢的时段。既看平均延迟,也检查业务错误、长尾请求和后台任务是否仍能按时完成。
若将备份错峰后网站恢复,但备份时间超出可接受窗口,问题还没有完整解决。若升级卷后设备指标改善、接口仍慢,应回到应用链路继续检查,不能把存储优化结果替代网站效果。
本机只读采样命令结束后无需回滚;持续跟踪可按 Ctrl+C 停止。涉及任务计划、数据库、云盘规格和数据迁移的变更,应分别保留原配置与恢复步骤。能够对照同一负载证明等待时间下降,才有依据保留本次调整。
官方参考资料
核验日期:2026 年 11 月 16 日。字段和行为应对照本机工具、内核及云平台版本。




