文件读写变慢时,如何判断存储服务器瓶颈在磁盘还是网络?
文件读写变慢,不能只凭“磁盘使用率接近100%”就认定磁盘性能不足,也不能因为网卡流量没有跑满,就排除网络问题。可靠的判断需要同时比较业务延迟、存储I/O延迟、网络有效吞吐和主机资源状态,再用负载相近的本地访问与远程访问作对照。
如果服务器本地读写也慢,且I/O排队增加,应优先检查存储路径;如果本地读写正常,远程访问明显变慢,同时有效吞吐接近同路径网络传输能力,应优先检查网络。但这两类结论都有前提:缓存状态、文件大小、并发数、读写模式和持久化要求必须可比,CPU、内存、应用与数据库也不能成为被遗漏的限制因素。
一、先确定测试目标:测的是文件传输,还是一次业务请求
“读一个文件需要5秒”不是完整的性能描述。同样是5秒,读取一个5GB文件与打开一个几十KB的小文件,代表的问题完全不同。
大文件连续传输主要关注持续吞吐,小文件访问更依赖单次操作延迟、元数据处理和并发能力。业务请求还可能包含数据库查询、权限检查、解压、加密以及应用线程等待,不能把全部耗时都归到存储服务器。
开始判断前,至少明确以下内容:
| 测试维度 | 需要记录的内容 | 对判断的影响 |
|---|---|---|
| 访问路径 | 本地文件系统、NFS、SMB,或经应用接口访问 | 决定请求经过哪些处理层 |
| 数据形态 | 大文件、小文件、文件数量、目录层级 | 决定更依赖吞吐还是元数据性能 |
| 读写模式 | 顺序或随机、读写比例、单次请求大小 | 决定带宽与IOPS需求 |
| 并发条件 | 客户端数量、线程数、在途请求数 | 决定是否能发挥设备能力,以及是否形成排队 |
| 完成口径 | 写入缓存即返回,还是要求同步持久化 | 决定写入延迟能否直接比较 |
| 业务目标 | 每秒处理量、平均延迟、P95/P99延迟 | 决定怎样才算性能恢复 |
其中,P95延迟表示95%的请求耗时不超过该值,P99同理。平均延迟适合观察总体变化,但可能掩盖少量持续拖慢业务的请求。
还要确认“本地磁盘”的真实含义。虚拟机中的块设备、网络块存储、分布式存储卷,虽然表现为本地设备,底层仍可能经过网络。此时本地文件测试只能排除部分文件共享协议或应用层开销,不能直接排除后端存储网络。
本地与远程对照的价值,是缩小瓶颈所在的路径,而不是凭一次速度差异直接给某块硬盘定性。
二、把指标关联起来,而不是逐个寻找“超标值”
延迟、吞吐和并发需要一起看
吞吐表示单位时间内完成多少数据或操作;延迟表示单次操作需要多久;并发表示同时有多少请求处于处理过程中。
在稳定运行、统计边界一致时,可以用一个近似关系理解它们:
平均在途请求数 ≈ 每秒完成请求数 × 平均响应时间。
例如,每秒完成800次文件操作,平均响应时间为25毫秒,即0.025秒,则平均约有20个请求处于处理过程中。这里统计的是完整文件操作,不能直接等同于磁盘队列长度,因为一次文件操作可能触发多个I/O,也可能命中缓存。
增加并发后,如果吞吐继续提高、延迟变化较小,系统可能尚未达到当前负载下的能力边界;如果吞吐基本不变而延迟明显增加,则新增请求主要进入了队列。
磁盘指标:重点观察延迟与排队的共同变化
Linux环境中,常用指标包括:
- 读写吞吐:设备每秒实际处理的数据量,适合分析大块连续传输。
- IOPS:每秒完成的I/O次数,适合分析小块随机访问。
r_await、w_await:块设备层读、写请求的平均等待与处理时间,不等于单个介质的纯服务时间。aqu-sz:平均在途I/O数量,可辅助观察排队变化,旧版工具字段名称可能不同。%util:统计周期内设备存在I/O活动的时间比例,不是适用于所有设备的“性能用尽百分比”。
单块机械硬盘、RAID、NVMe和虚拟块设备对并行请求的处理能力不同,不能统一规定“%util超过某个值就是瓶颈”。尤其是多队列设备,较高的忙碌比例不代表所有并行能力都已耗尽。
更有说服力的组合是:业务变慢时,设备延迟和在途I/O同步上升,而完成吞吐不再增加。 这说明存储路径出现了饱和或等待,但还要继续区分介质、控制器、阵列后台任务以及后端限速等原因。
网络指标:看有效传输能力,也看等待和异常
链路标称带宽与文件有效吞吐不是同一个数值。按十进制单位换算:
- 1Gbps ÷ 8 = 125MB/s。
- 10Gbps ÷ 8 = 1250MB/s。
这些是链路速率换算值,不是应用一定能得到的文件传输速度。协议开销、报文大小、加密、客户端能力和服务端处理都会影响结果。
判断网络时,应同时观察:
| 网络观察项 | 能说明什么 | 不能单独证明什么 |
|---|---|---|
| 接口收发速率 | 当前流量是否接近接口或已知路径能力 | 流量低不代表网络正常 |
| TCP重传变化 | 传输可能存在丢包、拥塞或链路异常 | 少量重传不一定是主要瓶颈 |
| RTT及其波动 | 往返等待是否增加 | RTT升高不一定来自带宽不足 |
| 网卡错误、丢弃计数增量 | 本机接口或接收处理可能异常 | 累计计数不能代表当前故障 |
| 同路径纯网络传输能力 | 给文件传输提供网络侧参考上限 | 不能代替实际文件协议性能 |
对需要频繁请求与响应的小文件操作,即使带宽使用率很低,网络往返时延也可能成为主要限制。因此,“网卡只用了10%”不是排除网络的充分依据。
CPU与内存:低总体占用也可能限制读写
文件共享服务、校验、压缩和加密都可能消耗CPU。若关键处理线程只能使用一个核心,整机CPU平均占用不高,也可能已经达到单线程上限。应观察每个逻辑CPU和相关进程、线程,而不是只看一个总体百分比。
内存则要结合可用内存、回收活动、交换读写和缓存命中情况判断。文件缓存占用较多通常是正常现象;持续交换、频繁直接回收,或者工作集增长后大量缓存失效,才更值得关注。
另外,iowait不是“磁盘利用率”。它反映的是CPU在特定统计条件下等待I/O的时间,不能据此直接定位某个设备,也不能因为它较低就排除存储延迟。
三、控制影响变量,让本地与远程结果可以比较
对照时保持负载一致
有效的对照至少要尽量保持文件类型、请求大小、读写比例、并发数和完成口径一致。
用本地顺序读取一个大文件得到800MB/s,再与远程随机打开数万个小文件得到的速度比较,无法判断网络损失。两者消耗的资源根本不同。
更实用的测试关系是:

- 在存储服务器侧观察同类本地文件访问,建立存储路径基线。
- 在客户端通过实际文件协议访问相同类型的数据,观察完整路径。
- 必要时,在同一对主机、相同方向和相同网络路径上测量不依赖文件存储的传输能力。
- 在几个可控并发档位下重复,观察吞吐何时停止增长、延迟何时开始陡升。
这些测试应错开执行,避免互相争抢资源。生产环境优先利用已有业务和只读观测;主动负载测试应获得授权,设置速率上限,并安排在受控窗口。
如需测试写入,应使用有容量限制的独立测试目录和可丢弃文件,提前确认备份、剩余空间、配额及影响范围,不对裸设备或业务数据执行覆盖测试。出现业务延迟恶化时立即停止,恢复测试前的负载状态,核对路径后再清理测试文件。
缓存和持久化口径必须单独记录
第一次读取较慢、第二次明显变快,往往是缓存带来的差异。远程访问还可能同时受到客户端缓存、服务端页缓存和存储设备缓存影响。
应把测试区分为:
- 缓存命中场景:用于分析常见热数据访问能力。
- 持续落到存储的场景:用于分析后端存储能力,需要确认实际设备I/O,而不只是选择一个“大文件”。
不要为了制造冷缓存,在生产服务器上随意清空系统缓存。可以在隔离环境准备独立数据集,并结合设备读写量验证请求是否真正到达后端。
写入同样如此。应用很快返回,可能只是数据进入内存;随后后台回写仍在持续。一个仅持续十几秒的写入峰值,不能证明磁盘能够长期维持同样速度。同步写入与普通缓冲写入也不能直接横向比较。
用同一时间窗口采集主机数据
以下命令适用于安装了相应工具的Linux环境。其中iostat、mpstat、sar通常由sysstat软件包提供;字段和选项应以本机版本为准。命令为只读观测,不修改配置。
# 查看设备吞吐、平均延迟及队列情况
iostat -xz -y 1 10
# 查看运行队列、内存、交换与CPU状态
vmstat 1 10
# 查看各逻辑CPU的负载分布
mpstat -P ALL 1 10
# 查看网络接口流量、错误及TCP相关统计
sar -n DEV,EDEV,TCP,ETCP 1 10
可在不同终端同时采集,并与业务监控对齐时间。vmstat首个数据行中的部分指标反映自启动以来的平均情况,分析当前变化时应主要看后续采样;示例中的iostat -y用于跳过首份自启动累计报告。
这些工具提供的是采样平均值,不能直接给出文件请求的P99延迟。后者仍需来自应用日志、客户端计时或服务端请求统计。对于短暂卡顿,还应保留比十秒示例更长的观测窗口。
四、如何解释结果:四类典型对照
以下为用于说明判断方法的示例数据,并非某台服务器的实测结果。
情况一:大文件传输接近网络能力,本地存储仍有余量
一组顺序读取对照得到:

| 项目 | 示例结果 |
|---|---|
| 服务端本地持续读取 | 520MB/s |
| 客户端远程读取 | 112MB/s |
| 同方向、同路径纯网络有效吞吐 | 114MB/s |
| 网络链路 | 1Gbps |
| 存储表现 | 延迟较低,队列未随业务明显增长 |
112MB/s换算为896Mbps,约为1Gbps标称速率的89.6%。单看这个比例,还不能直接宣布网络饱和;但它已接近同路径测得的114MB/s有效传输能力,而本地存储能力明显更高,因此可以把主要限制定位到网络传输路径。
这种情况下,继续增加磁盘并行度通常难以明显提升该次文件传输速度。后续应核对实际协商速率、路径中的带宽限制、客户端接入能力,以及业务是否存在多条独立并发流。
情况二:带宽很空闲,但小块随机I/O已经排队
业务以4KiB随机读取为主,存储侧约完成5000次I/O每秒,则数据吞吐约为:
4096字节 × 5000次/秒 = 20,480,000字节/秒,即20.48MB/s。
对应网络数据量约为163.84Mbps,尚未计入协议开销。对10Gbps链路而言,这个流量不高,但不代表系统还有大量可用的文件处理能力。
如果并发增加后,IOPS仍停留在相近水平,读延迟却从约2毫秒升至15毫秒,并且本地同类访问也出现类似退化,应优先检查存储I/O路径。
这里的主要矛盾是小块随机操作的处理能力与排队,不是大文件带宽。换更高速率的网卡,未必能改善这一类负载。还应核对阵列重建、后台整理、设备限速或共享存储争用,而不是直接判断磁盘损坏。
情况三:存储和网络都没跑满,某个CPU核心已接近满载
远程读写较慢,但磁盘延迟稳定、网卡吞吐不高,某个逻辑CPU却长期繁忙;同时文件服务或应用线程消耗较多CPU时间。
此时需要把注意力转向协议处理、加密、压缩、校验或单线程执行路径。若增加客户端并发后,CPU热点不变、吞吐也不增长,更应检查处理链路的串行部分。
不过,单核忙碌还只是线索。应结合进程、线程和请求耗时,确认它是否处在业务关键路径上,不能仅凭一个CPU图表就认定需要升级处理器,也不应为追求速度直接关闭必要的安全功能。
情况四:只有业务接口慢,直接文件访问正常
客户端直接访问文件正常,但业务接口响应变慢,说明还需要拆分应用耗时:
- 请求是否先等待连接池或工作线程?
- 数据库查询、事务锁等待是否增长?
- 是否在返回文件前执行扫描、解析、压缩或大量元数据查询?
- 是否因内存压力触发频繁回收,导致应用间歇性停顿?
数据库还要区分慢查询、锁等待和同步日志写入。同步写入可能让请求依赖单次持久化延迟,即使总写入带宽很低,也会产生明显等待;锁等待则可能几乎不产生额外磁盘流量。
只有文件访问与业务请求使用同一时间窗口,且耗时能够分段对应,才能判断“存储慢”究竟是原因,还是应用等待后的表象。
五、决策边界:何时调整,何时继续取证
可以把阶段性结论归纳为以下几种,但每种结论都需要对应证据:
| 阶段性判断 | 主要依据 | 下一步重点 |
|---|---|---|
| 网络路径限制 | 本地同类访问正常,远程吞吐接近同路径网络能力 | 检查链路、路径限制及客户端接入 |
| 存储I/O路径限制 | 本地也慢,延迟与排队增长,吞吐或IOPS进入平台 | 检查设备、阵列、后台任务和存储限额 |
| CPU处理限制 | 关键线程或核心饱和,磁盘与网络仍有余量 | 检查协议及应用处理热点 |
| 内存压力 | 回收、交换与业务卡顿同步出现 | 核对工作集、缓存及进程内存需求 |
| 应用或数据库限制 | 文件访问正常,请求时间耗在队列、查询或锁等待 | 分析应用分段耗时及数据库等待事件 |
多个瓶颈也可能先后出现。网络升级后,原本被遮住的磁盘限制可能暴露;存储提速后,CPU或客户端又可能成为新的上限。因此,修改后的复测不能只看被调整的部件。
文件读写链路涉及存储与网络资源,A5idc数据提供香港、美国、日本等地的物理服务器,涵盖NVMe存储、大容量多盘HDD及不同线路配置,可为文件服务、数据库和跨区域业务提供计算、存储与网络资源。香港存储系列提供四块14TB企业级机械硬盘方案,日本部分方案有多盘HDD或SSD,香港及美国也有采用NVMe的服务器,满足容量型文件存放与日常业务读写等不同资源需求。
以相同条件复测,而不是只比较一个峰值
复测应保持数据规模、读写比例、请求大小、并发数、缓存口径、持久化要求和统计方法一致。每轮尽量只改变一个主要因素,并同时记录业务吞吐、P95/P99延迟、设备延迟、队列及网络状态。
持续时间要覆盖缓存回写和业务波动。短时测试适合发现明显限制,容量判断则需要覆盖有代表性的高峰周期;如果测试结束后仍有大量后台回写,不能把结束前的短时写入速率视为可持续能力。
容量也应按“满足延迟目标时的持续处理量”估算,而不是按曾经出现的最高速度计算。例如,某路径在代表性负载下可持续提供115MB/s,规划时暂留30%余量,则参考业务量为:
115MB/s × 70% = 80.5MB/s。
这只是带宽维度的规划示例,不是通用安全比例。小文件业务还要单独核对IOPS、元数据操作和尾延迟;备份、快照、重建及突发访问也需要留出资源空间。
最终可执行的判断标准是:在目标并发和代表性数据规模下,业务吞吐达到要求,尾延迟处于目标范围,存储队列没有持续增长,后台写入能够回落。满足这些条件后,再依据增长趋势规划扩容,比仅凭“磁盘忙”或“网络没跑满”作决定更可靠。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9689.html

