IIS请求队列持续堆积怎么排查?如何区分应用处理慢与并发不足
IIS 请求队列持续增长,说明请求进入 Windows HTTP.sys 后,暂时不能及时交给应用处理,或应用处理速度低于请求到达速度。队列本身不是根因:CPU、内存、磁盘、网络、应用代码、数据库以及应用程序池的并发设置,都可能造成相似现象。排查时应同时观察队列变化、请求耗时和资源指标,而不是看到队列数升高就直接增加队列上限或服务器配置。
先确认影响范围:是单个站点、单个应用程序池,还是同一台服务器上的多个站点;是持续增长,还是短时突增后能回落;请求是否超时、返回 503,或只有部分接口变慢。把队列曲线与请求量、错误率和响应时间按同一时间轴对齐,通常能先判断问题发生在整机、应用程序池还是某条业务链路。
先确认队列发生在哪里
IIS 前的请求通常先由 HTTP.sys 接收,再进入对应应用程序池的请求处理流程。HTTP.sys 中的队列持续变长,说明请求到达速度超过了其交付或下游处理能力;但仅凭这个数字,无法分辨是工作进程忙、应用线程不足,还是应用在等待数据库、磁盘或其他依赖。

先在性能监视器中采集以下计数器,建议以 5~15 秒间隔连续观察一段时间,并记录告警开始前后的变化:
| 观察对象 | 建议计数器或指标 | 主要用途 |
|---|---|---|
| HTTP.sys 请求队列 | HTTP Service Request Queues 下的 CurrentQueueSize、RejectedRequests | 确认队列是否持续积压、是否已经拒绝请求 |
| IIS 请求处理 | Web Service 下站点的 Current Connections、请求速率相关计数器 | 对照连接数和请求到达量 |
| 处理器 | Processor(_Total)\% Processor Time,以及各 w3wp.exe 的 CPU | 判断整机或特定工作进程是否繁忙 |
| 内存 | 可用内存、提交量、各 w3wp.exe 的 Private Bytes | 发现内存压力、工作集波动或进程异常增长 |
| 磁盘 | 相关磁盘的读写延迟、队列和吞吐量 | 判断日志、临时文件或数据文件 I/O 是否受限 |
| 网络 | 网卡吞吐、丢包、错误,以及请求来源分布 | 排查带宽、链路或异常流量问题 |
计数器名称会受 Windows 版本、语言和已安装组件影响。若性能监视器中找不到名称,可用 Get-Counter -ListSet * 查看本机实际提供的计数器集,或直接通过性能监视器添加计数器确认。不要把 CurrentQueueSize 的某个瞬时值单独当成故障结论;更有价值的是它是否持续上升、是否伴随拒绝请求,以及恢复后能否回落。
同时检查 IIS 访问日志中的时间戳、状态码、子状态码和 time-taken。日志一般在请求完成时写入,因此队列中的请求可能尚未出现在日志里;日志只能反映已完成请求,不能单独代表正在排队的请求。若队列持续变长而完成请求的日志量下降,说明处理能力可能显著低于到达量。
建立原因树:按影响范围逐层排除
先从范围最广的原因查起,再进入单个应用程序池和业务依赖。下面的判断需要看趋势和相关指标,不能将任一单项指标直接等同于根因。
网络或入口流量异常
如果多个站点同时出现连接和队列增长,先确认请求量是否突然上升,来源 IP、URL、方法和状态码是否集中在少数模式。正常促销活动、爬虫访问、客户端重试风暴,都可能让到达速率短时间超过服务能力。网卡接近吞吐上限、丢包或错误增加时,也要检查服务器网卡、交换链路及上游负载均衡器的状态。
- 请求量上涨且业务响应时间基本正常:优先核对流量是否超出预期,检查访问来源和热点接口,再评估横向扩容、限流或缓存。
- 请求量没有明显变化但队列上升:继续检查系统和应用,不要先把问题归因于带宽。
- 只有一个站点或接口受影响:更可能是该站点的处理路径或依赖异常,仍需排除集中访问热点接口的情况。
如果前端有负载均衡或 CDN,还应对照其健康检查、回源请求量和错误日志。前端连接成功不代表 IIS 后端已经及时处理请求;反过来,后端队列增长也不必然说明公网链路存在故障。
系统资源不足或争用
CPU 持续高。 若整机 CPU 长时间接近满载,且目标 w3wp.exe 的 CPU 同步升高,应用可能在计算、序列化、加密、模板渲染或循环处理上消耗过多 CPU。若整机繁忙但目标工作进程占用不高,应查看其他进程和系统任务,避免误判为 IIS 应用本身的问题。CPU 使用率低也不代表系统无瓶颈:大量线程等待数据库、锁或 I/O 时,CPU 可能很空闲,但请求仍会排队。
内存压力。 可用内存下降、提交量逼近系统限制,或工作进程 Private Bytes 持续增长时,需排查内存泄漏、大对象缓存、突发并发和回收行为。若同时出现分页活动增多、响应时间恶化,队列可能是内存压力带来的后果。单看进程工作集下降不够,因为工作集会受系统回收影响;应结合提交量、私有字节和进程事件判断。
磁盘 I/O。 检查 IIS 日志所在卷、应用临时文件所在卷,以及应用使用的本地数据文件。磁盘延迟持续升高、队列加深,可能让日志写入、文件读取或本地缓存加载变慢。若只有业务数据库所在主机的磁盘繁忙,而 IIS 所在服务器正常,应转向数据库侧检查,不能把数据库 I/O 瓶颈误报为 IIS 本地磁盘问题。
系统与应用程序池限制。 查看应用程序池是否频繁回收、工作进程是否反复启动或崩溃,并检查事件查看器中的 WAS、W3SVC 和应用程序错误。回收期间出现短时处理能力下降并不等同于持续容量不足;若反复回收,还要核实回收原因、内存限制和计划任务设置。检查任何配置前先记录现值和变更时间,避免排查过程中引入新变量。
服务状态与工作进程接收能力
确认目标应用程序池处于启动状态,工作进程存在且没有持续重启。可在 IIS 管理器中查看应用程序池状态,或使用管理员命令提示符查询工作进程:
%windir%\system32\inetsrv\appcmd list wp
若一个应用程序池对应多个工作进程,要结合 PID 分别观察 CPU、内存和请求情况。工作进程数量增加不一定线性提升吞吐:进程之间可能争抢 CPU、复制缓存状态,或给数据库带来更多并发连接。
还要核对应用程序池的队列上限、进程模型和回收配置。增加队列上限只会延后拒绝请求的时间;如果应用处理能力没有提升,排队等待可能更久,超时请求也会更多。只有确认流量是短暂突发、后端有足够余量且业务允许等待时,才考虑调整,并先记录当前值、限定影响范围、在低峰变更并准备恢复原值的回滚方案。
应用处理慢或并发不足
这两种情况常被混为一谈,但判断重点不同。
应用处理慢通常表现为单个请求耗时明显增加,正在执行的请求变多或长期不结束。常见原因包括慢查询、外部接口等待、锁竞争、同步 I/O、低效代码和过大的响应处理。此时单纯增加并发,可能让更多请求同时卡在同一个慢依赖上。
并发不足是指应用本身仍有可用资源,但能够同时处理的请求数受到工作线程、连接池、队列或应用内部限流限制。CPU 和内存未明显饱和,但请求等待时间升高、执行并发接近某个稳定上限时,可以进一步核对线程池、数据库连接池及框架的并发设置。若并发上限设得较低,适度提高可能有效;但必须先确认下游数据库、缓存和外部接口能够承接更多并发。
可在应用侧采集请求开始和结束时间、路由或接口、依赖调用耗时、线程池状态、数据库连接池使用量及超时类型。对于 ASP.NET 应用,可结合对应 .NET 版本可用的性能计数器或诊断工具查看执行请求、排队请求、线程池和异常情况;不同 .NET 版本提供的计数器并不完全相同,应先确认本机实际存在的计数器,不要套用其他版本的名称。
需要注意,IIS 的 HTTP.sys 队列与 ASP.NET、ASP.NET Core 或应用自建队列不是同一层。若 HTTP.sys 队列不高,但应用内部排队或接口等待时间很长,应转向对应框架和应用的诊断指标。若 HTTP.sys 队列升高,则继续确认工作进程是否繁忙、是否正在等待依赖,以及请求能否及时进入应用。
数据库或外部依赖变慢
若应用请求的主要耗时集中在 SQL 查询、缓存访问、文件存储或外部 API,IIS 队列增长可能只是下游变慢的结果。检查连接池是否耗尽、请求是否等待连接、超时是否集中发生,以及数据库端的活动请求、锁等待和查询耗时。
判断时要将 IIS 请求时间与依赖调用时间对齐:
- IIS 请求整体变慢,应用日志显示数据库调用耗时同步增长:优先排查数据库负载、慢查询、锁和连接池。
- 数据库调用正常,但应用处理时间增长:检查应用代码、线程调度、锁竞争及其他依赖。
- 连接池耗尽而数据库负载不高:检查连接是否未及时释放、连接池配置是否与并发匹配,不能直接据此判定数据库需要扩容。
- 外部接口超时集中出现:确认超时设置、重试策略和接口状态。无上限或过多重试会放大并发压力。
用观测结果区分“处理慢”与“并发不足”
可按“到达量—排队量—执行量—完成量—依赖耗时”的顺序判断:
| 观察结果 | 更值得优先验证的方向 | 下一步 |
|---|---|---|
| 请求到达量突增,应用资源和单请求耗时尚稳定 | 流量高峰或容量不足 | 核对来源、接口分布和各工作进程负载 |
| CPU 高,执行请求多,单请求耗时也上升 | CPU 密集型处理或过载 | 用性能剖析定位热点,再评估扩容或优化 |
| CPU 不高,排队增加,线程或连接池接近上限 | 并发限制或等待依赖 | 查线程池、连接池、锁等待和下游耗时 |
| 单接口耗时升高,其他接口正常 | 具体业务路径或其依赖 | 按接口拆分代码段与依赖调用耗时 |
| 多个站点同时变慢,且系统资源或磁盘指标异常 | 主机级资源争用 | 检查其他进程、磁盘、内存及系统事件 |
| 请求完成量下降,队列与拒绝数持续增加 | 处理能力低于到达速率 | 先恢复处理能力或降低入口压力,再分析根因 |
例如,以下数据仅用于演示判断,不代表任何实际环境:某应用的每秒请求数从约 80 增至约 120,HTTP.sys 队列持续上涨;CPU 约 35%,执行请求长期贴近某个固定上限,单次数据库调用约 40 毫秒且没有明显增长。此时应优先核对应用线程或并发限制,以及数据库连接池配置;不能因为 CPU 尚有余量就直接认定服务器没有瓶颈。若随后发现数据库调用增加到数秒,排查重点就应转向数据库和连接等待,而不是先提高并发上限。
反过来,如果请求量稳定,某个接口的平均耗时从数百毫秒升到数秒,执行请求逐渐增加,即使应用线程配置没有变化,也更符合应用处理变慢或下游等待的特征。平均值可能掩盖长尾,最好同时看 P95、P99 或超时请求的分布。
定位根因并验证恢复
定位阶段应以一段时间内的证据串联,而不是用单条日志或一个瞬时指标定案。对齐队列、请求速率、响应时间、CPU、内存、磁盘、应用线程和依赖耗时,找到最先发生变化的环节。必要时启用 IIS Failed Request Tracing(FREB)捕获特定状态码或超时请求,确认请求在 IIS 管道中的耗时位置;跟踪规则应限定站点、状态码和时间范围,避免长时间对所有请求启用造成额外日志和磁盘负担。
修复应针对已经验证的瓶颈:流量突增则控制入口或增加服务能力;CPU 热点则优化代码或扩充计算资源;磁盘等待则处理相应卷的 I/O 压力;线程或连接池受限则在确认下游承载能力后调整;数据库慢则处理查询、锁或数据库资源;应用异常重启则先查明回收或崩溃原因。不要同时修改多个关键参数,否则即使恢复,也难以确认哪个变化有效。
变更后至少观察一个业务高峰或可代表负载的时段,并确认:
CurrentQueueSize在负载回落后能下降到稳定水平,而不是长期累积。RejectedRequests不再持续增加,503、超时和其他错误率回到可接受范围。- 请求完成速率能够跟上到达速率,响应时间及长尾耗时改善。
- CPU、内存、磁盘和数据库等下游指标没有因提高并发而出现新的饱和。
- 应用程序池没有出现频繁回收、工作进程异常退出或连接池再次耗尽。
若调整队列上限、线程或连接池参数后,排队时间变长而拒绝请求暂时减少,这不算恢复;应检查队列是否仍在增长、请求是否最终超时,并根据变更前记录回滚不合适的配置。
IIS请求队列持续堆积,往往与服务器资源余量、应用处理能力及业务依赖共同相关。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖Xeon与AMD EPYC平台、不同内存和SSD或NVMe存储配置,可为网站、业务后台、数据库及接口服务提供部署资源。多地区服务器与不同网络线路方案,也能适配面向不同区域用户的业务架构。
建立复发监控点
为每个应用程序池分别记录队列长度和拒绝数,并与请求速率、完成速率、响应时间及错误率关联。告警不宜只使用固定的队列数阈值:低流量站点与高流量站点的合理范围不同,更实用的规则是关注队列连续多个采样周期增长、拒绝数增加,或队列与响应时间同时越过该应用的基线。
同时保留工作进程 CPU 和内存、系统可用内存与磁盘延迟、应用线程池和数据库连接池、慢依赖调用等指标。记录每次应用发布、配置调整、计划回收和流量变化的时间,便于判断队列增长究竟是容量变化、代码变更还是下游异常引起。这样,下一次告警出现时,才能沿着“流量是否变化、资源是否饱和、并发是否受限、请求是否在依赖处等待”的问题树逐层定位。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5452.html