Uvicorn并发与worker数量怎么配,如何按请求负载估算

发布人:A5数据发布时间:2026-10-26 11:01阅读量:77

Uvicorn 的 worker 数量不能按“CPU 核数越多,worker 越多”直接决定。需要先估算峰值请求率、请求处理时间和并发连接,再结合 CPU、内存、数据库连接池、线程池和队列的容量确定候选值。异步 I/O 型接口通常不需要为每个并发请求创建一个进程;CPU 密集型任务则会更快消耗单个 worker 的计算能力。

并发数也不等于每秒请求数。以每秒 300 个请求、平均处理时间 80 毫秒为例,平均在途请求约为 300 × 0.08 = 24 个,但这不代表配置 24 个 worker。worker 是进程数量,并发请求是正在处理或等待资源的请求数量,两者需要通过负载模型和瓶颈位置建立关系。

先统一请求率、并发和 worker 的含义

容量规划中至少要区分以下几个量:

指标含义主要影响
请求率每秒进入应用的请求数,单位通常为 RPSCPU、数据库、网络和下游服务
请求处理时间请求从进入应用到返回结果所占用的时间在途并发、队列长度和响应延迟
在途并发正在执行、等待数据库或等待下游返回的请求数量内存、文件描述符、连接池
worker 数量Uvicorn 启动的独立进程数量CPU 并行度、进程内存、连接池总量
线程数量处理同步代码或阻塞 I/O 的执行单元上下文切换、线程栈、阻塞任务吞吐
队列长度等待执行、等待连接或等待下游资源的请求数量排队延迟、超时和错误率

对于稳定处理系统,可以用 Little 定律做第一轮估算:

在途并发 ≈ 请求率 × 平均处理时间

其中请求率使用“请求/秒”,处理时间使用“秒”。如果请求率是 250 RPS,平均处理时间是 120 毫秒,也就是 0.12 秒,那么平均在途并发约为:

250 × 0.12 = 30

这个结果只说明平均时刻大约有 30 个请求处于应用链路中,不代表应用只能处理 30 个请求,也不代表应该配置 30 个 worker。异步 worker 可以同时挂起大量等待网络或数据库的任务,而一个 CPU 密集型请求也可能长时间占用一个进程的计算能力。

容量规划应使用峰值请求率,而不是全天平均值。可以按以下关系估算规划请求率:

规划请求率 = 基准请求率 × 峰值系数 × (1 + 增长率)^规划周期

例如,当前基准请求率为 100 RPS,历史 5 分钟峰值约为基准的 2.5 倍,预计连续 3 个周期每周期增长 15%,则规划请求率约为:

100 × 2.5 × 1.15^3
≈ 380 RPS

这里的基准请求率、峰值系数和增长率都应来自业务监控或增长计划。若只有日均值而没有峰值数据,不宜直接把日均值当作服务器容量依据。

负载画像决定 worker 的起点

不同请求类型消耗的资源不同。将所有接口用一个平均响应时间概括,容易掩盖真正的瓶颈。

请求类型典型特征主要瓶颈worker 配置关注点
缓存命中接口处理时间短,主要等待内存或网络网络、事件循环调度关注连接数、事件循环延迟
数据库查询接口应用计算不重,但等待数据库数据库连接、查询耗时关注每个进程连接池总量
外部 API 聚合单个请求等待时间较长下游响应和连接池控制超时、并发上限和重试
图片处理、压缩、报表CPU 时间较长CPU、内存增加进程前先确认 CPU 余量
文件上传下载请求持续时间长,数据量大带宽、磁盘、文件描述符区分请求率和连接并发
WebSocket、SSE单连接持续时间长内存、连接数、事件循环重点估算长连接数量,而非 RPS

数据量也会改变容量判断。若每秒处理 300 个请求,每个请求平均传输 200 KB,按十进制单位计算:

300 × 200 KB = 60,000 KB/s = 60 MB/s
60 MB/s × 8 = 480 Mb/s

这还没有计入 HTTP、TLS、反向代理和协议封装开销。如果服务器出口带宽为 500 Mb/s,这类负载即使 CPU 很空闲,也可能先受到网络限制。上传和下载应分别计算,响应体较大的接口还要观察序列化、压缩和内存峰值。

长连接需要单独建模。一个接口每天请求量不高,但如果每个连接保持数分钟,在途连接数仍可能很大。此时应记录活跃连接数、每连接内存、事件循环延迟和文件描述符使用率,不能只用 RPS 判断负载。

Uvicorn worker 是独立进程,不是并发请求槽位

执行类似下面的命令时,Uvicorn 会启动多个独立进程:

uvicorn myapp:app --host 0.0.0.0 --port 8000 --workers 4

每个 worker 通常拥有独立的:

  • Python 解释器和事件循环;
  • 应用对象和进程内缓存;
  • 线程池;
  • 数据库连接池;
  • HTTP 客户端连接池;
  • 日志和监控实例;
  • 内存空间。

因此,--workers 4 并不等于“同时只能处理 4 个请求”。对于异步接口,一个 worker 可以在等待数据库、网络或定时器时切换处理其他任务。worker 数量主要决定进程级并行能力和资源复制数量。

异步 I/O 型请求

如果接口主要由 async def 编写,并且数据库驱动、HTTP 客户端和文件操作都支持异步调用,单个 worker 可以管理较多等待中的任务。此时盲目增加 worker,可能带来以下副作用:

  • 每个进程都创建连接池,数据库连接总量快速增加;
  • 每个进程都加载一份应用和缓存,内存占用上升;
  • 进程之间需要重复维护缓存、限流状态和会话状态;
  • 上下文切换和调度开销增加;
  • 下游服务收到的并发请求超过其承受能力。

异步 I/O 场景适合先使用较少的 worker 建立基准,例如在小型服务器上选择 2~4 个候选值,再以固定请求混合进行压测。这个范围只是测试起点,不是固定配置公式。

CPU 密集型请求

Python 代码中的 CPU 密集型计算通常无法依靠一个事件循环同时利用多个 CPU 核心。此时增加 worker 进程可以形成进程级并行,但每个进程都会复制应用内存,并可能争用 CPU。

可以用每个请求消耗的 CPU 时间进行估算:

所需 CPU 核心 ≈ 峰值请求率 × 单请求 CPU 时间

例如,规划请求率为 300 RPS,按请求类型加权后的平均 CPU 时间为 13 毫秒,即 0.013 秒:

300 × 0.013 = 3.9 个 CPU 核心

这表示在不考虑系统开销的情况下,应用计算本身约消耗 3.9 个核心。若希望高峰期 CPU 使用率控制在 70%左右,还需要为系统调用、序列化、日志、突发流量和其他进程预留空间。候选 worker 可以围绕 4~6 个进行测试,而不是直接把 8 核服务器配置成 8 个或更多 worker。

CPU 时间应通过性能分析或压测获得。单纯使用接口总响应时间会把数据库等待、网络等待和队列等待混入 CPU 需求,可能导致 worker 估算偏大。

同步代码和线程池

如果在异步接口中直接调用阻塞式数据库驱动、同步 HTTP 客户端、阻塞文件操作或耗时计算,事件循环可能被阻塞。部分 ASGI 框架会把同步端点放入线程池,但线程池仍有并发上限,且每个线程都需要栈空间和调度成本。

线程数量增加后,不一定能线性提升吞吐:

  • 阻塞 I/O 较多时,适度增加线程可能减少等待;
  • CPU 密集型任务会产生更多竞争和上下文切换;
  • 线程数超过数据库连接数时,线程仍会排队;
  • 线程池过大可能同时发起过多下游请求;
  • 进程数量和线程数量相乘后,资源消耗会被放大。

如果同步任务本身是 CPU 密集型,通常应考虑拆分为独立任务进程或专用任务队列,而不是只靠增加 Uvicorn worker 和线程数解决。

连接池和共享资源经常先于 Uvicorn 成为瓶颈

数据库连接池是多 worker 部署中最容易被低估的资源。连接池通常位于进程内部,不会由多个 worker 自动共享。

总数据库连接数可以按以下方式估算:

应用数据库连接总数
= 实例数量 × 每实例 worker 数 × 每 worker 连接池大小
+ 连接池溢出连接

例如,2 台应用服务器、每台 4 个 worker、每个 worker 的连接池大小为 10,则基础连接数为:

2 × 4 × 10 = 80

如果数据库允许应用使用的连接预算只有 100,还要扣除管理连接、迁移任务、监控程序和其他服务占用的连接。此时不宜继续扩大 worker 或启用较大的连接池。

数据库连接池规划应同时查看:

  • 连接建立和释放次数;
  • 获取连接的等待时间;
  • 活跃连接与空闲连接;
  • 慢查询和锁等待;
  • 数据库 CPU、磁盘和缓存命中;
  • 连接池超时和溢出次数。

如果数据库已经处于高负载状态,增加 worker 往往会增加查询并发,使数据库更快进入排队状态。此时更合理的措施可能是优化查询、缩小单次查询结果、增加缓存、控制接口并发或拆分读写负载。

HTTP 客户端连接池也适用相同的计算关系。每个 worker 都可能有一组到外部服务的连接。如果设置了重试,实际下游请求数还可能高于入口请求数,因此应将重试次数和超时纳入容量模型。

进程内缓存和限流状态不会自动跨 worker 共享。配置多个 worker 后,四个进程可能各自保存一份缓存,也可能各自执行一套限流计数。涉及会话、库存、幂等、全局限流和任务状态时,应明确使用共享存储或其他跨进程机制,不能把“增加 worker”误认为只是增加计算资源。

用排队关系判断真正的瓶颈

请求进入系统后,可能在多个位置排队:

  1. 反向代理或负载均衡的连接队列;
  2. Uvicorn 监听套接字的 backlog;
  3. worker 的事件循环任务队列;
  4. 同步代码使用的线程池;
  5. 数据库连接池或外部 HTTP 连接池;
  6. 数据库内部的锁、磁盘或 CPU 队列;
  7. 应用自身的任务队列。

backlog 只能增加尚未被应用接收的连接等待空间,不能增加 CPU 或数据库处理能力。队列设置过大时,表面上拒绝率可能暂时下降,但用户会等待更长时间,最终以请求超时的形式失败。

--limit-concurrency 可以用于限制单个 Uvicorn 进程承受的并发任务或连接,避免请求无限堆积。例如:

uvicorn myapp:app \
  --host 0.0.0.0 \
  --port 8000 \
  --workers 4 \
  --limit-concurrency 200 \
  --backlog 1024 \
  --timeout-keep-alive 5

这里的数值只是示例,不能直接视为通用推荐。多 worker 模式下,并发限制通常需要按进程理解,不能简单当成整个服务的总并发上限。若配置 4 个 worker,每个进程限制 200,整个实例的理论上限可能接近 800,还要受到反向代理、文件描述符、连接池和下游服务限制。实际行为还应结合使用的 Uvicorn 版本和部署方式验证。

并发上限的确定方式应从下游资源倒推。例如,数据库允许应用使用 60 个连接,单个请求平均占用数据库连接 100 毫秒,业务又要求保留一部分连接给后台任务,那么应用层就不能让所有入口请求同时争抢数据库。可以把不访问数据库的请求和访问数据库的请求分开设置限流,避免使用一个过大的全局并发值掩盖连接池排队。

一个可复用的容量估算示例

以下是一组用于说明方法的假设数据,不代表某台服务器的实测承载能力:

  • 规划峰值:300 RPS;
  • 70%的请求为缓存接口,平均处理时间 40 毫秒;
  • 25%的请求为数据库接口,平均处理时间 120 毫秒;
  • 5%的请求为报表接口,平均处理时间 300 毫秒;
  • 加权平均处理时间按请求类型计算;
  • 服务器为 8 个逻辑 CPU,内存预算为 16 GB。

加权平均处理时间为:

0.70 × 0.040
+ 0.25 × 0.120
+ 0.05 × 0.300
= 0.073 秒

因此,平均在途请求约为:

300 × 0.073 = 21.9

分类型看,并发压力约为:

缓存接口:300 × 70% × 0.040 = 8.4
数据库接口:300 × 25% × 0.120 = 9
报表接口:300 × 5% × 0.300 = 4.5

如果进一步测得三类请求的平均 CPU 时间分别为 3 毫秒、8 毫秒和 180 毫秒,则加权 CPU 时间为:

0.70 × 0.003
+ 0.25 × 0.008
+ 0.05 × 0.180
= 0.0131 秒

对应的 CPU 需求为:

300 × 0.0131 = 3.93 个 CPU 核心

这个结果说明报表接口虽然只占 5%的请求量,却贡献了较大部分 CPU 消耗。若只按平均响应时间判断,容易把问题归因于数据库或网络;按 CPU 时间拆分后,可以考虑将报表接口单独限流、异步化或迁移到任务队列。

一个可复用的容量估算示例配图

在 8 核服务器上,可以先测试 4、6、8 个 worker,并固定以下条件:

  • 请求类型比例;
  • 缓存冷热状态;
  • 数据库数据量和索引;
  • 外部服务响应时间;
  • 数据包大小;
  • 并发增长速度;
  • 压测持续时间。

分别记录吞吐量、CPU 使用率、内存、事件循环延迟、数据库连接等待、p95/p99 延迟和错误率。当 worker 从 4 增加到 6 后吞吐提升明显,而从 6 增加到 8 后延迟上升、吞吐不再增长,通常说明瓶颈已经转移到 CPU、数据库或其他共享资源,继续增加 worker 没有收益。

内存余量决定 worker 的上限

worker 数量不仅受 CPU 影响,也受进程内存影响。可以用以下公式估算进程内存预算:

总内存需求
≈ 操作系统和守护进程
+ 其他服务
+ worker 数 × 单 worker 内存
+ 连接、缓存和请求峰值内存

如果单个 worker 启动后占用 180 MB,处理大响应或文件任务时额外增加 80 MB,4 个 worker 的应用内存不能只按 4 × 180 MB 计算。还要考虑多个请求同时处于序列化、上传、压缩或读取阶段时的峰值。

可以先测量稳定运行一段时间后的常驻内存,再观察高峰期间的 p95 和最大值。若内存接近上限、开始使用 swap,或者出现 OOM,增加 worker 会扩大问题。此时应先减少进程数量、控制单请求数据量、优化缓存和响应生成方式,必要时再增加实例内存或横向扩容。

选择 worker 数量的实际判断顺序

可以按以下顺序形成候选配置:

  1. 统计峰值 RPS、请求类型比例、平均和 p95 处理时间、长连接数及请求体大小。
  2. 按请求类型测量 CPU 时间,而不是只看端到端延迟。
  3. 计算每个 worker 的内存占用和高峰额外内存。
  4. 根据数据库和外部服务的连接预算,反推每个 worker 可使用的连接池大小。
  5. 对异步 I/O 型服务先测试较少 worker,对 CPU 密集型服务测试接近 CPU 核心数的候选值。
  6. 使用固定流量逐步升压,找到 p95 延迟开始陡增或错误率明显上升的点。
  7. 在该点之前保留增长余量,而不是把峰值压测结果当作日常运行目标。

如果只有一台服务器,worker 数量需要在 CPU 并行度、进程内存和连接池总量之间取平衡。如果有多台应用实例,还要把每台机器的 worker 和连接池相乘,评估数据库、缓存、消息系统及外部 API 的总压力。

A5数据提供中国香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等计算平台,并有不同内存、NVMe 存储及线路带宽方案。对于运行 Uvicorn 的接口业务,这些资源可用于部署多 worker 应用进程,以及数据库、缓存等业务组件;多地区产品也为面向不同访问人群配置应用实例提供了选择。

用容量余量决定何时扩容

扩容不应只由 CPU 百分比触发。更可靠的判断是把业务 SLO 和资源指标同时纳入:

指标可作为初始控制线的现象可能的判断
p95/p99 延迟在目标流量下持续超过 SLO应用或下游开始排队
CPU 使用率连续多个观测周期处于 70%~80%以上CPU 余量不足,需检查 worker 或扩容
内存峰值接近预算,出现 swap 或 OOM 风险减少 worker、优化内存或增加内存
事件循环延迟CPU 不高但事件循环延迟持续上升存在阻塞调用或过重的单任务
数据库连接等待连接池获取时间上升数据库或连接池是瓶颈
5xx、503 和超时随并发增长而持续增加队列、下游或并发上限已触顶
网络带宽出入方向接近端口或线路预算增加带宽、压缩响应或拆分静态内容
文件描述符活跃连接接近系统限制检查长连接、上游连接和系统配置

这些百分比适合作为初始观察线,不是所有业务都适用的固定标准。真正的阈值应来自“达到 SLO 时的资源占用”。例如,压测得出某配置在 p99 延迟仍满足目标时可以稳定处理 400 RPS,而下一阶段规划峰值为 320 RPS,则容量余量为:

400 / 320 - 1 = 25%

如果预计未来增长率为 30%,现有余量就不足以覆盖增长,应在增长发生前扩容。反过来,如果 CPU 已经超过 80%,但数据库连接等待和延迟都很低,也不能只增加 worker;应先确认是否存在其他进程、日志、压缩或系统任务占用 CPU。

扩容方向可以按瓶颈选择:

  • CPU 达到上限、数据库和内存仍有余量:先在测试范围内调整 worker,之后增加实例数量。
  • 内存接近上限:减少 worker 或优化单请求内存,再考虑增加内存。
  • 数据库连接池等待明显:不要直接增加 worker,应调整查询、连接池和数据库容量。
  • CPU 较低但 I/O 等待较长:检查异步调用、线程池、外部 API 超时和连接池。
  • 长连接占比高:按连接数和每连接内存扩容,而不是按 RPS 扩容。
  • 单类 CPU 密集型接口拖慢所有请求:限流、异步化或拆分为独立服务,通常比全局增加 worker 更可控。

日常监控至少应同时保留入口请求率、各接口请求率、在途请求、p50/p95/p99 延迟、错误率、CPU、内存、事件循环延迟、数据库连接池等待和网络流量。将这些指标与压测中的“达到 SLO 的最大请求率”对应起来,就能把 worker 数量从经验值转化为可验证的容量参数,并在规划峰值超过剩余容量前触发扩容。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5801.html

相关推荐