Uvicorn并发与worker数量怎么配,如何按请求负载估算
Uvicorn 的 worker 数量不能按“CPU 核数越多,worker 越多”直接决定。需要先估算峰值请求率、请求处理时间和并发连接,再结合 CPU、内存、数据库连接池、线程池和队列的容量确定候选值。异步 I/O 型接口通常不需要为每个并发请求创建一个进程;CPU 密集型任务则会更快消耗单个 worker 的计算能力。
并发数也不等于每秒请求数。以每秒 300 个请求、平均处理时间 80 毫秒为例,平均在途请求约为 300 × 0.08 = 24 个,但这不代表配置 24 个 worker。worker 是进程数量,并发请求是正在处理或等待资源的请求数量,两者需要通过负载模型和瓶颈位置建立关系。
先统一请求率、并发和 worker 的含义
容量规划中至少要区分以下几个量:
| 指标 | 含义 | 主要影响 |
|---|---|---|
| 请求率 | 每秒进入应用的请求数,单位通常为 RPS | CPU、数据库、网络和下游服务 |
| 请求处理时间 | 请求从进入应用到返回结果所占用的时间 | 在途并发、队列长度和响应延迟 |
| 在途并发 | 正在执行、等待数据库或等待下游返回的请求数量 | 内存、文件描述符、连接池 |
| worker 数量 | Uvicorn 启动的独立进程数量 | CPU 并行度、进程内存、连接池总量 |
| 线程数量 | 处理同步代码或阻塞 I/O 的执行单元 | 上下文切换、线程栈、阻塞任务吞吐 |
| 队列长度 | 等待执行、等待连接或等待下游资源的请求数量 | 排队延迟、超时和错误率 |
对于稳定处理系统,可以用 Little 定律做第一轮估算:
在途并发 ≈ 请求率 × 平均处理时间
其中请求率使用“请求/秒”,处理时间使用“秒”。如果请求率是 250 RPS,平均处理时间是 120 毫秒,也就是 0.12 秒,那么平均在途并发约为:
250 × 0.12 = 30
这个结果只说明平均时刻大约有 30 个请求处于应用链路中,不代表应用只能处理 30 个请求,也不代表应该配置 30 个 worker。异步 worker 可以同时挂起大量等待网络或数据库的任务,而一个 CPU 密集型请求也可能长时间占用一个进程的计算能力。
容量规划应使用峰值请求率,而不是全天平均值。可以按以下关系估算规划请求率:
规划请求率 = 基准请求率 × 峰值系数 × (1 + 增长率)^规划周期
例如,当前基准请求率为 100 RPS,历史 5 分钟峰值约为基准的 2.5 倍,预计连续 3 个周期每周期增长 15%,则规划请求率约为:
100 × 2.5 × 1.15^3
≈ 380 RPS
这里的基准请求率、峰值系数和增长率都应来自业务监控或增长计划。若只有日均值而没有峰值数据,不宜直接把日均值当作服务器容量依据。
负载画像决定 worker 的起点
不同请求类型消耗的资源不同。将所有接口用一个平均响应时间概括,容易掩盖真正的瓶颈。
| 请求类型 | 典型特征 | 主要瓶颈 | worker 配置关注点 |
|---|---|---|---|
| 缓存命中接口 | 处理时间短,主要等待内存或网络 | 网络、事件循环调度 | 关注连接数、事件循环延迟 |
| 数据库查询接口 | 应用计算不重,但等待数据库 | 数据库连接、查询耗时 | 关注每个进程连接池总量 |
| 外部 API 聚合 | 单个请求等待时间较长 | 下游响应和连接池 | 控制超时、并发上限和重试 |
| 图片处理、压缩、报表 | CPU 时间较长 | CPU、内存 | 增加进程前先确认 CPU 余量 |
| 文件上传下载 | 请求持续时间长,数据量大 | 带宽、磁盘、文件描述符 | 区分请求率和连接并发 |
| WebSocket、SSE | 单连接持续时间长 | 内存、连接数、事件循环 | 重点估算长连接数量,而非 RPS |
数据量也会改变容量判断。若每秒处理 300 个请求,每个请求平均传输 200 KB,按十进制单位计算:
300 × 200 KB = 60,000 KB/s = 60 MB/s
60 MB/s × 8 = 480 Mb/s
这还没有计入 HTTP、TLS、反向代理和协议封装开销。如果服务器出口带宽为 500 Mb/s,这类负载即使 CPU 很空闲,也可能先受到网络限制。上传和下载应分别计算,响应体较大的接口还要观察序列化、压缩和内存峰值。
长连接需要单独建模。一个接口每天请求量不高,但如果每个连接保持数分钟,在途连接数仍可能很大。此时应记录活跃连接数、每连接内存、事件循环延迟和文件描述符使用率,不能只用 RPS 判断负载。
Uvicorn worker 是独立进程,不是并发请求槽位
执行类似下面的命令时,Uvicorn 会启动多个独立进程:
uvicorn myapp:app --host 0.0.0.0 --port 8000 --workers 4
每个 worker 通常拥有独立的:
- Python 解释器和事件循环;
- 应用对象和进程内缓存;
- 线程池;
- 数据库连接池;
- HTTP 客户端连接池;
- 日志和监控实例;
- 内存空间。
因此,--workers 4 并不等于“同时只能处理 4 个请求”。对于异步接口,一个 worker 可以在等待数据库、网络或定时器时切换处理其他任务。worker 数量主要决定进程级并行能力和资源复制数量。
异步 I/O 型请求
如果接口主要由 async def 编写,并且数据库驱动、HTTP 客户端和文件操作都支持异步调用,单个 worker 可以管理较多等待中的任务。此时盲目增加 worker,可能带来以下副作用:
- 每个进程都创建连接池,数据库连接总量快速增加;
- 每个进程都加载一份应用和缓存,内存占用上升;
- 进程之间需要重复维护缓存、限流状态和会话状态;
- 上下文切换和调度开销增加;
- 下游服务收到的并发请求超过其承受能力。
异步 I/O 场景适合先使用较少的 worker 建立基准,例如在小型服务器上选择 2~4 个候选值,再以固定请求混合进行压测。这个范围只是测试起点,不是固定配置公式。
CPU 密集型请求
Python 代码中的 CPU 密集型计算通常无法依靠一个事件循环同时利用多个 CPU 核心。此时增加 worker 进程可以形成进程级并行,但每个进程都会复制应用内存,并可能争用 CPU。
可以用每个请求消耗的 CPU 时间进行估算:
所需 CPU 核心 ≈ 峰值请求率 × 单请求 CPU 时间
例如,规划请求率为 300 RPS,按请求类型加权后的平均 CPU 时间为 13 毫秒,即 0.013 秒:
300 × 0.013 = 3.9 个 CPU 核心
这表示在不考虑系统开销的情况下,应用计算本身约消耗 3.9 个核心。若希望高峰期 CPU 使用率控制在 70%左右,还需要为系统调用、序列化、日志、突发流量和其他进程预留空间。候选 worker 可以围绕 4~6 个进行测试,而不是直接把 8 核服务器配置成 8 个或更多 worker。
CPU 时间应通过性能分析或压测获得。单纯使用接口总响应时间会把数据库等待、网络等待和队列等待混入 CPU 需求,可能导致 worker 估算偏大。
同步代码和线程池
如果在异步接口中直接调用阻塞式数据库驱动、同步 HTTP 客户端、阻塞文件操作或耗时计算,事件循环可能被阻塞。部分 ASGI 框架会把同步端点放入线程池,但线程池仍有并发上限,且每个线程都需要栈空间和调度成本。
线程数量增加后,不一定能线性提升吞吐:
- 阻塞 I/O 较多时,适度增加线程可能减少等待;
- CPU 密集型任务会产生更多竞争和上下文切换;
- 线程数超过数据库连接数时,线程仍会排队;
- 线程池过大可能同时发起过多下游请求;
- 进程数量和线程数量相乘后,资源消耗会被放大。
如果同步任务本身是 CPU 密集型,通常应考虑拆分为独立任务进程或专用任务队列,而不是只靠增加 Uvicorn worker 和线程数解决。
连接池和共享资源经常先于 Uvicorn 成为瓶颈
数据库连接池是多 worker 部署中最容易被低估的资源。连接池通常位于进程内部,不会由多个 worker 自动共享。
总数据库连接数可以按以下方式估算:
应用数据库连接总数
= 实例数量 × 每实例 worker 数 × 每 worker 连接池大小
+ 连接池溢出连接
例如,2 台应用服务器、每台 4 个 worker、每个 worker 的连接池大小为 10,则基础连接数为:
2 × 4 × 10 = 80
如果数据库允许应用使用的连接预算只有 100,还要扣除管理连接、迁移任务、监控程序和其他服务占用的连接。此时不宜继续扩大 worker 或启用较大的连接池。
数据库连接池规划应同时查看:
- 连接建立和释放次数;
- 获取连接的等待时间;
- 活跃连接与空闲连接;
- 慢查询和锁等待;
- 数据库 CPU、磁盘和缓存命中;
- 连接池超时和溢出次数。
如果数据库已经处于高负载状态,增加 worker 往往会增加查询并发,使数据库更快进入排队状态。此时更合理的措施可能是优化查询、缩小单次查询结果、增加缓存、控制接口并发或拆分读写负载。
HTTP 客户端连接池也适用相同的计算关系。每个 worker 都可能有一组到外部服务的连接。如果设置了重试,实际下游请求数还可能高于入口请求数,因此应将重试次数和超时纳入容量模型。
进程内缓存和限流状态不会自动跨 worker 共享。配置多个 worker 后,四个进程可能各自保存一份缓存,也可能各自执行一套限流计数。涉及会话、库存、幂等、全局限流和任务状态时,应明确使用共享存储或其他跨进程机制,不能把“增加 worker”误认为只是增加计算资源。
用排队关系判断真正的瓶颈
请求进入系统后,可能在多个位置排队:
- 反向代理或负载均衡的连接队列;
- Uvicorn 监听套接字的 backlog;
- worker 的事件循环任务队列;
- 同步代码使用的线程池;
- 数据库连接池或外部 HTTP 连接池;
- 数据库内部的锁、磁盘或 CPU 队列;
- 应用自身的任务队列。
backlog 只能增加尚未被应用接收的连接等待空间,不能增加 CPU 或数据库处理能力。队列设置过大时,表面上拒绝率可能暂时下降,但用户会等待更长时间,最终以请求超时的形式失败。
--limit-concurrency 可以用于限制单个 Uvicorn 进程承受的并发任务或连接,避免请求无限堆积。例如:
uvicorn myapp:app \
--host 0.0.0.0 \
--port 8000 \
--workers 4 \
--limit-concurrency 200 \
--backlog 1024 \
--timeout-keep-alive 5
这里的数值只是示例,不能直接视为通用推荐。多 worker 模式下,并发限制通常需要按进程理解,不能简单当成整个服务的总并发上限。若配置 4 个 worker,每个进程限制 200,整个实例的理论上限可能接近 800,还要受到反向代理、文件描述符、连接池和下游服务限制。实际行为还应结合使用的 Uvicorn 版本和部署方式验证。
并发上限的确定方式应从下游资源倒推。例如,数据库允许应用使用 60 个连接,单个请求平均占用数据库连接 100 毫秒,业务又要求保留一部分连接给后台任务,那么应用层就不能让所有入口请求同时争抢数据库。可以把不访问数据库的请求和访问数据库的请求分开设置限流,避免使用一个过大的全局并发值掩盖连接池排队。
一个可复用的容量估算示例
以下是一组用于说明方法的假设数据,不代表某台服务器的实测承载能力:
- 规划峰值:300 RPS;
- 70%的请求为缓存接口,平均处理时间 40 毫秒;
- 25%的请求为数据库接口,平均处理时间 120 毫秒;
- 5%的请求为报表接口,平均处理时间 300 毫秒;
- 加权平均处理时间按请求类型计算;
- 服务器为 8 个逻辑 CPU,内存预算为 16 GB。
加权平均处理时间为:
0.70 × 0.040
+ 0.25 × 0.120
+ 0.05 × 0.300
= 0.073 秒
因此,平均在途请求约为:
300 × 0.073 = 21.9
分类型看,并发压力约为:
缓存接口:300 × 70% × 0.040 = 8.4
数据库接口:300 × 25% × 0.120 = 9
报表接口:300 × 5% × 0.300 = 4.5
如果进一步测得三类请求的平均 CPU 时间分别为 3 毫秒、8 毫秒和 180 毫秒,则加权 CPU 时间为:
0.70 × 0.003
+ 0.25 × 0.008
+ 0.05 × 0.180
= 0.0131 秒
对应的 CPU 需求为:
300 × 0.0131 = 3.93 个 CPU 核心
这个结果说明报表接口虽然只占 5%的请求量,却贡献了较大部分 CPU 消耗。若只按平均响应时间判断,容易把问题归因于数据库或网络;按 CPU 时间拆分后,可以考虑将报表接口单独限流、异步化或迁移到任务队列。

在 8 核服务器上,可以先测试 4、6、8 个 worker,并固定以下条件:
- 请求类型比例;
- 缓存冷热状态;
- 数据库数据量和索引;
- 外部服务响应时间;
- 数据包大小;
- 并发增长速度;
- 压测持续时间。
分别记录吞吐量、CPU 使用率、内存、事件循环延迟、数据库连接等待、p95/p99 延迟和错误率。当 worker 从 4 增加到 6 后吞吐提升明显,而从 6 增加到 8 后延迟上升、吞吐不再增长,通常说明瓶颈已经转移到 CPU、数据库或其他共享资源,继续增加 worker 没有收益。
内存余量决定 worker 的上限
worker 数量不仅受 CPU 影响,也受进程内存影响。可以用以下公式估算进程内存预算:
总内存需求
≈ 操作系统和守护进程
+ 其他服务
+ worker 数 × 单 worker 内存
+ 连接、缓存和请求峰值内存
如果单个 worker 启动后占用 180 MB,处理大响应或文件任务时额外增加 80 MB,4 个 worker 的应用内存不能只按 4 × 180 MB 计算。还要考虑多个请求同时处于序列化、上传、压缩或读取阶段时的峰值。
可以先测量稳定运行一段时间后的常驻内存,再观察高峰期间的 p95 和最大值。若内存接近上限、开始使用 swap,或者出现 OOM,增加 worker 会扩大问题。此时应先减少进程数量、控制单请求数据量、优化缓存和响应生成方式,必要时再增加实例内存或横向扩容。
选择 worker 数量的实际判断顺序
可以按以下顺序形成候选配置:
- 统计峰值 RPS、请求类型比例、平均和 p95 处理时间、长连接数及请求体大小。
- 按请求类型测量 CPU 时间,而不是只看端到端延迟。
- 计算每个 worker 的内存占用和高峰额外内存。
- 根据数据库和外部服务的连接预算,反推每个 worker 可使用的连接池大小。
- 对异步 I/O 型服务先测试较少 worker,对 CPU 密集型服务测试接近 CPU 核心数的候选值。
- 使用固定流量逐步升压,找到 p95 延迟开始陡增或错误率明显上升的点。
- 在该点之前保留增长余量,而不是把峰值压测结果当作日常运行目标。
如果只有一台服务器,worker 数量需要在 CPU 并行度、进程内存和连接池总量之间取平衡。如果有多台应用实例,还要把每台机器的 worker 和连接池相乘,评估数据库、缓存、消息系统及外部 API 的总压力。
A5数据提供中国香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等计算平台,并有不同内存、NVMe 存储及线路带宽方案。对于运行 Uvicorn 的接口业务,这些资源可用于部署多 worker 应用进程,以及数据库、缓存等业务组件;多地区产品也为面向不同访问人群配置应用实例提供了选择。
用容量余量决定何时扩容
扩容不应只由 CPU 百分比触发。更可靠的判断是把业务 SLO 和资源指标同时纳入:
| 指标 | 可作为初始控制线的现象 | 可能的判断 |
|---|---|---|
| p95/p99 延迟 | 在目标流量下持续超过 SLO | 应用或下游开始排队 |
| CPU 使用率 | 连续多个观测周期处于 70%~80%以上 | CPU 余量不足,需检查 worker 或扩容 |
| 内存 | 峰值接近预算,出现 swap 或 OOM 风险 | 减少 worker、优化内存或增加内存 |
| 事件循环延迟 | CPU 不高但事件循环延迟持续上升 | 存在阻塞调用或过重的单任务 |
| 数据库连接等待 | 连接池获取时间上升 | 数据库或连接池是瓶颈 |
| 5xx、503 和超时 | 随并发增长而持续增加 | 队列、下游或并发上限已触顶 |
| 网络带宽 | 出入方向接近端口或线路预算 | 增加带宽、压缩响应或拆分静态内容 |
| 文件描述符 | 活跃连接接近系统限制 | 检查长连接、上游连接和系统配置 |
这些百分比适合作为初始观察线,不是所有业务都适用的固定标准。真正的阈值应来自“达到 SLO 时的资源占用”。例如,压测得出某配置在 p99 延迟仍满足目标时可以稳定处理 400 RPS,而下一阶段规划峰值为 320 RPS,则容量余量为:
400 / 320 - 1 = 25%
如果预计未来增长率为 30%,现有余量就不足以覆盖增长,应在增长发生前扩容。反过来,如果 CPU 已经超过 80%,但数据库连接等待和延迟都很低,也不能只增加 worker;应先确认是否存在其他进程、日志、压缩或系统任务占用 CPU。
扩容方向可以按瓶颈选择:
- CPU 达到上限、数据库和内存仍有余量:先在测试范围内调整 worker,之后增加实例数量。
- 内存接近上限:减少 worker 或优化单请求内存,再考虑增加内存。
- 数据库连接池等待明显:不要直接增加 worker,应调整查询、连接池和数据库容量。
- CPU 较低但 I/O 等待较长:检查异步调用、线程池、外部 API 超时和连接池。
- 长连接占比高:按连接数和每连接内存扩容,而不是按 RPS 扩容。
- 单类 CPU 密集型接口拖慢所有请求:限流、异步化或拆分为独立服务,通常比全局增加 worker 更可控。
日常监控至少应同时保留入口请求率、各接口请求率、在途请求、p50/p95/p99 延迟、错误率、CPU、内存、事件循环延迟、数据库连接池等待和网络流量。将这些指标与压测中的“达到 SLO 的最大请求率”对应起来,就能把 worker 数量从经验值转化为可验证的容量参数,并在规划峰值超过剩余容量前触发扩容。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5801.html



