服务器运行Uvicorn时worker数量怎么定,为什么增加进程不一定提高并发
服务器运行 Uvicorn 时,worker 数量不应按“连接数越多,进程就越多”来定。一个可用的起点是:确认容器或服务器实际可用的 CPU 核心数,再用 1、2、4 等少量候选值压测,选择满足延迟和错误率目标、且资源仍有余量的最小配置。I/O 密集型应用可能用较少 worker 就能处理大量并发连接;CPU 密集型应用增加 worker 才更可能利用多核,但进程数超过可用 CPU 后,吞吐通常不会继续线性增长。
增加进程不一定提高并发,是因为 Uvicorn worker 只是应用进程。请求还要经过事件循环、线程池、数据库连接池、外部接口和服务器资源。瓶颈若在数据库等待、同步阻塞代码或下游限流,新增 worker 可能只是让更多请求同时排队,甚至增加内存占用、连接数和上下文切换,使尾延迟变差。
先确定测试目标,而不是先套 worker 公式
讨论“能扛多少并发”之前,应写清业务希望维持什么服务水平。例如,一个接口的目标可以是:峰值到达速率为每秒 200 个请求,成功响应的 P95 延迟不超过 300 毫秒,错误率低于 1%,并且持续运行时 CPU、内存和数据库连接仍留有余量。这样得到的是可验收的容量,而不是单独一个“并发数”。
测试负载也要接近生产流量。只压测返回固定 JSON 的接口,无法代表包含鉴权、数据库查询和外部 API 调用的请求;只测短 HTTP 请求,也无法代表 WebSocket 等长连接。至少应区分三类负载:
- CPU 密集型:较长时间占用 CPU,例如大量纯 Python 计算、复杂序列化。
- I/O 密集型:多数时间在等待数据库、网络服务或文件 I/O。
- 混合负载:短请求、慢查询和长连接同时存在,且比例随时段变化。
压测时还要区分“固定并发客户端”和“固定请求到达速率”。前者在服务变慢后,客户端自身的发请求速度也会下降,可能掩盖排队;后者持续按设定速率送入请求,更容易观察系统超过容量后的延迟和错误。无论采用哪种方式,都应记录实际送达的请求量,而不只记录压测工具设置值。
把吞吐、延迟与在途请求放在一起看
吞吐通常指单位时间内成功完成的请求数,常用 RPS 表示。并发则可能指同时建立的连接、正在处理的请求,或包含排队时间的在途请求;这三者不能互换。一个 keep-alive 连接可以连续承载多个请求,WebSocket 连接也可能长时间存在却几乎不占用 CPU。
在系统状态相对稳定时,可用“平均在途请求数约等于每秒完成请求数乘以平均响应时间”做量级校验。若完成吞吐为 200 RPS、平均响应时间为 0.1 秒,平均在途请求约为 20 个;若吞吐仍为 200 RPS、平均响应时间升至 1 秒,在途请求约为 200 个。后者的“并发更高”并不代表处理能力更强,可能只是请求在队列中待得更久。
平均值还会掩盖少量极慢请求。比较 worker 配置时,应同时看 P95、P99 延迟,以及超时、连接失败、HTTP 错误等指标。只统计成功请求的延迟,会把已超时或被拒绝的请求排除在外,得出过于乐观的结果。
CPU 指标也需要对应实际限制。进程 CPU 接近一个核心的处理能力,可能说明单个 CPU 密集型 worker 已达到瓶颈;整机 CPU 尚有空闲,不代表该 worker 能自动利用其他核心。若运行在容器中,应以 CPU 配额和限额为依据,而不是仅看宿主机显示的核心数。同时关注 CPU 限流、内存持续增长、磁盘或网络等待,避免把所有性能下降都归因于 worker 数量。
worker 增加后,哪些资源会一起变化
Uvicorn 的多个 worker 是彼此独立的进程,每个进程运行自己的应用实例和事件循环。一个事件循环可以在等待非阻塞 I/O 时处理其他请求,因此“一个 worker 只能服务一个连接”是错误的。反过来,async def 也不保证代码全程非阻塞:在其中直接执行耗时的同步调用,会卡住该 worker 的事件循环。

同步路由或同步依赖通常会由应用框架放入线程池执行。线程能帮助同时等待多个阻塞 I/O,却不会把普通 CPython 纯 Python CPU 计算变成无限可并行的工作。线程池可同时执行的任务数、等待线程的任务数,以及事件循环是否被阻塞,都可能比 worker 数更早成为限制。
多进程还意味着不少资源按进程分别建立。以数据库连接池为例,若每个 worker 的常驻池上限为 8、额外溢出连接上限为 2,部署 4 个 worker 时,应用理论上最多可能占用 4 ×(8+2)=40 个数据库连接。若数据库允许 50 个连接,而其他服务已使用 15 个,仅这一组应用进程的潜在需求与其他服务相加就达到 55 个,超过上限。此时再加 worker,可能增加获取连接的等待或连接错误,而不会提高数据库可完成的查询量。

内存也不是“主进程占用量加一点开销”。每个 worker 可能分别加载模型、初始化客户端、维护缓存与连接池;进程内缓存不会自动成为所有 worker 共享的缓存。观察内存时,既要看部署后的总占用和峰值,也要注意共享内存可能使简单相加各进程 RSS 高估实际占用。worker 增多后的预热时间和重启时资源峰值,同样应计入容量判断。
怎样解释“加了 worker,RPS 却没有涨”
下面是一组用于说明判断方法的示例数据:服务所在容器限制为 2 个 CPU 核心,压测端以约 240 RPS 的固定速率发送同一组 CPU 占比较高的请求;表中的 CPU 使用率以“一个核心约为 100%”表示。它不是 Uvicorn 的通用性能值。

| worker 数 | 成功吞吐 | 成功请求 P95 | 错误或超时比例 | CPU 使用率 | 应用内存约值 |
|---|---|---|---|---|---|
| 1 | 约 165 RPS | 900 ms | 约 31% | 约 100% | 400 MiB |
| 2 | 约 238 RPS | 95 ms | 低于 1% | 约 160% | 650 MiB |
| 4 | 约 237 RPS | 150 ms | 约 1% | 约 185% | 1.1 GiB |
| 8 | 约 228 RPS | 410 ms | 约 5% | 接近 200% | 2.1 GiB |
这组数据支持的是有条件的判断:从 1 增至 2 个 worker 后,应用利用了更多 CPU,且接近完成全部送达请求;继续增加到 4 或 8 个,吞吐没有相应提高,内存与尾延迟却上升。因此,在这次负载和资源限制下,2 个 worker 比 4 或 8 个更合适。不能由此推断“所有 2 核服务器都必须设 2 个 worker”。
如果同样的测试出现另一种结果——worker 增加后应用 CPU 仍低、数据库连接池等待明显升高、数据库查询时间变长——瓶颈更可能在数据库或连接池。若数据库指标平稳,但某个 worker 的事件循环响应迟缓,应检查是否有同步阻塞代码进入异步路径。若短请求正常、长连接接入后新请求延迟上升,则要看连接分布、每个 worker 的资源占用以及接入层限制。
排队位置也决定了如何解释指标。请求可能在接入层、操作系统监听队列、应用并发限制、线程池等待队列、数据库连接池或下游服务排队。只观察 Uvicorn 进程 CPU,看不到所有等待。某些部署还设置了每个 worker 的并发限制;增加 worker 会改变整体可接纳请求量,但可能只是把积压转移到数据库。接入层的超时和连接上限也应与应用指标同时核对。

用边界条件决定最终数量
对 CPU 密集型负载,可从 1 个 worker 开始,逐步增加到接近实际可用 CPU 配额的数量,并以成功吞吐、P95/P99 延迟和 CPU 限流结果判断是否继续。对以非阻塞 I/O 为主的负载,少量 worker 就可能覆盖目标请求量;额外进程的价值更多体现在隔离单个进程的异常和减少某些阻塞的影响,而非按进程数倍增吞吐。
对数据库或外部服务主导的负载,应先计算每个 worker 可创建的连接与总连接预算,再确认下游能完成的请求速率。线程池、连接池和 worker 数必须配合设置,不能分别取较大值后再把总量交给下游承受。对于长连接服务,还需分别验证连接建立速率、稳定在线连接数、单连接消息速率和进程间连接分布;不能仅用 HTTP RPS 推算容量。
最终配置应以满足目标的最小稳定 worker 数为基准,保留应对流量波动和单进程异常的余量。复测至少在这些条件变化后进行:应用代码或依赖升级、CPU 配额和内存限制调整、数据库连接池参数变化、请求中慢接口比例变化、长连接规模增长,以及接入层超时或并发限制调整。每次使用相同的负载模型、预热时间和统计口径,比较成功吞吐、尾延迟、错误率及下游资源,而不是只比较进程数或瞬时并发连接数。
Uvicorn worker 的运行空间,离不开与业务负载相匹配的 CPU、内存和存储资源。A5数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold 与 AMD EPYC 平台,并有搭配 NVMe 存储的不同配置,可为网站、业务后台、数据库和接口服务提供部署资源;多地区方案也能适配面向不同区域用户的业务布局。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5675.html



