香港服务器上的RabbitMQ消息积压,如何定位消费瓶颈?
RabbitMQ出现消息积压时,队列深度只是结果,不是消费瓶颈的直接证据。messages_ready持续上升,可能是消费者数量不足,也可能是消费者已经取到消息但卡在数据库、外部接口或本地磁盘;香港服务器的网络往返延迟、跨地域链路丢包和RabbitMQ节点自身的磁盘告警,也可能让消费速率下降。
定位时应把同一时间窗口内的消息发布速率、确认速率、消费者状态、Web响应时间、应用处理耗时、数据库等待、CPU、内存、I/O和网络指标放在一起看。只有当多个指标沿着同一时间线出现联动,并且能够排除重试、突发流量、监控采集异常等替代解释,才适合把某一层判断为主要瓶颈。
先建立可比的观察窗口
不要只看当前队列深度
队列中等待处理的消息通常可以拆成两类:
messages_ready:还没有投递给消费者的消息。messages_unacknowledged:已经投递给消费者,但应用尚未确认的消息。
因此,排查时至少需要同时记录:
| 指标 | 观察意义 |
|---|---|
messages_ready | 判断消息是否在RabbitMQ中等待投递 |
messages_unacknowledged | 判断消息是否已经被消费者取走但处理或确认较慢 |
| consumers | 判断消费者是否存在、数量是否异常 |
| publish rate | 判断生产端当前每秒写入量 |
| deliver/get rate | 判断RabbitMQ向消费者投递消息的速度 |
| ack rate | 判断消息完成处理并被确认的速度 |
| oldest message age | 判断积压是否正在影响实际等待时间 |
messages_ready很高但持续下降,和它很高且持续上升,是两种完全不同的状态。前者可能是正在恢复,后者则说明当前消费能力仍小于输入速度。
建议使用固定的10至30分钟观察窗口,记录窗口开始前、过程中的峰值和结束时的值。若业务存在明显高峰,应至少覆盖一个完整业务周期。香港服务器的系统时间建议统一使用NTP同步,并在监控中明确显示时区;日志可能使用UTC,而业务看板使用香港时间(UTC+8),时区错位会让发布速率、接口延迟和数据库慢查询看起来没有关系。
建立一张时间对齐的指标表
不必每秒人工执行命令。生产环境更适合从RabbitMQ管理界面、Prometheus、应用监控和数据库监控中导出同一时间段的数据。基础记录可以按1分钟或5分钟聚合:

| 时间 | publish/s | ack/s | ready | unacked | consumers | Web P95 | 应用处理P95 | 数据库P95 |
|---|---|---|---|---|---|---|---|---|
| 10:00 | 160 | 158 | 1,200 | 300 | 12 | 420 ms | 180 ms | 80 ms |
| 10:05 | 210 | 150 | 3,000 | 620 | 12 | 780 ms | 430 ms | 350 ms |
| 10:10 | 220 | 118 | 6,000 | 780 | 12 | 1.4 s | 920 ms | 760 ms |
| 10:15 | 220 | 115 | 9,150 | 790 | 12 | 1.8 s | 1.1 s | 1.0 s |
上表是用于说明判断方法的模拟数据,不代表任何实际监控结果。它呈现出一个较明确的关联:发布速率由160条/秒提升到220条/秒,确认速率却从158条/秒下降到115条/秒;ready持续增加,unacked在高位,应用处理耗时和数据库耗时也同步上升。此时不能简单得出“RabbitMQ变慢”,更合理的第一候选是消费者处理链路中的数据库或下游依赖变慢。
如果只看到10分钟时的ready=6000,而没有速率和时间变化,无法判断这是正常峰值、正在排空的历史积压,还是仍在恶化。
把队列变化拆成输入、交付和确认
用速率变化判断积压是否还在扩大
在没有大量批量确认、拒绝重回队列等特殊行为时,可以用下面的关系做初步估算:
积压变化速率 ≈ 发布速率 - 确认速率
例如,某个队列每秒发布180条消息,消费者每秒确认120条,则净增长约为60条/秒。连续30分钟后,理论上会增加:
60条/秒 × 1,800秒 = 108,000条
如果平均每条消息大小约为20 KB,新增消息的业务载荷约为:
108,000 × 20,000字节 = 2,160,000,000字节,约2.16 GB
这里采用十进制口径,1 GB按1,000,000,000字节计算。若按180条/秒计算,进入队列的业务载荷带宽约为:
180 × 20,000字节 × 8 = 28,800,000 bit/s,约28.8 Mbps
这个带宽只是消息载荷估算,不包含TCP、TLS、AMQP协议、持久化和复制开销。它可以帮助判断香港服务器的公网带宽是否可能接近上限,但不能代替RabbitMQ自身的消息速率和主机网络指标。
批量确认会让“消息处理完成数”和“ack次数”不完全相等;应用使用自动确认时,ack指标也不能直接代表业务处理完成。因此,应用侧最好额外上报“业务处理成功消息数”和“处理失败消息数”。
不同的ready与unacked组合代表不同方向
ready上升,unacked较低,消费者数量为零或明显减少
这通常指向消费者没有正常工作,例如:
- 消费者进程退出或反复重启;
- 连接建立失败,账号、虚拟主机或权限发生变化;
- 消费者订阅了错误的队列或交换机绑定;
- 应用启动成功,但消费线程没有真正运行;
- 消费者连接被RabbitMQ关闭,应用没有自动恢复;
- 发布者写入的队列与消费者监听的队列不是同一个队列。
这类情况不应优先调大prefetch或增加服务器CPU。先确认消费者连接、订阅关系和应用日志,往往比调参数更快。
ready上升,unacked也上升,消费者数量没有下降
消息已经被消费者取走,但处理完成和确认变慢。常见瓶颈包括数据库锁等待、连接池耗尽、外部HTTP调用超时、文件或对象存储写入缓慢,以及应用线程池不足。
此时消费者数量看似正常,甚至每个进程都保持连接,但消费吞吐已经下降。需要把unacked变化与应用处理耗时、数据库连接池等待、外部调用耗时对齐。
ready上升,unacked长期接近某个固定高值
这可能与prefetch和并发模型有关。比如应用有20个消费者,每个消费者prefetch为100,那么最多可能有约2,000条消息处于已投递未确认状态。此时unacked高并不一定意味着所有消息都卡死,但如果处理耗时同时上升、确认速率下降,就需要检查具体处理阶段。
如果unacked迅速升高而ready反而下降,说明RabbitMQ正在向消费者投递,瓶颈可能已经转移到消费者内部。盲目提高prefetch可能只是把消息从RabbitMQ搬到应用内存中,增加内存压力和故障恢复时的重放范围。
ready和unacked都不高,但Web接口仍然变慢
这时不能把响应慢归因于RabbitMQ积压。可能的原因包括:
- Web入口到应用的连接建立或排队变慢;
- 应用同步调用数据库或外部接口;
- Web工作线程、事件循环或连接池耗尽;
- Nginx、负载均衡器或应用网关出现上游超时;
- 慢接口与RabbitMQ使用的是不同队列或不同业务链路。
如果HTTP接口只是把消息发布到RabbitMQ后立即返回,那么HTTP响应时间本来就不等于消息消费时间。需要通过请求Trace ID、消息Header或业务流水号,把一次Web请求和后续消费日志关联起来。
先采集RabbitMQ本身的只读状态
确认命令适用于具有相应管理权限的RabbitMQ节点。生产环境不建议每秒频繁执行队列枚举命令,较高频率的曲线应由监控插件或管理界面提供。
rabbitmq-diagnostics status
rabbitmq-diagnostics check_local_alarms
rabbitmqctl list_queues -p / name state consumers messages_ready messages_unacknowledged
如果使用的RabbitMQ版本支持更多队列字段,也可以查看队列类型、持久化状态和消费者利用率。不同版本的字段名称可能不同,先执行帮助命令确认:
rabbitmqctl help list_queues
重点不是某次命令输出的绝对值,而是同一队列在观察窗口内的变化。还要核对是否存在内存或磁盘告警。RabbitMQ触发资源告警后,发布端可能被流控,应用看到的响应变慢不一定是Web代码本身变慢。
沿请求链路定位消费处理慢点
先确认Web入口是否与队列变化同一时间恶化
Web入口至少需要同时观察以下指标:
- 请求量和并发连接数;
- P50、P95、P99响应时间;
- Nginx到上游的连接时间;
- Nginx等待上游返回的时间;
- 499、502、503、504等状态码;
- 请求超时、重试和限流次数;
- 发布消息的接口与其他接口是否使用相同应用实例。
如果只有P99上升而P50稳定,常见解释是少数请求被数据库锁、外部接口或连接池排队拖慢;如果P50、P95、P99同时上升,才更像是整体容量下降或上游依赖普遍变慢。
Nginx访问日志中如果没有请求耗时字段,可以在确认配置上下文后增加类似的记录格式:
log_format timing
'$time_iso8601 request_id=$request_id '
'status=$status request_time=$request_time '
'upstream_connect_time=$upstream_connect_time '
'upstream_header_time=$upstream_header_time '
'upstream_response_time=$upstream_response_time';
access_log /var/log/nginx/access.log timing;
修改配置前应备份原配置,并确认log_format位于http上下文。检查无误后再按发行版实际服务名执行平滑加载:
nginx -t
systemctl reload nginx
如果服务器使用OpenResty或其他服务管理方式,应以实际服务名称为准。若nginx -t失败,不要执行加载操作,先恢复配置文件并检查语法。
判断时要区分两个时间:
upstream_connect_time高:Web入口连接应用服务本身就慢,可能是连接数、网络或应用监听队列问题。upstream_response_time高而连接时间正常:应用已经接收请求,但处理或等待下游较慢。request_time高而upstream_response_time较低:可能是客户端读取慢、响应发送受限或入口层存在其他等待。- 504与应用处理时间同步上升:需要检查应用、数据库和外部依赖,不应只调大网关超时。
再看消息发布接口与消费接口是否共享资源
一个常见误判是:Web响应变慢,所以RabbitMQ消费一定变慢。实际上,发布消息的HTTP接口和消费消息的Worker可能是两个进程、两个容器甚至两台服务器。
可以按以下关系核对:
| Web与消费者关系 | 应重点观察的联动 |
|---|---|
| 同一应用进程 | Web P95、消费处理耗时、线程池和连接池是否同时升高 |
| 同一台香港服务器、不同进程 | 主机CPU、内存、磁盘I/O、网络和进程级资源是否互相争用 |
| 消费者在其他地域 | RabbitMQ连接RTT、重传、ack延迟和跨地域带宽 |
| Web只负责发布,消费者独立 | Web响应可正常,但队列仍持续积压,需要单独看消费者链路 |
| Web同步等待消费结果 | HTTP响应时间会直接受到队列等待和消费耗时影响 |
如果消息发布接口的P95从300毫秒上升到2秒,但RabbitMQ的publish rate没有明显下降,可能是发布确认、网络等待或Web线程池阻塞;如果publish rate下降、队列仍然增长,则要确认是否是生产端流量变化、发布失败重试或消息路由发生改变。
在应用侧看“取到消息”到“确认消息”的时间
消费者日志至少应记录以下时间点:
- 收到消息的时间;
- 开始业务处理的时间;
- 数据库操作开始和结束的时间;
- 外部接口调用开始和结束的时间;
- 业务处理完成的时间;
- RabbitMQ发送确认的时间;
- 失败、重试、拒绝或重新入队的原因。
这样可以把处理耗时拆开:
消费处理耗时 = 数据库耗时 + 外部依赖耗时 + 应用计算耗时 + 线程或连接池等待
例如,应用处理P95从200毫秒升到1.1秒,其中数据库P95从80毫秒升到1秒,而JSON序列化和业务计算仍低于50毫秒,那么主要矛头应指向数据库或数据库连接池,而不是RabbitMQ网络。
还应同时查看:
- Worker实例数量和实际活跃线程数;
- 每个消费者的处理速率;
- 线程池排队长度;
- 数据库连接池已用数、空闲数和等待数;
- 外部HTTP调用的P95、超时和重试;
- JVM、Node.js、Python或其他运行时的GC和事件循环延迟;
- 失败消息、重试消息和重新入队数量;
- 单条消息平均大小及处理结果分布。
如果失败消息被快速重试,可能出现“消费很忙但业务没有进展”的情况。此时deliver rate可能升高,ack rate却没有同步增加,CPU、数据库和网络都被重复处理占用。需要将首次消费、重试消费、拒绝重回队列分别统计。
用数据库指标验证应用瓶颈
数据库经常是RabbitMQ积压的真正放大点。消息消费者从队列中取到消息后,通常需要执行查询、更新、事务提交或写入另一张业务表;数据库变慢后,应用延迟确认,messages_unacknowledged便会增加。
数据库CPU高不等于只有SQL慢
需要同时观察:
- 数据库CPU使用率;
- 活跃连接数与连接上限;
- 应用连接池等待时间;
- 查询P95、P99和慢查询数量;
- 锁等待、事务等待和死锁;
- 磁盘读写延迟、IOPS和队列深度;
- 缓存命中率;
- 日志或归档写入延迟;
- 数据库网络RTT。
可以按照联动关系判断:
| 观察组合 | 更可能的方向 |
|---|---|
| SQL耗时升高、锁等待升高、CPU不高 | 锁竞争、长事务或热点行 |
| SQL耗时升高、数据库CPU接近满载 | 查询计划、并发过高或计算量增加 |
| 应用连接池等待升高、数据库连接数接近上限 | 连接池配置、连接泄漏或事务未及时释放 |
| 数据库CPU不高、磁盘await和I/O队列升高 | 存储延迟或日志刷盘压力 |
| 应用处理耗时升高,但数据库各项平稳 | 外部接口、线程池、运行时暂停或应用逻辑 |
| RabbitMQ ack下降,但数据库调用量也下降 | 消费者可能没有取到消息、线程阻塞或连接已断开 |
不要只因为数据库CPU只有40%就排除数据库。锁等待和连接池等待往往不会显著提高CPU,却会让每个消费者长时间占用未确认消息。
数据库结构调整、索引变更和批量更新都可能影响线上业务。排查阶段优先使用只读监控和慢查询分析;如果必须执行数据库操作,应先确认备份、锁影响范围、执行窗口和回滚方案,不能把“加索引”或“重启数据库”作为默认处理方式。
结合香港服务器的网络与主机负载排除误判
香港地域重点看RTT、重传和路径,而不是只看带宽
服务器位于香港,只能说明机器的机房位置,不能直接代表消费者、数据库和业务访问者都在香港。常见链路可能是:
- Web入口在香港,RabbitMQ也在香港,消费者在其他地域;
- RabbitMQ在香港,数据库在其他地域;
- 消费者和数据库在同一地域,但经过公网或跨运营商链路;
- RabbitMQ、消费者和数据库同机,但仍受到同一块磁盘和同一网卡资源限制。
如果消费者跨地域连接RabbitMQ,即使平均带宽使用量不高,较高RTT也可能限制逐条确认的吞吐。尤其是prefetch较小、每条消息都等待确认、消息处理还需要多次访问数据库时,网络往返时间会被叠加。
网络排查至少记录:
- RabbitMQ连接两端的平均RTT和P95 RTT;
- TCP重传、丢包和连接重置;
- 网卡吞吐量与带宽上限;
- TCP连接数量和发送、接收队列;
- RabbitMQ发布确认延迟;
- 消费者收到消息到发送ack的时间;
- Web入口到应用、应用到数据库的分段延迟。
Linux主机上的基础只读检查可以使用:
vmstat 1 10
iostat -xz 1 5
ss -s
sar -n DEV,EDEV 1 5
这些命令通常来自procps、sysstat等软件包,若系统未安装,应先确认发行版的安装方式,不要在故障高峰期临时执行大范围软件变更。
CPU低也可能存在消费瓶颈
RabbitMQ和消费者的处理不一定能够均匀使用所有CPU核心。以下情况会出现总CPU不高但响应仍慢:
- 单个Erlang调度器或单个消费者线程成为瓶颈;
- 应用大量等待数据库或网络;
- I/O wait升高,CPU处于等待状态;
- 线程池或连接池已满;
- 某个队列的消费逻辑串行化;
-锁竞争导致线程无法继续执行。
因此应同时查看总CPU、进程CPU、load、run queue、iowait和上下文切换。对RabbitMQ节点,可先确认beam.smp进程是否异常占用资源;对消费者进程,则需要使用应用实际PID采集进程级CPU、内存和I/O。
pidstat -u -r -d -p <consumer_pid> 1 5
pidstat -u -r -d -p <rabbitmq_pid> 1 5
<consumer_pid>和<rabbitmq_pid>需要替换为实际进程号。不要根据进程名称猜测PID,尤其是在容器或多实例环境中,应结合服务管理器、容器编排平台和进程启动参数确认。
内存、磁盘和RabbitMQ告警需要放在一起看
RabbitMQ对内存和磁盘空间有保护机制。内存接近阈值时可能触发发布端流控;磁盘空间不足时,持久化消息、队列日志和复制队列可能受到影响。检查时应同时关注:
- 主机可用内存和Swap使用;
- RabbitMQ内存占用及内存告警;
- 数据目录所在磁盘的剩余空间;
-磁盘await、util和I/O队列;
- 持久化消息比例;
- Classic Queue或Quorum Queue的类型;
- 队列副本或Leader所在节点;
- 节点之间的复制延迟。
Quorum Queue通常比纯内存路径更依赖磁盘写入和副本确认。若积压发生时磁盘await明显升高,同时RabbitMQ节点出现磁盘告警或发布确认延迟上升,应先处理存储和节点容量问题,而不是只扩展消费者数量。
用一个时间对齐的案例形成判断
下面用一组模拟监控数据说明完整判断过程。数据用于解释因果候选,不代表实际监控结果。
第一步:观察窗口确认积压仍在增长
10:00到10:20期间,某订单队列的发布速率从160条/秒提升到220条/秒,ack速率从158条/秒下降到115条/秒,messages_ready从1,200增加到9,150,messages_unacknowledged从300增加到790。
首先可以得出两个判断:
- 这不是单纯的历史积压,因为
ready仍在上升。 - 生产速度提高与确认速度下降同时存在,当前处理能力低于输入速度。
但这还不能说明是RabbitMQ节点资源不足,也不能直接说明是数据库慢。
第二步:把Web入口放进同一时间线
同一时间段,发布消息的HTTP接口P95从420毫秒上升到1.8秒,504比例从0.1%上升到1.6%。Nginx日志显示,upstream_connect_time保持在20毫秒以内,而upstream_response_time明显增加。
这排除了“Web到应用无法建立连接”作为首要解释,更接近于应用已经接收到请求,但在业务处理或发布确认阶段等待时间增加。
接着需要检查Web应用与消费者是否共享数据库连接池。如果发布接口与消费者共用同一组连接池,消费者处理变慢可能占满连接,反过来拖慢发布接口;如果两者使用不同连接池,则需要分别看发布操作和消费操作。
第三步:对齐应用和数据库指标
应用监控显示:
- 消费者实例数保持为12;
- 消费者连接没有明显断开;
- 消费处理P95从180毫秒增加到1.1秒;
- 数据库连接池等待从接近0增加到24%;
- 数据库查询P95从80毫秒增加到1秒;
- 数据库CPU从45%升到62%,但并未完全打满;
- 锁等待次数明显增加。
此时,unacked升高就有了合理解释:消费者已从RabbitMQ取到消息,但在数据库锁等待或连接池排队中停留,导致确认延迟。数据库CPU没有达到100%并不能推翻这个判断,因为锁等待本身可能主要表现为等待而非计算。
第四步:检查RabbitMQ和主机资源,排除替代解释
RabbitMQ节点指标显示:
- 没有内存告警或磁盘告警;
- 节点CPU在50%至65%之间;
- 消息发布确认延迟没有同步出现大幅升高;
- 网卡吞吐量距离带宽上限仍有余量;
- 消费者与RabbitMQ之间RTT变化不明显;
- RabbitMQ数据目录磁盘await保持稳定。
因此,RabbitMQ节点资源不足、香港服务器公网带宽耗尽和跨地域网络抖动暂时不是主要解释。
如果此时反而发现磁盘await从5毫秒升到80毫秒,RabbitMQ磁盘告警同时出现,且ack和publish确认延迟都升高,那么判断应转向节点存储或队列持久化路径,而不是数据库。
第五步:形成可验证的判断
当前案例的工作结论可以写成:
订单消费者数量和连接状态正常,但消息确认速率下降与数据库查询耗时、连接池等待和锁等待同时上升;RabbitMQ节点资源、网络和告警没有同步恶化,因此数据库锁竞争或数据库连接资源不足是优先验证的瓶颈。
这个结论仍然是“可验证的工作判断”,不是只凭一张监控图得出的绝对结论。下一步需要确认具体锁对象、慢查询或事务持有时间,并观察修复后消费速率是否恢复。
处理方式要与判断结果匹配
消费者不足或连接异常
当ready持续上升、unacked很低、消费者数量下降时,处理重点是恢复消费链路:
- 检查消费者进程、容器和自动重启记录;
- 核对连接的vhost、队列名称、交换机绑定和权限;
- 检查应用是否在启动后创建了连接但没有启动消费循环;
- 查看RabbitMQ是否主动关闭连接或Channel;
- 逐步恢复消费者实例,并观察ack速率和数据库负载。
如果增加消费者后ack速率没有提高,但数据库连接池等待、锁等待或磁盘I/O上升,说明下游已经成为限制因素,应停止继续扩容消费者。
应用处理或数据库瓶颈
当unacked高、应用处理P95高、数据库等待同步升高时,优先处理具体的下游等待:
- 缩短事务持有时间;
- 检查慢查询和锁竞争;
- 确认连接池上限与数据库承载能力匹配;
- 将高耗时外部调用从消息确认前路径中拆分或设置合理超时;
- 检查失败重试是否造成重复压力;
- 评估是否需要降低消费并发,避免数据库进一步过载。
prefetch调整必须谨慎。提高prefetch可能提高网络利用率,但也会增加unacked数量和消费者内存占用;降低prefetch可以减少单个消费者持有的未确认消息,但可能降低吞吐。调整前记录原值,只修改一个变量,并准备恢复原值的回滚方案。
RabbitMQ节点或主机资源瓶颈
当RabbitMQ告警、磁盘await、节点CPU或内存压力与队列积压同步出现时,应优先处理节点资源:
- 确认队列数据目录所在磁盘,而不是只看系统盘;
- 检查是否存在Swap、磁盘空间不足或I/O突发;
- 核对队列类型和持久化策略;
- 降低不必要的高频管理查询和日志写入;
- 在有容量评估和迁移方案的前提下进行节点扩容或队列迁移。
涉及节点重启、队列迁移、磁盘更换或配置覆盖时,应先确认持久化状态、备份、影响范围和回滚路径。不要通过删除队列、清空消息或强制终止进程来“快速清积压”,这类操作可能造成不可恢复的数据丢失。
跨地域网络或香港机房链路瓶颈
当消费者不在香港服务器所在网络区域,且RTT、重传、发布确认延迟或ack延迟同步上升时,需要从链路设计处理:
- 核对RabbitMQ、消费者、数据库的部署地域;
- 判断消息是否必须跨地域逐条确认;
- 检查是否因公网链路波动导致连接反复重建;
- 结合prefetch、批量处理和批量确认能力评估吞吐;
- 将对延迟敏感的消费者尽量放在接近RabbitMQ的位置;
- 对跨地域链路设置可观测的超时、重试和幂等机制。
网络吞吐没有达到带宽上限,也不能排除网络瓶颈。高RTT、丢包和频繁重传都可能让有效吞吐下降。
针对RabbitMQ、数据库与消费者协同运行的业务场景,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,并覆盖CN2、国际带宽及多种网络线路。香港服务器可搭配Xeon Gold、AMD EPYC、SSD或NVMe存储与不同内存配置,为消息队列、业务接口、数据库和多任务处理提供主机与网络资源基础。
复测时看“排空速度”,不要只看是否暂时下降
修复或调整后,至少继续观察一个完整窗口,不要只看队列深度在某一分钟内下降。有效复测应同时满足:
messages_ready持续下降;messages_unacknowledged没有异常膨胀;- ack速率持续高于publish速率;
- 消费处理P95下降;
- Web P95、P99和504比例恢复;
- 数据库锁等待、连接池等待和查询P95下降;
- RabbitMQ节点没有新的内存或磁盘告警;
- 网络RTT和重传没有同步恶化;
- 失败、拒绝和重试消息没有增加。
如果当前积压约为108,000条,发布速率保持不变,修复后ack速率比publish速率高出90条/秒,那么理论排空时间约为:
108,000 ÷ 90 = 1,200秒,约20分钟
这是理想估算,实际还会受到批量确认、重试、消息大小、磁盘写入和下游突发负载影响。如果20分钟后队列没有按接近该速度下降,应重新检查净排空速率,而不是只确认“消费者进程还在运行”。
下一次遇到类似问题,应在同一张时间图中同时放置以下指标组合:
messages_ready、messages_unacknowledged、publish rate、ack rate;- consumers、消费者处理P95、失败重试率、prefetch;
- Web请求P95/P99、上游连接时间、502/504比例;
- 数据库查询P95、锁等待、连接池等待、磁盘I/O;
- RabbitMQ节点CPU、内存告警、磁盘await、数据目录空间;
- 消费者到RabbitMQ的RTT、重传率、连接重建次数。
当队列、应用、数据库和主机资源在同一时间窗口内呈现一致变化,才能把“消息积压”进一步收敛为可操作的消费瓶颈。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3415.html
