数据库服务器上Redis响应变慢,如何判断是否由阻塞命令引起

发布人:A5数据发布时间:2026-10-25 09:42阅读量:102

Redis响应变慢时,先确认慢的是哪一段:请求是否在到达Redis前就已变慢,Redis命令执行是否耗时增加,还是应用线程在等待连接或结果。KEYS扫描大键、对大集合执行SMEMBERS或HGETALL、复杂排序及耗时Lua脚本,可能占用Redis主线程较长时间,使其他请求排队;但BLPOP、XREAD BLOCK这类等待数据的命令通常只让对应客户端等待,不等同于阻塞整个Redis服务。

排查时应先从链路和入口逐层缩小范围,再查看Redis命令耗时、客户端状态与服务器资源。不要一看到某个客户端处于blocked状态就认定Redis被阻塞,也不要在生产环境直接运行全量扫描或高开销诊断命令。

引言配图

一、先确认慢请求的范围和时间

排查前记录问题发生的时间段、受影响的接口、请求量和Redis实例。最好选择一个请求ID或业务操作,按时间核对Web入口、应用日志和Redis监控数据。若问题已恢复,也应保留故障时段的日志、监控和慢日志;事后查询只能说明当前状态,未必能还原当时的阻塞原因。

先区分以下几种表现:

  • 所有使用同一Redis实例的接口都变慢:优先检查Redis服务端延迟、CPU、网络和连接情况。
  • 只有少数接口变慢:检查这些接口是否调用了特定命令、访问了大键,或在应用侧等待连接池。
  • 应用记录的Redis调用很快,但整体请求仍慢:继续检查数据库、其他依赖服务、应用线程池和入口排队。
  • 只有某些消费者或长轮询请求等待:可能是预期的阻塞式读取,需要确认等待逻辑和超时时间,不应直接视为Redis服务故障。

同一时间段内做对照更有价值:比较受影响接口与正常接口、同一实例上的不同业务,以及故障前后的延迟变化。若能在应用日志中记录命令类型、调用耗时和目标实例,可进一步判断慢是在网络往返、命令执行还是应用等待阶段。记录时避免输出认证信息和完整业务数据。

二、由外到内排查请求链路

1. 检查Web入口与应用排队

先查看负载均衡或Nginx访问日志中的请求耗时、上游响应时间和状态码。若入口总耗时增加,而上游耗时也增加,问题更可能位于应用或应用依赖;若入口耗时增加但上游响应正常,则要检查入口排队、连接数和网络。

在应用侧重点看:

  • 请求进入应用到开始处理之间是否存在排队;
  • 工作线程、协程、任务队列是否接近上限;
  • Redis连接池的活动连接数、等待连接数、获取连接耗时;
  • Redis客户端超时、重试次数和连接重建情况;
  • 是否有某类请求集中调用大结果集命令或重复读取。

如果Redis连接池等待时间很长,而单次已发出的Redis命令耗时正常,优先处理连接池耗尽或应用并发控制问题;这并不能证明Redis服务器执行慢。反过来,若应用日志显示Redis调用时间同步升高,才继续对照服务端数据。

2. 排除数据库和其他依赖

题目中的“数据库服务器”可能同时承载关系型数据库和Redis,也可能只是业务系统统称。应分别查看数据库查询耗时、连接池等待、锁等待和磁盘I/O。关系型数据库慢会拖长整体接口,但不等于Redis命令变慢。

若应用先查数据库再访问Redis,或在事务完成后才返回,按请求链路中的调用顺序对齐时间戳。不同主机的系统时间若未同步,日志时间线可能出现误判;应确认时钟同步状态,必要时使用请求ID而非只依赖时间戳。

3. 检查网络与主机资源

在Redis所在主机上查看CPU、内存、网络和磁盘指标。Linux环境可使用以下只读命令观察一段时间:

uptime
vmstat 1 5
mpstat -P ALL 1 5
free -h
sar -n DEV 1 5

若系统未安装mpstat或sar,可用系统已有监控工具替代,不要为了临时排障在生产机上随意安装软件。关注CPU是否持续饱和、运行队列是否明显增长、是否发生交换、网卡丢包或带宽逼近上限。Redis主要数据在内存中,但持久化、备份和系统整体I/O也可能影响主机资源。

若应用与Redis之间存在网络延迟或丢包,服务端命令耗时可能正常,而应用端往返时间升高。对照客户端和服务端的网络指标,并检查是否只有跨机房、跨网段或特定节点受影响。不要把单次ping结果当作Redis请求延迟的完整证据。

针对Redis缓存、数据库与应用服务的部署需求,A5数据提供中国香港、美国、日本等地区的物理服务器,涵盖不同档位的CPU、内存及SSD、NVMe存储配置。各地区还有相应的线路和带宽方案,可为业务按访问区域规划网络链路、按负载规模配置主机资源提供选择,也为应用与数据服务分层部署提供硬件基础。

三、在Redis侧确认是否有命令阻塞

以下命令以Linux主机上的redis-cli为例。根据部署方式选择正确的地址、端口、认证和TLS参数;认证信息不要写入共享终端记录或工单。若使用Redis Cluster,应确认排查的是业务实际访问的节点,问题可能只发生在某个分片。

1. 查看服务状态和命令统计

先执行低风险的状态查询:

三、在Redis侧确认是否有命令阻塞配图

redis-cli -h 127.0.0.1 -p 6379 PING
redis-cli -h 127.0.0.1 -p 6379 INFO stats
redis-cli -h 127.0.0.1 -p 6379 INFO commandstats

PING用于确认实例能够响应,但一次成功不能说明高峰期没有延迟。INFO stats可查看总命令数、拒绝连接、过期和淘汰等统计;INFO commandstats按命令类型展示调用次数及累计耗时,适合寻找耗时异常增长的命令。

commandstats通常是实例累计值,应在两个相邻时间点采样并计算变化量,而非只看累计总数。例如某命令调用次数在短时间内增长很多,且累计耗时同步显著增加,说明它值得进一步检查;但累计耗时也可能来自正常的大量调用,仍需结合请求量和应用日志。

redis-cli -h 127.0.0.1 -p 6379 INFO commandstats
sleep 10
redis-cli -h 127.0.0.1 -p 6379 INFO commandstats

这里的10秒只是示例采样间隔,应按业务流量和故障持续时间调整。生产环境中不要高频循环查询,以免增加不必要的管理请求。

2. 查询慢日志和延迟事件

检查最近的慢命令记录:

redis-cli -h 127.0.0.1 -p 6379 SLOWLOG GET 20

慢日志记录的是Redis服务端执行命令超过阈值的情况,通常不包含客户端到服务端的网络往返耗时。若慢日志中出现KEYS、大结果集读取、复杂排序或Lua脚本,并且发生时间与接口变慢一致,阻塞命令的可能性增加。若慢日志为空,不能完全排除问题:阈值可能较高、日志条数有限,或当前查看时相关记录已被新记录覆盖。

Redis支持延迟监控的版本可查看延迟事件:

redis-cli -h 127.0.0.1 -p 6379 LATENCY LATEST
redis-cli -h 127.0.0.1 -p 6379 LATENCY DOCTOR

若命令提示不支持,先核对Redis版本和延迟监控配置,不要据此判断没有延迟问题。慢日志与延迟监控是互补证据:前者关注命令执行时间,后者帮助观察服务端延迟尖峰。

3. 检查客户端是否在等待或排队

可查看客户端连接状态:

redis-cli -h 127.0.0.1 -p 6379 CLIENT LIST

重点关注连接数是否异常、客户端是否反复重连、输入缓冲区是否持续增大,以及cmd字段所示的最近命令。不同Redis版本输出字段可能不同。CLIENT LIST可能返回大量连接信息,生产环境中应控制查询频率,并避免把完整输出长期公开保存。

客户端显示cmd=blpop或类似阻塞式读取,只能说明该客户端最近执行过这类命令,不能单独证明服务端被阻塞。还要检查是否有大量请求排在该客户端之后、慢日志是否出现耗时命令,以及服务端CPU和应用侧命令耗时是否同步上升。

四、区分“命令耗时”与“阻塞式等待”配图

四、区分“命令耗时”与“阻塞式等待”

Redis命令都由服务端处理,但不同命令对资源的占用方式不同。执行需要遍历大量数据、生成大响应或运行复杂脚本的命令,可能长时间占用服务端处理资源,使其他命令等待;而BLPOP、BRPOP、XREAD BLOCK等命令设计上就是等待条件满足,通常是让发起请求的客户端挂起,并不意味着Redis进程一直忙等。

观察结果更可能的解释下一步核对
慢日志出现高耗时命令,应用端同一时段多个Redis调用变慢服务端命令执行可能造成排队对照命令参数、数据规模、调用频率和时间戳
客户端存在阻塞式读取,但慢日志无对应高耗时,其他请求正常单个业务客户端在等待数据检查读取超时、队列生产速率和业务等待逻辑
应用调用耗时升高,服务端慢日志和延迟指标正常网络、连接池或应用线程排队的可能性较高核对连接获取时间、网络往返和应用等待栈
CPU持续偏高,特定命令累计耗时增长快,多个接口同时受影响高成本命令或请求量过大值得优先排查结合应用调用记录定位触发路径,评估数据规模
CPU不高但请求慢,客户端数量或连接池等待增加可能是网络、连接耗尽、外部依赖或应用侧等待检查连接池、超时、丢包和下游调用

常见高风险命令包括全库键扫描KEYS、对大型集合取回全部成员、对大型哈希取回全部字段、全量排序,以及处理大量数据的Lua脚本。命令是否有风险取决于数据规模和调用频率,并非命令名称本身就足以定性。比如小集合上的读取通常不会造成明显延迟,而同一全量读取被高并发重复调用则可能放大影响。

如果需要确认某个键的数据规模,先使用已有监控、应用侧统计或低风险的渐进式检查方式。不要在高峰期对大键直接执行全量取值来“验证”它是否很大;这可能制造新的负载。MONITOR会持续输出命令流并带来额外开销,也可能暴露业务键和参数,不建议在生产高峰期长时间开启。

五、根据结果选择处理方向

慢命令证据明确

若慢日志、应用调用记录和接口变慢时间吻合,优先从业务调用方式和数据规模着手:

  • 将全量读取改为分页、分批或按需读取;
  • 对集合、哈希等结构限制单次返回量,避免接口每次拉取全部数据;
  • 将大批量处理移到低峰期或拆成有节奏的任务;
  • 检查Lua脚本是否遍历过多数据,必要时拆分处理,并为单次工作量设置上限;
  • 评估高频重复查询是否可通过业务缓存、请求合并或调用频率控制减少。

这些调整应先在测试环境或小流量范围验证结果与并发影响,避免改变数据语义。不要未经评估就删除键、清空数据或重启Redis;这类操作可能导致数据丢失、服务中断或故障证据消失。

只有阻塞式客户端,没有服务端耗时证据

此时应回到应用逻辑检查等待条件、消费者数量和超时设置。确认生产端是否持续写入、消费端是否按预期读取,是否存在大量长时间等待的请求占用应用连接或线程。必要时在应用侧设置合理的阻塞等待时长和取消机制,但调整前要确认业务是否依赖长期等待,以及客户端重试是否会造成额外负载。

服务端指标正常,应用仍然变慢

优先检查Redis连接池等待、DNS或网络链路、应用线程池、数据库查询和其他依赖。若应用端显示Redis调用耗时包含“获取连接时间”,应区分连接池等待与命令往返时间;两者处置方式不同。不要仅凭接口总耗时就对Redis扩容或调整服务端参数。

资源压力明显但找不到单一命令

把命令统计与业务请求量、主机CPU和网络指标放在同一时间轴上,观察是否由流量突增、后台任务、持久化操作或多类命令共同造成。若要调整slowlog-log-slower-than等运行参数,应先记录当前值、确认版本和变更权限,在维护窗口或经审批后小范围修改,并设定回退方式。不要为了捕获问题把慢日志阈值长期设为极低值,否则可能增加日志量和运维负担。

六、修复后复测并持续观察

修复后使用与故障时相近的请求量和数据规模进行验证,重点比较应用端Redis调用耗时、接口响应分位数、慢日志新增记录、命令统计增量、连接池等待和主机资源。若调整的是业务查询方式,还需核对返回结果、分页边界和并发下的数据一致性。

建议至少覆盖一个业务高峰或代表性任务周期,并观察是否出现新的错误、超时、重试或队列积压。若指标改善但接口仍慢,应继续沿入口、应用、数据库和网络链路排查,不要把一次恢复直接等同于根因已解决。保留故障时间线、关键指标和变更记录,后续同类问题可以更快区分服务端命令阻塞、客户端主动等待与应用侧排队。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5636.html

相关推荐