数据库服务器上的Redis大Key怎么排查,如何判断影响范围?

发布人:A5数据发布时间:2026-11-13 10:26阅读量:35

Redis 大 Key 排查不能只看某个键有多少成员:字符串要关注值的字节数,哈希、列表、集合、有序集合和 Stream 还要看成员数量、实际内存占用及访问方式。判断影响范围时,应同时确认问题键属于哪个业务、数据库或分片,并检查它是否造成 Redis 命令变慢、内存压力、响应变大,或影响副本与客户端。

排查建议从低风险的观察开始:先确认症状和时间范围,再扫描定位候选键,随后结合 Redis 指标、系统资源、网络状况和应用调用验证。maxmemory、淘汰策略或客户端超时等配置可能放大或掩盖症状,却通常不会自动限制单个键的成员数;仅凭一项配置或一次扫描结果,不足以认定根因。

先确认症状与影响边界

记录故障开始时间、持续时间、涉及的业务接口和实例,并把应用侧表现与 Redis 指标放在同一时间线上。需要区分的是:全实例普遍变慢、某类命令变慢、单个业务或分片受影响,还是只有某个客户端收到大响应后处理变慢。

首先核对部署形态和版本:独立实例、主从还是集群;故障期间是否发生发布、流量突增、数据导入、批量任务或过期集中。集群环境要明确问题键所在的主节点及槽位;单实例扫描的结果不能代表整个集群。

观察到的现象优先排查方向不能直接得出的结论
多个业务同时变慢,Redis CPU或命令耗时上升高复杂度命令、主线程负载、内存压力、实例侧资源不能仅凭CPU高认定是大 Key
某个接口响应体变大或耗时增加涉及的键、读取命令、客户端解码和传输不能仅凭响应大认定 Redis 内存不足
Redis 命令耗时正常,但应用超时网络往返、连接池、客户端线程、下游处理不能仅凭应用超时认定 Redis 配置失效
内存接近上限、淘汰或写入失败键增长、碎片、复制缓冲、写入模式及内存配置不能仅凭 used_memory 高认定由单个键造成
某个分片或主节点异常分片数据分布、热点键、该节点资源与副本状态不能用其他节点的扫描结果排除该分片问题

这里的“大”不是统一阈值。字符串应看字节数;集合类既要看成员数,也要看成员大小和编码方式。比如,几万个短成员和几万个较长字段的实际内存、命令执行时间可能相差很大。实践中可以把数万级集合成员或数 MB 级字符串列为排查候选,但应结合业务时延、内存余量和命令类型确定告警线,而不是把这些数值当作通用故障标准。

还要区分大 Key 和热 Key:大 Key 主要是单个键的内容或结构较大;热 Key 则是访问集中、请求频率高。二者可以同时存在,但治理方法不同。前者往往需要控制键的规模或读取范围,后者还要关注访问分散和热点负载。

建立原因树:从网络、系统、Redis 到应用

网络与客户端链路

先从应用所在机器和 Redis 所在机器分别观察延迟。可使用 Redis 客户端的延迟测试比较网络往返时间:

redis-cli -h <redis_host> -p <redis_port> --latency

如果应用到 Redis 的往返延迟明显升高,但 Redis 侧命令耗时没有同步增加,检查链路丢包、重传、带宽争用、连接池排队和客户端线程。Linux 主机可先查看网卡计数和连接状态:

ip -s link
ss -s

这些命令只能提供线索,不足以单独定位链路故障。结合系统监控检查网卡丢包或错误计数是否在故障时增长;如需进一步抓包,应限定接口、时长和过滤条件,避免在高流量生产机上无边界采集。

大 Key 读取还会放大网络影响:Redis 需要把结果发送给客户端,客户端需要接收、解析并处理。即使 Redis 侧执行时间不长,响应体过大也可能导致应用超时、连接被占用或客户端内存增加。因此应核对接口实际读取了什么字段、返回多少数据,而不只看 Redis 的 CPU。

建立原因树:从网络、系统、Redis 到应用|网络与客户端链路配图

系统资源与进程状态

检查 Redis 主机的 CPU、内存、交换分区和磁盘活动是否在同一时间异常。Linux 上可使用环境已有的监控工具;如果安装了 vmstat,也可观察短时间趋势:

vmstat 1 5

重点关注是否发生持续内存回收或交换、CPU是否被其他进程争用,以及磁盘活动是否与持久化、快照或日志写入同时增加。单次采样只能说明采样时的状态,应与故障时间段的监控曲线对照。

Redis 的内存占用也不等同于键数据的逻辑大小。used_memory、进程常驻内存和内存碎片指标口径不同;分配器、碎片、客户端缓冲、复制缓冲和其他运行开销都可能影响主机实际内存压力。不要把 used_memory 与单个键的估算值简单相加,作为完整的主机容量结论。

A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC、大内存与NVMe存储配置,可为Redis缓存、数据库及接口服务提供计算与存储基础;结合CN2、国际带宽及不同地区线路,也能支持面向多地业务的访问链路与实例部署。

Redis 服务状态与命令类型

先查看实例整体状态和指标:

redis-cli -h <redis_host> -p <redis_port> INFO memory
redis-cli -h <redis_host> -p <redis_port> INFO stats
redis-cli -h <redis_host> -p <redis_port> INFO clients
redis-cli -h <redis_host> -p <redis_port> INFO commandstats

关注 INFO memory 中的内存使用、上限和碎片相关字段;INFO stats 中的瞬时吞吐、淘汰、拒绝连接等变化;INFO clients 中的连接数和缓冲相关信息;INFO commandstats 中各命令调用量及平均耗时。多数统计是累计值或瞬时值,宜在故障前后取样比较,而不是孤立解读一个数字。

如果怀疑少数命令耗时突出,可检查慢日志:

redis-cli -h <redis_host> -p <redis_port> SLOWLOG LEN
redis-cli -h <redis_host> -p <redis_port> SLOWLOG GET 20

慢日志仅记录符合实例配置条件的命令,且不能说明网络传输和应用处理耗时。日志中可能含键名或命令参数,复制到工单或外部沟通前应先做脱敏。若慢日志为空,也不能据此排除短时拥塞或客户端侧延迟。

还应结合应用实际使用的命令判断成本。HGETALL、LRANGE 大范围读取、集合全量读取等操作,可能一次返回大量元素;SCAN 系列适合分批遍历,但全量扫描仍会带来额外工作。不要因为某个键成员数较大,就在生产环境直接执行全量读取来“验证”。

应用数据结构与访问模式

确认候选键由哪个业务写入、多久增长一次、是否设置过期时间、是否有任务持续追加,以及读取端是否每次都请求全部成员。常见原因包括:

  • 把长期增长的历史记录、事件或会话状态放在同一个键中,没有设置数量上限。
  • 定时任务或异常重试不断追加数据,写入速度超过清理速度。
  • 接口只需要少量字段,却使用全量读取命令。
  • 键过期时间不一致,业务高峰时集中重建或集中失效。
  • 单个业务键被多个服务共享,责任归属和生命周期不清晰。

此时要把键、命令和业务接口关联起来。可通过应用埋点、调用日志和必要的客户端监控确认具体读写行为;不要仅凭键名猜测归属。Redis 的命令统计通常按命令聚合,并不直接告诉你某个业务接口调用了哪个键。

逐层定位候选大 Key

先用低风险扫描缩小范围

redis-cli --bigkeys 会遍历所选数据库并汇报各类型的代表性大键。它适合初筛,不是精确的“内存占用排名”:对字符串主要依据长度,对集合类主要依据成员数量,成员实际大小和编码差异不会被这个摘要完整表达。

redis-cli -h <redis_host> -p <redis_port> -n 0 --bigkeys -i 0.01

其中 -n 0 表示选择数据库 0;独立实例应按实际数据库调整。-i 0.01 用于在扫描调用之间增加短暂停顿,降低扫描对在线请求的冲击,但不代表没有成本。扫描耗时取决于键数量、实例负载和网络条件。生产环境应选择低峰时段、观察实例延迟,并在延迟明显恶化时停止或降低扫描频率。

Redis Cluster 通常只使用数据库 0。集群排查应逐个检查相关主节点,不能把某一个节点的扫描结果当成整个集群的结果。托管服务可能限制扫描或诊断命令,应使用服务商提供的等效诊断能力,并先确认命令权限和影响。

逐层定位候选大 Key|先用低风险扫描缩小范围配图

不要用 KEYS * 代替扫描。它可能一次遍历并返回大量键,在生产实例上造成明显阻塞风险。扫描结果也不是事务快照:遍历期间键可能被创建、删除或继续增长,重复出现或遗漏短暂变化都需要结合业务写入情况判断。

若已知键名前缀,可用 SCAN 缩小到业务范围:

redis-cli -h <redis_host> -p <redis_port> -n 0 --scan --pattern 'order:detail:*'

模式必须来自已确认的业务键名规则。不要假设通配符扫描只检查少量数据;如果前缀覆盖整个实例,仍可能遍历大量键。

对候选键核实类型、成员数和内存

先确认键是否仍存在、类型是否符合预期,再按类型检查规模:

redis-cli -h <redis_host> -p <redis_port> TYPE <key>
redis-cli -h <redis_host> -p <redis_port> MEMORY USAGE <key>

MEMORY USAGE 返回该键的内存估算值,适合与成员数和业务时延一起判断,不应理解为整个实例的精确内存账单。部分结构的估算还受抽样参数或实现细节影响;需要更细粒度信息时,应先核对 Redis 版本及命令支持情况。

按类型选择规模检查命令,避免对未知类型直接使用不匹配的命令:

redis-cli -h <redis_host> -p <redis_port> STRLEN <string_key>
redis-cli -h <redis_host> -p <redis_port> LLEN <list_key>
redis-cli -h <redis_host> -p <redis_port> SCARD <set_key>
redis-cli -h <redis_host> -p <redis_port> HLEN <hash_key>
redis-cli -h <redis_host> -p <redis_port> ZCARD <zset_key>
redis-cli -h <redis_host> -p <redis_port> XLEN <stream_key>

这些命令用于检查长度或成员数,不会代替 MEMORY USAGE。检查前后如果业务仍在写入,数值可能变化。对于已经确认的候选键,还要记录所属实例或分片、类型、内存估算、成员数、过期时间和相关业务;避免把敏感键名直接粘贴到公开工单。

判断影响是否由该键造成

候选键和故障同时出现,只能建立关联,不能证明因果。至少核对三件事:

  1. 时间是否吻合:键增长或相关命令耗时上升的时间,是否与接口延迟、Redis 延迟或内存压力同步。
  2. 调用是否吻合:应用是否在故障期间读取或修改该键,使用的命令是否会遍历或返回大量内容。
  3. 范围是否吻合:受影响业务是否都访问同一键、同一分片或同一实例;未访问该键的业务是否也出现相同症状。

例如,以下仅为用于说明判断过程的模拟数据:某分片的集合键有约 8 万个成员,MEMORY USAGE 估算约 28 MB;应用在高峰时对它执行全量读取,接口响应体也同步增大。如果慢日志或命令统计同时显示相关读取耗时上升,且其他不访问该键的接口相对正常,那么大 Key 对该接口的影响可能性较高。若 Redis 命令耗时正常、只有客户端处理时间变长,则应继续检查响应传输、解码和应用线程,而不是直接调整 Redis 内存配置。

核对配置冲突:配置能解释什么,不能解释什么

先检查实例实际生效的配置,不要只看配置文件或部署模板。部分参数可用 CONFIG GET 查询;托管服务可能不开放该命令,且不同版本、权限和配置方式会影响可查询范围。

redis-cli -h <redis_host> -p <redis_port> CONFIG GET maxmemory
redis-cli -h <redis_host> -p <redis_port> CONFIG GET maxmemory-policy
redis-cli -h <redis_host> -p <redis_port> CONFIG GET lazyfree-lazy-user-del
redis-cli -h <redis_host> -p <redis_port> CONFIG GET client-output-buffer-limit
配置或机制可能影响不应据此认为
maxmemory、maxmemory-policy实例可用内存上限及达到限制后的处理方式;需结合写入、复制和淘汰指标判断单个键会被自动拆小,或大响应会被限制在安全范围
lazyfree-lazy-user-del特定删除操作释放对象内存的方式,效果与 Redis 版本和执行命令有关所有大 Key 读取或所有删除操作都不会影响主线程
client-output-buffer-limit对相应客户端类别的输出缓冲行为产生影响,需确认类别和实际配置普通请求的巨大响应一定会被及时阻止
客户端 timeout可能清理一定条件下的空闲连接正在执行的高成本命令会被立即取消,或应用超时必然来自 Redis

配置项的名称相同,也不代表不同实例、版本或托管产品上的默认值和生效方式一致。把查询结果与实际版本、启动参数及服务商配置界面核对;若 CONFIG GET 不可用,不要改用猜测值。

配置看起来正确但故障仍在时,应回到实际命令、键规模和调用链验证。大 Key 通常是数据模型或访问方式问题;通过提高内存上限、调整超时或限制客户端连接,可能只是改变故障表现,不能代替根因处理。

处理根因并验证恢复

如果确认是持续增长的集合或字符串,优先从写入与读取方式治理:为历史数据设置明确保留范围,将一个无限增长的键拆成可控分段,限制接口返回范围,或者将大结果改为分页、分批处理。采用哪种方式取决于业务查询和一致性要求;拆键后还要验证查询能否按时间或业务标识完整覆盖。

如果只是删除操作引发延迟,UNLINK 可以从键空间中移除键,并把对象释放工作交给后台处理;它不等于删除过程完全没有资源开销,也不能解决持续写入或大响应问题。变更前应确认实例、数据库、键名和业务归属,核对备份或数据重建能力,评估副本、内存和业务影响;在非生产环境验证后再小范围执行。删除不可简单回滚,恢复通常依赖备份、上游数据或业务重建,不能把“可以执行 UNLINK”当成可逆操作。

恢复验证应复用故障期间的观测指标,而不是只确认键变小:

  • 相关接口的延迟和错误率是否回到预期范围。
  • Redis 的命令耗时、CPU、内存、淘汰及客户端缓冲是否改善。
  • 其他业务、分片和副本是否出现新的负载或同步问题。
  • 新的数据写入是否仍会让键在相同时间内恢复到原有规模。
  • 应用是否已改为有界读取,客户端是否能正常处理响应。

如果键规模下降但延迟没有改善,继续检查网络、连接池、其他高成本命令和系统资源;如果指标短暂恢复后再次恶化,优先追踪持续增长的写入任务和键生命周期。

设置复发监控点

大 Key 的告警不宜只设一个固定成员数。更可靠的做法是按数据类型和业务用途制定门槛,同时观察增长速率和访问成本:字符串关注字节数,集合类关注成员数与估算内存,热点业务还要关注访问频率、命令耗时和响应体大小。

建议保留以下监控维度:

  • 实例级内存、碎片、淘汰、连接数、命令吞吐和延迟趋势。
  • 重点业务命令的调用量、耗时分位和错误率。
  • 已识别风险键的成员数、估算内存、增长速度和过期状态。
  • 主从复制状态、分片负载差异及客户端输出缓冲异常。
  • 应用侧响应体大小、连接池等待时间和客户端处理耗时。

Redis 本身通常不提供可直接覆盖所有键的、低成本且持续更新的“大 Key 内存排行榜”。对全量扫描应设置频率、时间窗口和负载保护;重点键则可由应用或定期低峰任务做针对性监控。这样才能在键增长、读取成本上升和服务影响之间建立可追踪的关联,而不是等到实例内存告警后再临时排查。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9154.html

相关推荐