台湾服务器上的Redis缓存频繁失效如何排查?先区分淘汰、过期与重启影响
如果应用日志里出现“缓存未命中”或页面突然变慢,不能直接判断为 Redis 把数据删掉了。相同的表象可能来自内存淘汰、TTL 到期、Redis 重启后数据未恢复、网络超时、连接到了错误的数据库,甚至只是应用生成了不同的 Key。排查的第一步,是把“读到空值”“请求超时”和“服务重启”分开记录。
台湾服务器上的 Redis 还需要额外核对跨地域访问延迟、主机时间同步和容器重启记录。时区本身不会改变 Redis 的 TTL,但应用使用 EXPIREAT 或自行计算过期时间时,UTC+8 与 UTC 的换算错误可能让 Key 提前或延后失效。只有先确定失效类型,后续的缓存策略和恢复动作才不会走偏。
先确认缓存是否真的失效
先从应用请求链路确认一次失败到底属于哪一种结果:
| 现象 | 更接近的含义 | 首要检查方向 |
|---|---|---|
Redis GET 返回空值,连接正常 | Key 不存在或已被删除 | TTL、淘汰、重启、应用删除逻辑 |
| Redis 请求超时、连接重置 | 应用没有拿到有效响应 | 网络、连接池、Redis负载、主机资源 |
| Redis 返回值,但应用提示缓存失效 | 解析失败、版本不兼容或业务判断为无效 | 序列化、命名空间、数据版本 |
| 只有部分接口失效 | 特定 Key、租户、数据库或缓存层存在差异 | Key 生成规则、DB编号、局部淘汰 |
| 全部缓存同时消失 | Redis重启、切换、批量清理或共享存储异常 | 服务日志、持久化、运维操作 |
| 只有页面旧数据或页面仍显示旧内容 | 边缘缓存、页面缓存或浏览器缓存未清理 | CDN、Nginx、页面缓存头 |
不要只看应用中的 cache miss 计数。建议在不记录敏感值的前提下,临时记录以下字段:
- Redis 地址或服务标识、数据库编号;
- 规范化后的 Key 前缀或 Key 哈希;
GET的结果类型:命中、空值、超时、异常;TTL或PTTL结果;- 应用是否执行了回源、回源是否成功;
- 删除动作的来源,例如数据更新、定时任务、发布流程或人工操作。
如果应用使用了本地进程缓存、Redis 和页面缓存三级结构,还要注明失败发生在哪一层。否则可能是本地缓存未命中,却被误认为 Redis 失效。
建立原因树:淘汰、过期、重启还是其他删除
可以把“Key 消失”拆成四条主分支:
- 内存淘汰:Redis 达到
maxmemory,根据淘汰策略主动移除 Key。 - TTL 过期:Key 到达过期时间,被 Redis 删除。
- 重启或切换:Redis 进程、容器或主备实例发生变化,数据未完全恢复。
- 主动删除或读错对象:应用执行了删除、批量清理,或者访问了不同的 Key、DB 或实例。
下面几项是只读检查示例。命令中的地址、端口、数据库编号和认证参数需要替换为实际环境;启用了 TLS 时,应使用对应的 TLS 参数。示例输出仅用于说明判断方式,不代表已经在某台台湾服务器上执行。
redis-cli -h <redis-host> -p <port> -n <db> INFO stats
redis-cli -h <redis-host> -p <port> -n <db> INFO memory
redis-cli -h <redis-host> -p <port> -n <db> INFO server
redis-cli -h <redis-host> -p <port> -n <db> INFO persistence
redis-cli -h <redis-host> -p <port> -n <db> INFO replication
重点关注这些字段:
| 观察字段 | 能说明什么 | 注意事项 |
|---|---|---|
evicted_keys | 因内存上限被淘汰的 Key 数量 | 是进程启动以来的累计值,要比较时间区间增量 |
expired_keys | 因 TTL 到期被删除的 Key 数量 | 有正常 TTL 时该值增长并不一定是故障 |
keyspace_hits、keyspace_misses | 命中与未命中趋势 | 未命中可能来自 Key 拼错,不等于 Redis 删除 |
used_memory、used_memory_rss | Redis分配内存和进程实际占用 | RSS持续偏高时还要检查碎片和主机内存 |
maxmemory、maxmemory_policy | 内存上限和淘汰策略 | noeviction 通常表现为写入报错,而不是静默淘汰 |
uptime_in_seconds、run_id | 当前进程持续运行时间和实例身份 | 主从切换也可能导致实例身份变化 |
loading、RDB/AOF状态 | 是否正在加载或持久化是否异常 | 加载期间应用可能出现超时或读取异常 |
逐层排除:先从低风险、可观测的分支开始
1. 网络与连接层:先排除“没有读到”而不是“读到空值”
从实际发起请求的应用主机进行检查,不要只在本地管理电脑上测试。台湾服务器本机访问正常,并不能证明位于其他地区的应用节点也正常。
redis-cli -h <redis-host> -p <port> -n <db> PING
redis-cli -h <redis-host> -p <port> -n <db> --latency
PING 成功只能说明一次连接可用,不能代表业务请求没有排队或超时。结合应用指标检查:
- Redis 请求超时、连接重置和连接池耗尽次数;
- 连接建立耗时与命令执行耗时;
- 应用到台湾服务器的平均延迟和高分位延迟;
connected_clients、blocked_clients、rejected_connections;- DNS、负载均衡或主备切换后,应用是否仍连接旧地址;
- 连接是否使用了错误端口、错误认证账号或错误数据库。
如果 redis-cli GET 能稳定返回,而应用仍显示未命中,重点就不应继续放在网络上,应转向 Key、DB、序列化和业务逻辑。反过来,如果应用日志是超时或连接异常,就不能把它统计为普通的缓存未命中,否则会掩盖服务或网络故障。
台湾服务器场景中,还应从应用所在区域测量实际往返时间。跨地区访问的 RTT 增大,可能让串行执行多个 Redis 命令的请求更容易触发超时,但这不会直接删除 Key。若应用采用“先 GET,再单独 EXPIRE”的方式,网络抖动还可能扩大两个命令之间的竞态窗口。
2. Redis 服务层:用计数器区分淘汰与过期
内存淘汰最重要的证据是 evicted_keys 在故障时间段持续增加,同时 used_memory 接近或达到 maxmemory。例如,下面是一个模拟的五分钟采样:
| 指标 | 采样开始 | 采样结束 | 初步判断 |
|---|---|---|---|
used_memory | 7.8 GB | 8.0 GB | 接近假设的 8 GB 上限 |
evicted_keys | 12,400 | 45,900 | 五分钟新增约 33,500 个淘汰 |
expired_keys | 86,000 | 87,200 | 有过期,但不是主要变化 |
keyspace_misses | 210,000 | 390,000 | 未命中明显增加 |
这类结果更支持“内存压力导致淘汰”,而不是单纯 TTL 到期。还要查看策略:
redis-cli -h <redis-host> -p <port> CONFIG GET maxmemory
redis-cli -h <redis-host> -p <port> CONFIG GET maxmemory-policy
常见策略的判断边界如下:
allkeys-lru或allkeys-lfu:没有 TTL 的 Key 也可能被淘汰;volatile-lru、volatile-lfu、volatile-ttl:通常只在带过期时间的 Key 中选择对象;noeviction:达到上限后,部分写入会返回错误,不应把它解释成 Redis 自动删除;- 只给部分 Key 设置 TTL 时,
volatile-*策略可能找不到可淘汰对象,最终表现为写入失败。
如果 evicted_keys 没有增长,但主机内存不足,仍不能完全排除进程被操作系统终止。Redis 可能尚未达到 maxmemory,就因为容器或主机内存限制被 OOM Kill。需要同时检查:
free -h
df -h
vmstat 1 5
dmesg -T | grep -i -E 'oom|out of memory|killed process'
dmesg 的读取权限和系统日志策略可能不同;若没有权限,应查看对应的系统日志平台。磁盘空间不足也可能导致 AOF、RDB 或容器日志写入失败,进而诱发重启或恢复异常。
3. TTL 与时间层:确认是到期,还是过期时间写错
对一个具体的业务 Key,应在应用使用的同一实例、同一数据库和同一认证上下文中检查:
redis-cli -h <redis-host> -p <port> -n <db> TTL '<key>'
redis-cli -h <redis-host> -p <port> -n <db> PTTL '<key>'
redis-cli -h <redis-host> -p <port> -n <db> GET '<key>'
返回值的含义通常是:
TTL返回正数:剩余秒数;PTTL返回正数:剩余毫秒数;-1:Key 存在,但没有设置过期时间;-2:Key 不存在。
重点核对应用写入命令的单位:
SET cache:item value EX 300 # 300秒
SET cache:item value PX 300000 # 300000毫秒,即300秒
EXPIRE cache:item 300 # 参数单位为秒
PEXPIRE cache:item 300000 # 参数单位为毫秒
EXPIREAT cache:item <unix-seconds>
PEXPIREAT cache:item <unix-milliseconds>
把毫秒时间戳传给 EXPIREAT,或把秒时间戳传给 PEXPIREAT,都可能造成明显错误。使用绝对时间时,还应检查应用主机、容器和 Redis 主机的时间:
date -Ins
timedatectl status
台湾地区通常使用 UTC+8,但 Redis 的时间判断并不是“按时区计算”。真正容易出错的是应用自行拼接绝对时间戳,例如把本地时间误当成 UTC,或者在夏令时、容器时钟和主机时钟之间产生偏差。若 expired_keys 在故障时间段大量增长,且同类 Key 的 TTL 明显短于预期,应优先审查 TTL 计算和写入单位。
还要检查更新逻辑是否覆盖了原有 TTL。普通 SET 会重新写入 Key,通常不会保留旧的过期时间;需要保留 TTL 时,应根据 Redis 版本和业务语义考虑 KEEPTTL,或者使用带 EX/PX 的原子写入。不要把“TTL 丢失”与“Key提前过期”混为一谈:前者可能导致数据长期留存并挤压内存,后者则表现为提前消失。
4. 系统与服务层:确认是否重启、切换或加载失败
重启通常不是“淘汰了一批 Key”,而是实例身份、运行时间和持久化状态发生了变化:
redis-cli -h <redis-host> -p <port> INFO server
redis-cli -h <redis-host> -p <port> INFO persistence
如果 uptime_in_seconds 很小,或者 run_id 在故障前后发生变化,应继续确认原因。主机采用 systemd 时,服务名不一定相同,可以先列出实际服务:
systemctl list-units --type=service | grep -i redis
journalctl -u <actual-redis-service> --since "30 minutes ago"
如果 Redis 运行在容器中,应查看对应容器的退出原因和日志:
docker ps -a --filter "name=<redis-container>"
docker logs --since 30m <redis-container>
重启后的数据状态取决于持久化和部署方式:
- 未启用持久化的纯缓存实例,重启后为空是预期行为;
- RDB 只能恢复最近一次成功快照之前的数据;
- AOF 的同步策略、文件完整性和加载结果会影响恢复范围;
- 容器使用临时存储时,容器重建可能连同持久化文件一起消失;
- 主从切换或故障转移可能让应用连接到一个尚未完成同步的实例。
若 Redis 是纯缓存,重启后不一定需要恢复旧值,但必须限制回源并发,避免所有请求同时查询数据库造成缓存击穿。若缓存中还存放了不能轻易重建的数据,则应先核对持久化文件、备份和复制状态,不要直接执行清空或重启操作。
5. 应用层:查找主动删除、Key变化和竞态
当 evicted_keys 没有异常增长、TTL 也符合预期、实例没有重启时,应用逻辑通常是下一重点。
常见原因包括:
- 数据写入成功后,消息消费者或更新钩子执行了
DEL、UNLINK或批量清理; - 发布脚本、定时任务或测试代码执行了
FLUSHDB、FLUSHALL; - Key 中包含租户、语言、地区、用户、版本或时间字段,读取和写入生成的 Key 不一致;
- 写入使用了 DB 0,读取使用了 DB 1;
- 应用连接了旧实例、只读副本或另一个环境;
- 序列化版本变化导致反序列化失败,代码把“解析失败”当作缓存未命中;
- 旧的异步失效消息晚于新的回填写入到达,把刚生成的缓存再次删除;
- 多个进程同时回源,其中一个失败结果覆盖了正常结果。
生产环境不建议使用 KEYS * 或长时间运行 MONITOR 排查,它们可能阻塞或产生明显开销。需要确认 Key 是否存在时,使用受控前缀和小批量 SCAN,并避免输出完整业务值:
redis-cli -h <redis-host> -p <port> -n <db> SCAN 0 MATCH 'app:object:*' COUNT 100
删除、批量清理、修改淘汰策略和重启服务都属于有影响的操作。执行前应确认备份或可重建方案、影响的数据库和租户范围、维护窗口以及回滚方式。尤其不要为了验证猜测直接执行 FLUSHDB 或 FLUSHALL,这会把排查问题变成新的数据事故。
按缓存层选择失效方法
“缓存失效”不一定都应该通过删除 Redis Key 解决。页面、对象、查询和边缘缓存应分别选择失效范围:
| 缓存层 | 适合缓存的内容 | 优先失效方式 | 主要风险 |
|---|---|---|---|
| 边缘缓存 | 公共静态资源、公开页面响应 | URL版本化、标签清理、短TTL | Redis已更新但边缘仍返回旧内容 |
| 页面缓存 | 路由页面或模板渲染结果 | 按路径、页面标签或模板版本清理 | 个性化内容被错误共享 |
| 对象缓存 | 商品、配置、用户资料等对象 | 数据成功提交后按对象Key删除或版本递增 | 删除时机早于数据库提交 |
| 查询缓存 | 聚合结果、列表和统计查询 | 按查询标签、租户或命名空间失效 | 条件遗漏导致旧结果继续保留 |
对象和查询缓存通常不适合每次数据变更都执行全库清空。更稳妥的做法是让 Key 带有业务版本或命名空间,例如:
app:v3:tenant:<tenant-id>:product:<product-id>
app:v3:tenant:<tenant-id>:query:<query-hash>
发布新版本时递增命名空间,旧 Key 由 TTL 自然回收,可以减少大范围删除带来的阻塞和竞态。不过命名空间版本需要稳定存储,不能只保存在单个应用进程内。
对写入流程,失效动作应尽量发生在数据库事务成功之后;若使用异步消息,应携带对象版本或更新时间,避免旧消息删除新数据。高并发场景还可以加入 TTL 抖动、单飞回源或短暂锁,防止大量 Key 同时到期后对数据库形成突发压力。

定位根因后的处理方式
可以用下面的证据组合快速收敛:
evicted_keys在故障区间增加,内存接近上限:检查大 Key、缓存容量、淘汰策略和写入量,不要先改应用 TTL。expired_keys明显增加,Key 的TTL/PTTL小于预期:检查秒与毫秒、绝对时间、时钟同步和应用重写逻辑。uptime_in_seconds重置或run_id改变:检查服务重启、容器编排、OOM、主备切换和持久化恢复。- Redis 命令超时,但没有对应淘汰或过期证据:检查台湾服务器与应用节点间网络、连接池、阻塞命令、CPU和磁盘延迟。
- Redis命令正常,应用仍然未命中:核对 DB、实例地址、Key前缀、租户字段、序列化版本和删除调用链。
- Redis中有新值,但页面仍旧:检查页面缓存、边缘缓存、浏览器缓存头和回源规则。
恢复时应先修正根因,再逐步放大回源流量。若是淘汰,先评估增加内存、减少无效缓存、缩短非关键对象 TTL 或调整策略的影响;若是 TTL 单位错误,应统一封装写入接口,避免业务代码直接混用 EXPIRE 和 PEXPIRE;若是重启,应补齐持久化、存储和 OOM 监控;若是网络问题,应调整连接池和超时,但不要用无限延长超时掩盖服务过载。
Redis 缓存的运行也离不开适配业务负载的服务器资源。A5idc数据提供中国台湾台北及香港、日本、新加坡等地区的物理服务器,可结合访问区域部署应用与缓存服务;不同产品系列提供相应的 CPU、内存、存储和线路配置,为缓存与数据库等业务提供计算和存储资源基础。
验证恢复并设置复发监控
修复后不要只观察“页面恢复”。至少持续一个完整 TTL 周期,或覆盖一次业务高峰,验证以下结果:
- 同一 Key 在应用记录的写入、读取和失效事件中保持一致。
evicted_keys和expired_keys的增量符合业务预期。- 命中率恢复到该业务自身的基线,不能只看单次请求。
- Redis 请求超时、连接重置和连接池等待时间下降。
used_memory不再持续触顶,主机没有 OOM 或磁盘写入错误。uptime_in_seconds、run_id、复制状态和持久化状态保持稳定。- 数据更新后,页面、对象、查询和边缘缓存按各自规则在可接受时间内完成更新。
建议建立按五分钟或十五分钟采样的监控面板,至少包含:
- 命中率:
keyspace_hits / (keyspace_hits + keyspace_misses); evicted_keys、expired_keys的区间增量;used_memory / maxmemory、RSS和内存碎片;- Redis命令延迟的平均值与高分位值;
- 超时、拒绝连接、连接池耗尽和重试次数;
- Redis重启、容器重建、主备切换和持久化失败事件;
- 按缓存层统计的回源率、回源失败率和删除次数;
- 台湾服务器与实际应用节点之间的网络延迟和丢包情况;
- 应用主机、容器和 Redis 实例的时间偏移。
告警阈值应以自身基线为准。例如,持续出现新的内存淘汰、Redis进程在非维护窗口重启、命中率在短时间内明显低于历史区间,或回源错误率与数据库负载同时上升,都值得触发排查。这样才能把“缓存频繁失效”从模糊的页面症状,转化为可由计数器、时间线和调用链共同验证的具体故障。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7267.html



