新加坡服务器上的缓存服务器压力大,怎样区分内存、连接数与请求负载
缓存服务变慢时,最容易误判的是把“连接数多”“内存快满”和“请求量大”当作同一件事。三者可以同时出现,却指向不同的处理方向:大量连接可能只是客户端长连接;内存紧张要看操作系统可用内存、缓存进程实际占用和换页;请求负载则要看单位时间内的命令量、命令成本与延迟。CPU、磁盘 I/O 和进程状态是进一步区分原因的证据,不能只凭一张负载曲线决定扩容或重启。
在新加坡服务器上,还要先确认影响范围:是所有地区的客户端都慢,还是只有部分跨境访问链路慢;是缓存操作本身变慢,还是应用到缓存服务之间建立连接变慢。如果仅凭应用报出的“缓存超时”就认定缓存进程过载,可能漏掉网络丢包、客户端连接池耗尽,或应用请求突然放大的问题。排查应先限定故障时间窗和受影响路径,再由外到内收集同一时间段的指标。
缓存服务的内存容量、处理器资源与存储配置,会影响其承载不同工作负载的基础。A5idc数据提供新加坡等多个地区的物理服务器方案,配置涵盖不同CPU、内存和存储组合,可用于部署缓存服务及相关业务系统;多地区资源也能匹配不同业务节点的部署需求。
确认症状:慢在连接、命令,还是整台服务器
先记录故障开始时间、持续时间和影响对象,并区分三类耗时:
- 建立连接耗时:客户端新建 TCP 连接或完成认证明显变慢,已有连接执行命令却正常。优先看网络、监听队列、连接上限和连接池行为。
- 命令执行耗时:连接已建立,但缓存读写或特定命令变慢。优先看服务进程 CPU、慢命令、内存回收与磁盘持久化。
- 应用端等待耗时:缓存服务端延迟没有同步上升,但业务接口超时。优先核对应用线程池、连接池排队、重试和超时设置,不能把应用端等待全部计入缓存执行时间。
观察时要统一时间窗口。例如,应用在 14:00—14:05 的超时数,应与该时段服务器的 CPU、换页、磁盘延迟,以及缓存服务的命令数和连接数对照。日平均 CPU 不高,不能排除一分钟内的突发;某一时刻连接数很高,也不能证明故障发生时连接数正在增长。
如果缓存仅服务同机应用,公网线路通常不是首要分支;如果新加坡服务器同时接收其他地区应用节点的请求,就应分别比较各来源的连接失败率和往返时延。不要把不同路径混为一条“新加坡线路”指标。
建立原因树:每个分支都要有可验证的下一步
排查可以分成四层。每层先问“什么现象支持这个分支”,再问“出现相反结果时转向哪里”。
| 层级 | 支持该分支的观察 | 下一步 |
|---|---|---|
| 网络与连接 | 仅部分来源慢;建连超时、重传或连接拒绝增加;服务端命令延迟未同步上升 | 按客户端来源核对链路、监听队列、连接数和应用连接池 |
| 操作系统 | 可用内存持续下降并发生换页;CPU 忙于系统态或磁盘等待;磁盘延迟上升 | 对照进程资源占用、内核事件和持久化任务 |
| 缓存服务 | 命令吞吐、拒绝连接、驱逐键或特定慢命令出现异常变化 | 核对服务配置上限、命令构成与进程状态 |
| 应用请求 | 流量增长、缓存未命中、重试或热键与故障同一时间出现 | 对照发布、流量入口、访问模式及客户端连接复用 |
连接数衡量的是占用中的连接,不等于正在执行的请求数。例如,连接池维持 2000 条空闲长连接,命令负载仍可能很低;另一种情况是仅有 100 条连接,却持续发送高成本命令。若平均每秒有 1000 个请求、每个请求平均占用连接 50 毫秒,仅按在途请求估算约为 50 个;实际连接总量还会受到空闲池、突发流量和复用方式影响。比较连接数时,应同时看每秒新建连接数、每秒命令数和延迟。

逐层排除:先看路径,再看系统资源
在 Linux 上,可先做不修改状态的检查。下面命令以缓存服务监听本机 TCP 6379 端口为例;实际端口、网络命名空间及服务部署方式应先核对,不能直接把示例端口用于生产判断。
date
ss -lnt
ss -s
ss -Htan state established '( sport = :6379 )' | wc -l
ss -lnt 用于确认服务是否监听,以及监听套接字是否有排队迹象;最后一条统计本机 6379 端口的已建立 TCP 连接,不代表所有连接都在处理命令。若应用报告建连失败,而服务监听正常、已有连接的命令延迟稳定,应继续查新建连接速率、监听队列、客户端连接池及相关系统日志。若仅某一来源异常,还要从该来源侧检查链路;只在服务器本机测试成功,不能证明跨地区路径正常。
随后检查系统是否在为缓存负载付出额外代价:
free -h
vmstat 1 5
ps -eo pid,stat,%cpu,%mem,rss,comm --sort=-rss | head
free 中的 available 比单独的 free 更适合判断系统还能否承受内存需求,因为 Linux 会利用空闲内存作页缓存。vmstat 中持续出现非零的 si、so,说明发生换入、换出;wa 升高提示需要查 I/O 等待,但不能直接断言磁盘就是唯一瓶颈。ps 的 RSS 可帮助找出占用内存的进程,进程状态 D 长时间出现时,应进一步检查它是否在等待 I/O。若运行在容器内,还要核对容器内存限制;宿主机仍有可用内存,不代表容器没有触及自己的上限。
有磁盘持久化或日志写入时,可在已安装 iostat 的系统上补查设备情况:
iostat -xz 1 3
journalctl -k --since "30 minutes ago"
重点对照故障时段的设备延迟、队列、吞吐及内核是否记录内存不足或进程被终止。iostat 来自 sysstat,未安装时不必为了排障立即改动生产环境;可先使用现有监控。执行 journalctl 也可能需要相应权限。磁盘忙与缓存慢同时出现,只能建立关联,还应确认是否恰逢快照、追加日志写入或其他进程的 I/O 高峰。
CPU 同样需要拆开看。缓存进程 CPU 高且命令量同步上升,可能是请求负载;进程 CPU 高但命令量平稳,应查命令构成是否变化,例如大键操作或更重的读写;系统态、磁盘等待或虚拟化环境中的 steal time 上升,则不能简单归因为“缓存算力不够”。CPU 低也不代表服务健康:等待磁盘、换页或外部连接时,客户端仍可能超时。
进入服务层:用增量区分内存、连接与请求
以 Redis 为例,可在获准访问目标实例、且不会暴露认证信息的前提下,通过现有的受控连接检查状态。以下命令使用本机默认连接作示例;实例启用了认证、TLS 或使用其他端口时,应按现有运维方式连接,不要把密码直接写入共享终端记录或工单。
redis-cli INFO memory
redis-cli INFO clients
redis-cli INFO stats
redis-cli INFO commandstats
redis-cli INFO cpu
这些字段应成组阅读,而不是各取一个“高值”:
| 要区分的问题 | 重点观察 | 更有判断力的组合 |
|---|---|---|
| 内存压力 | used_memory、used_memory_rss、maxmemory、evicted_keys | 服务内存接近上限、驱逐持续增加,并伴随未命中或延迟上升;再结合系统可用内存和换页 |
| 连接压力 | connected_clients、rejected_connections、blocked_clients | 连接接近实例或系统限制、拒绝数持续增加,并与建连失败同一时间出现 |
| 请求负载 | instantaneous_ops_per_sec、total_commands_processed、INFO commandstats 中的命令统计 | 单位时间命令数增加,或命令构成转向更耗时的操作,并伴随 CPU、延迟变化 |
| 持久化或系统影响 | 服务状态与系统 I/O、内核事件 | 服务延迟上升时,磁盘延迟或换页也同步上升,且能对应到具体任务 |
evicted_keys、rejected_connections、total_commands_processed 等是累计计数器,不能只看一次读数。应在相同实例上间隔采样,计算故障窗口内增加了多少;实例重启后计数也可能归零。命令吞吐高低没有适用于所有业务的固定阈值,应与该实例正常时段、命令类型和延迟一起比较。
内存方面尤其要避免两个误判。其一,used_memory 接近 maxmemory 表明缓存数据接近配置边界,但是否导致业务问题,还取决于淘汰策略、驱逐速度和命中率。其二,used_memory_rss 高于 used_memory 不等于内存泄漏;分配器行为、碎片和持久化期间的内存变化都可能影响 RSS。只有当 RSS 持续增长、系统可用内存下降,并出现换页或内存不足事件时,才有充分理由沿系统内存压力继续查。
应用层还要回答“为什么请求变多”。一次发布可能改变缓存键、缩短过期时间,或让未命中请求反复回填;客户端重试也会把原有流量放大。若缓存命中率下降,不能只看到后端请求增加就扩容缓存,而应比较命中与未命中的增量、过期键变化及访问键分布。若怀疑少数命令拖慢服务,可按服务版本与权限查看慢命令记录;记录可能包含业务键或参数,采集和共享时应做访问控制。没有慢命令记录也不能单独证明服务端不存在排队或网络问题。
定位根因后,用同一组指标验证恢复
一个可供推演的场景是:应用超时增加时,已建立连接数基本稳定,Redis 每秒命令数也没有明显上升;与此同时,used_memory 接近配置上限、evicted_keys 在故障窗口持续增加,系统 available 降低且 vmstat 显示持续换页。此时“连接过多”缺少支持,“请求量突然增大”也不是主要证据;更值得追查的是缓存工作集、内存上限、进程 RSS 与机器实际可用内存之间的关系。只有继续查明键增长、过期策略、其他进程占用及容器限制,才能把“内存压力”收敛为可处理的根因。

处理动作要对应证据,避免把重启当作诊断。连接确实耗尽时,先查连接是否泄漏、短连接是否突增,再评估客户端复用和服务限制;请求负载过高时,先识别流量来源、重试和高成本命令;内存不足时,先确认工作集及淘汰需求,再评估容量或数据策略。更改连接上限、缓存淘汰配置或持久化设置可能影响业务,应在备份现有配置、确认影响范围和回退值后实施,并选择可观察的变更窗口。
验证恢复不能只看“CPU 降了”。应回到最初的受影响客户端,确认建连成功率、命令延迟和业务超时恢复;同时检查连接拒绝增量是否停止、换页是否消退、驱逐是否回到业务可接受范围,以及命中率是否稳定。如果某项指标改善而业务仍慢,就沿原因树回到尚未排除的网络或应用分支。
复发监控宜保留按来源划分的连接失败与超时、缓存服务命令量和命令构成、已建立及新建连接数、拒绝连接增量、命中与驱逐增量、进程 RSS、系统可用内存与换页、CPU 分类以及磁盘延迟。给这些指标使用一致的时间窗口和实例标识,下次出现“缓存服务器压力大”时,才能判断是内存、连接还是请求负载先发生了变化。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7226.html



