韩国服务器上的Redis连接超时,如何区分网络不通与连接池耗尽?
Redis 连接超时不一定代表网络不通。排查时先看请求停在哪个阶段:域名解析、TCP 建连、TLS 或认证、从应用连接池借出连接,还是执行 Redis 命令。若客户端尚未建立 TCP 连接,优先检查地址、路由、端口和防火墙;若应用在等待可用连接,而池内连接已全部被占用,则更可能是连接池耗尽。两类问题也可能相互影响,例如网络延迟升高使连接长期占用,进而拖满连接池。

针对 Redis 缓存与应用服务部署,A5idc数据提供韩国首尔物理服务器,涵盖不同 CPU、存储配置及优化、国际线路方案,可为韩国本地业务的应用节点、缓存服务和数据处理提供部署资源。多样的硬件与网络资源适用于不同业务架构中的服务器部署组合。
确认症状:超时发生在哪一步
先记录失败时间、报错原文、涉及的应用实例,以及受影响的范围:是韩国服务器上的所有应用都连不上 Redis,还是只有某个进程、接口或实例异常?同时确认 Redis 的实际地址、端口、是否启用 TLS,以及应用使用的是域名、公网地址还是内网地址。不同网络入口的结果不能直接互相替代。
“连接超时”也可能是应用对多个阶段统一包装后的错误。应尽量从日志、链路追踪或客户端指标中拆出各阶段耗时:
| 阶段 | 常见表现 | 优先判断方向 |
|---|---|---|
| DNS 解析 | 域名解析失败、解析耗时明显增加,或结果与预期不符 | DNS 配置、记录、缓存及解析器可用性 |
| TCP 建连 | connect timed out、连接长期处于 SYN-SENT | 路由、网络入口、安全组、防火墙、监听地址 |
| TLS 或认证 | TCP 已建立,但握手失败或返回认证错误 | TLS 参数、证书、账号权限和认证配置 |
| 借用连接 | 应用线程等待连接池,之后出现借用超时 | 池容量、连接归还、并发和请求耗时 |
| 执行命令 | 已借到连接,但读响应超时 | Redis 响应延迟、慢命令、网络抖动或客户端读超时 |
错误文字只能作为线索,不能单独定因。比如应用配置里的 timeout 可能指建连超时、读超时,也可能指连接池借用超时;要结合所用客户端库的定义和超时发生点判断。
建立原因树:由外向内逐层排除
可以把问题分为网络与名称解析、系统与入口、Redis 服务、应用连接池四层。每层都先用低风险只读检查缩小范围,再决定是否需要改配置。
1. DNS 与目标地址
在发生故障的韩国服务器上解析应用实际使用的域名:
getent ahosts redis.example.internal
也可以用 dig 查看解析记录和查询耗时:
dig +time=2 +tries=1 redis.example.internal
检查结果是否符合预期,包括返回的 IP、地址类型以及是否存在多个地址。若域名指向负载均衡入口,后续测试应针对应用当前使用的入口,而不是仅测试 Redis 后端某台机器。
可按以下方式判断:
- 解析失败或超时:先检查服务器的 DNS 配置、解析器可达性及域名记录。确认问题修复后,重新解析并记录实际地址。
- 解析成功,但 IP 不对:检查应用配置、DNS 缓存、记录变更和多地址解析结果。若应用启动时只解析一次,改正记录后还需要确认客户端是否会重新解析。
- 解析结果正确:继续验证该地址的路由和 TCP 端口;DNS 成功不等于网络可达。
不要只在个人电脑上解析一次就排除 DNS。应用进程可能使用不同的运行环境、容器 DNS 或本地缓存,应在实际发起连接的主机或容器内测试。
2. 路由、网络入口与端口
确认目标 IP 走哪条路由:
ip route get 203.0.113.20
将示例地址替换为实际 Redis IP。接着从应用所在环境测试 Redis 端口:
nc -vz -w 3 203.0.113.20 6379
端口号应以实际配置为准;不同系统附带的 nc 实现参数可能略有差异,可先查看本机帮助信息。若应用运行在容器里,应从容器内部测试,因为宿主机可达并不能证明容器网络也可达。
测试结果可这样解读:
- 很快显示连接成功:从当前环境到目标端口的 TCP 握手可用,但这不代表 TLS、认证、Redis 命令或应用连接池正常。
- 立即拒绝连接:通常说明目标地址可达,但端口没有监听,或入口设备主动拒绝。检查 Redis 监听地址、端口及中间的负载均衡配置。
- 等待后超时:可能是路由不可达、入口未开放、规则静默丢弃或回程路径异常。需要同时检查客户端出口和服务端入口。
- 同一 IP 的不同端口结果不同:说明网络并非整体中断,应针对 Redis 实际监听端口及其规则排查。
韩国服务器的出口网络、Redis 所在网络的入口策略,以及两端之间的路由都可能影响连接。若 Redis 在另一机房或云网络中,应确认是否允许该韩国服务器的实际出口 IP访问目标端口;服务器重启、出口切换或 NAT 配置变化都可能使来源地址与原有规则不一致。单凭服务器所在国家或地区,不能判断两端网络一定可通或一定不通。
3. 防火墙、监听地址和中间入口
如果客户端持续超时,分别检查客户端出口规则、服务端主机防火墙、云平台安全组或网络 ACL,以及负载均衡器的监听端口和后端状态。需要逐段确认来源地址、目标地址、协议和端口是否匹配。中间设备只允许 TCP 握手而限制后续流量、规则只覆盖部分出口 IP,或回程路由不一致,也可能产生间歇性超时。
在 Redis 主机上可检查监听情况:
ss -lntp
重点确认 Redis 是否监听预期地址和端口。若只监听回环地址,远端客户端通常无法直接连接;若 Redis 通过内网地址提供服务,则应核对客户端访问的是否为该内网地址以及两端是否处于可互通的网络中。
如果路径中有经过授权的 TCP 负载均衡或 Nginx stream 转发,应分别验证客户端到入口、入口到 Redis 后端两段连接。入口端口可达,不代表后端健康;检查监听端口、后端地址和端口、健康检查结果及转发日志。不要为了排查而临时把 Redis 端口开放给所有来源。若确需调整防火墙或安全组,应先保存现有规则,限定来源和端口,评估是否会影响其他业务,并准备恢复原规则的回滚方式;修改后从指定客户端复测。
在需要确认数据包是否到达时,可由具备权限的运维人员在客户端或服务端进行短时抓包。重复发出的 SYN 没有收到响应,说明问题更偏向链路、入口规则或回程路径;收到 RST 则更像端口未监听或被主动拒绝;完成握手后才出现停顿,应继续看 TLS、认证及应用交互。抓包可能包含网络元数据,应限制时长、访问权限和文件留存范围。
4. Redis 服务状态与连接限制
确认 Redis 进程正常、端口监听正确,并检查服务端是否接近连接数上限。具备相应权限时,可通过 Redis 的 INFO clients 和 INFO stats 查看客户端连接数量、配置的最大客户端数以及拒绝连接相关计数。可用的字段和权限取决于 Redis 版本及服务托管方式。
如果服务端连接数接近上限,且拒绝连接计数在故障期间增加,应优先排查客户端连接数量、连接泄漏和服务端连接限制。连接数未接近上限、网络测试也成功,则继续看应用侧借用连接的等待时间与连接池状态。
还要确认 Redis 当前是否只监听预期网络接口、是否因重启或配置更新改变了端口或访问策略。不要仅凭进程存在就判断服务可用:进程可能存活,但监听地址、后端健康状态或处理能力仍有问题。
判断连接池是否耗尽
连接池耗尽通常发生在应用侧:请求需要连接时,池中没有空闲连接,且已达到可创建连接的上限,于是等待到借用超时。此时应用到 Redis 的 TCP 连接可能仍然正常。应同时观察连接池和 Redis 服务端数据,而非只看一条异常日志。
建议检查以下指标,注意指标名称会因客户端库而异:
- 活动连接数与最大连接数:活动数持续贴近上限,说明池可能没有余量。
- 空闲连接数:长时间为零且借用等待上升,提示请求争用连接。
- 等待借用的请求数及借用耗时:等待队列增长、借用超时增加,是池内拥塞的重要证据。
- 连接创建与销毁速率:频繁新建、断开可能来自网络抖动、空闲连接失效或池配置不合适。
- 连接归还与占用时长:少数调用长期占用连接,可能由慢命令、调用阻塞或代码未归还连接造成。
- Redis 端客户端数和拒绝数:用于区分应用本地池上限与 Redis 服务端连接上限。
一个简化的判定表如下:
| 客户端 TCP 测试 | 池内活动连接 | 借用等待 | 更值得先查的方向 |
|---|---|---|---|
| 失败或超时 | 未知或偏低 | 不一定增加 | DNS、路由、入口规则、监听端口 |
| 成功 | 达到池上限 | 持续增加 | 连接未归还、池容量、并发峰值 |
| 成功 | 未达到池上限 | 没有明显等待 | 命令读超时、TLS/认证、应用线程或请求逻辑 |
| 成功 | 连接数接近服务端上限 | 创建连接失败或被拒绝 | 客户端实例总量、连接泄漏、服务端连接限制 |
例如,假设某应用实例的池上限为 40,故障时活动连接长期为 40、空闲为 0,同时借用等待和借用超时增加,而从同一容器执行的 TCP 测试成功,这更支持“池内连接被占满”的判断。若 Redis 端连接数并未接近服务端上限,问题可能仅限于该应用实例;若服务端连接数也接近限制,则需要把所有应用实例的连接池上限和实例数量一起纳入评估。这是用于说明判断方法的示例,不代表任何实际环境数据。
池容量也不应仅凭报错直接调大。若每个应用实例都提高上限,实例总连接数可能超过 Redis 可承受范围。先查连接持有时间、并发峰值、实例数量和服务端连接余量,再评估是否需要调整池大小;同时检查代码是否在异常路径漏归还连接、是否把连接跨请求长期持有,以及是否存在慢命令造成占用延长。
定位根因:把网络延迟与池耗尽串起来看
网络故障与连接池耗尽并非互斥。如果到 Redis 的往返时间升高,命令完成变慢,应用持有连接的时间可能拉长;并发请求不变时,活动连接就可能逐步贴近池上限。因此,看到池已满后仍要问:连接为何迟迟没有归还?
对照故障时间检查:
- 同一时段的 DNS 解析结果、TCP 建连耗时和连接失败率是否变化。
- 应用的池活动数、空闲数、等待数和连接借用时长是否同步变化。
- Redis 服务端连接数、拒绝连接计数和响应延迟是否异常。
- 只影响单个实例、单个机房,还是所有访问同一 Redis 的客户端。
- 连接创建失败是发生在建连阶段,还是连接已建立后等待 Redis 响应。
模拟日志可以辅助理解阶段差异:
连接借用等待超时:waited=2000ms, active=40, idle=0, max=40
TCP 建连超时:connect to 203.0.113.20:6379 timed out
Redis 响应超时:command=GET, elapsed=3000ms
第一条更像池内没有可借连接;第二条指向 TCP 建连阶段;第三条说明请求可能已到 Redis,但客户端在期限内没有收到命令响应。实际日志字段和措辞取决于客户端库,应结合调用链和池指标核实,不能只凭示例中的文本定案。
验证恢复与监控复发
修复后从应用实际运行环境验证,而不是只在管理机上测试。先确认域名解析和目标 IP 符合预期,再验证 TCP 端口。若 Redis 允许相应测试且认证方式已妥善处理,可继续用 redis-cli 验证 Redis 协议层:
timeout 5s redis-cli -h redis.example.internal -p 6379 PING
如果服务使用 TLS,应根据 Redis CLI 版本及证书配置使用相应 TLS 参数;若 Redis 要求认证,按环境批准的安全方式提供凭据,不要把密码直接写进命令行或提交到脚本、终端历史中。未认证测试返回 NOAUTH,通常表示已到达 Redis 协议层但缺少认证,不应误判为网络不通。
随后观察真实应用请求是否恢复,并确认池活动数、空闲数、等待数及超时率回到平稳状态。若只是 TCP 测试成功而业务仍失败,继续检查 TLS、认证、命令响应和连接池;若业务恢复但连接池仍长期满载,则故障可能尚未消除,只是暂时没有触发借用超时。
为减少复发,应持续监控 DNS 解析失败、TCP 建连耗时与失败率、Redis 端拒绝连接计数、客户端池活动与空闲连接数、借用等待时间、连接持有时长及命令响应延迟。告警阈值应结合业务基线设置:例如池活动数长期接近上限且借用等待连续上升时告警,而不是只在连接池报错后通知。发生变更时同步记录应用实例数、出口地址、入口规则和 Redis 连接限制,后续才能分辨是链路变化、服务端容量问题,还是应用连接使用方式发生了变化。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9753.html



