排查Linux TLS连接链路时,怎样用命令判断失败发生在哪个阶段?

发布人:A5数据发布时间:2026-11-14 10:18阅读量:37

一次 HTTPS 请求到达 Linux 服务器,通常要经过域名解析、路由选择、TCP 建连、TLS 握手与证书验证,随后才进入 HTTP 请求处理。如果前面还有 CDN 或负载均衡,客户端完成握手的对象可能只是入口设备,入口到源站还会有另一段独立连接。

判断失败发生在哪个阶段,关键是找到“最后一个已成功的环节”:先用 curl 记录整次请求的连接地址、阶段耗时与退出码,再用 DNS、路由、OpenSSL 和服务器侧日志逐层核对。不能只凭“连接超时”判断网络故障,也不能看到 TCP 443 端口可达,就认定 HTTPS 服务正常。

端到端链路拆解配图

一、访问入口:先取得一条可以拆分的请求记录

准备同一组排查条件

以下命令适用于常见 Linux 环境,围绕正常 HTTPS 连接进行低频、单次验证,不调整防火墙、不修改服务配置,也不关闭证书校验。操作前应明确:

  • 目标域名、端口和实际发生问题的路径。
  • 请求是否经过 CDN、负载均衡或 Nginx 反向代理。
  • 故障发生的客户端网络、时间,以及是否只影响某个地址族。
  • 请求是否需要认证;优先选择已知、无状态变更的公开读取路径。

先确认工具能力,并设置示例变量:

curl -V
openssl version
date -u

HOST='www.example.com'
URL="https://${HOST}/"

文中的域名、IP 和路径均需替换为实际环境值。后续引用这些变量的命令,应在同一个终端会话执行。

记录时间既有助于核对证书有效期,也便于关联服务器日志。分享排查结果前,应清理 Cookie、认证头、内部地址等敏感信息。

用 curl 划分请求阶段

先建立一个简单基线:单个 URL、不自动跟随重定向,使用 HTTP/1.1,避免把 HTTP/2、HTTP/3 的不同连接行为混进首次判断。

curl -q --http1.1 \
  --connect-timeout 5 \
  --max-time 15 \
  -sS -o /dev/null \
  -w 'remote_ip=%{remote_ip}
http_code=%{http_code}
ssl_verify_result=%{ssl_verify_result}
dns=%{time_namelookup}
tcp=%{time_connect}
tls=%{time_appconnect}
ready=%{time_pretransfer}
first_byte=%{time_starttransfer}
total=%{time_total}
' \
  "$URL"

rc=$?
printf 'curl_exit=%s\n' "$rc"

-q 放在第一个选项位置,用于忽略默认 curl 配置文件;它不会自动清除环境变量中的连接设置。耗时拆分的前提,是实际连接路径确实符合预期,没有额外的隧道协商等步骤。

--connect-timeout 限制连接阶段,其中可以包括解析和握手;--max-time 限制整个请求。因此,超时不能仅按参数名称归因。

这些时间均以秒为单位,而且是从请求开始计算的累计时间点:

输出字段对应位置主要用途
time_namelookup名称解析完成判断解析是否耗时明显
time_connectTCP 连接建立与解析时间相减,估算 TCP 建连耗时
time_appconnectTLS 握手完成与 TCP 时间相减,估算 TLS 阶段耗时
time_pretransfer准备开始应用数据传输作为首字节等待的参考起点
time_starttransfer收到首字节包含请求发送、服务端处理和响应返回等待
time_total请求结束判断整个请求是否完成、响应传输是否缓慢

例如,一条成功请求可能得到以下示例值:

remote_ip=203.0.113.10
http_code=200
ssl_verify_result=0
dns=0.006
tcp=0.028
tls=0.091
ready=0.092
first_byte=0.235
total=0.249
curl_exit=0

据此可拆为:

一、访问入口:先取得一条可以拆分的请求记录配图

  • DNS:约 6 毫秒。
  • TCP 建连:0.028 - 0.006 = 0.022 秒,约 22 毫秒。
  • TLS:0.091 - 0.028 = 0.063 秒,约 63 毫秒。
  • 就绪后至首字节:0.235 - 0.092 = 0.143 秒,约 143 毫秒。
  • 首字节后的传输:0.249 - 0.235 = 0.014 秒,约 14 毫秒。

这里的 143 毫秒并不是纯应用执行时间,还包含请求发送和响应返回。以上数字仅用于说明拆分方法,不能作为所有网络环境的验收阈值。

如果请求失败,后续阶段字段为零,往往表示该阶段没有完成,不能理解成“这个阶段耗时为零”。

二、网络路径:区分解析失败、地址选择和 TCP 不通

先确认程序实际使用的解析结果

getent ahosts "$HOST"

getent 更接近系统应用所经过的名称解析入口,可能受到 /etc/hosts、系统解析配置及缓存的共同影响。

如果安装了 dig,再查看 DNS 应答:

dig "$HOST" A
dig "$HOST" AAAA

不要只检查“是否有 IP”,还要确认地址是否属于预期入口:

  • 返回旧地址:可能是 DNS 更新、缓存或本地覆盖问题。
  • 返回多个地址:需要记录故障实际命中的 remote_ip。
  • A 与 AAAA 都存在:应分别判断 IPv4 和 IPv6 路径。
  • 不同网络得到不同地址:在 CDN、地域调度场景下可能正常,不能只凭地址不同认定异常。

dig 有应答而应用仍解析失败,并不矛盾:两者使用的解析路径可能不同。

分别验证 IPv4 和 IPv6

curl -q -4 --http1.1 \
  --connect-timeout 5 --max-time 15 \
  -sS -o /dev/null \
  -w 'remote=%{remote_ip} code=%{http_code} total=%{time_total}\n' \
  "$URL"
curl -q -6 --http1.1 \
  --connect-timeout 5 --max-time 15 \
  -sS -o /dev/null \
  -w 'remote=%{remote_ip} code=%{http_code} total=%{time_total}\n' \
  "$URL"

若 IPv4 成功、IPv6 失败,应继续核对 AAAA 记录、客户端 IPv6 出口、服务器监听地址和对应网络规则,而不是直接把整个 HTTPS 服务判为不可用。若域名没有 AAAA 记录,强制 IPv6 失败本身也不代表服务异常。

查看某个 IPv4 目标的本机路由:

IP='203.0.113.10'
ip route get "$IP"

其中的出口接口、网关和源地址可以验证本机路径选择,但不能证明远端可达。类似地,ICMP 不响应也不能直接证明 TCP 443 不可达。

固定目标 IP,但保留域名语义

多地址场景下,可用 --resolve 单独检查一个已知入口:

二、网络路径:区分解析失败、地址选择和 TCP 不通配图

curl -q --http1.1 \
  --resolve "${HOST}:443:${IP}" \
  --connect-timeout 5 --max-time 15 \
  -sS -o /dev/null \
  -w 'remote=%{remote_ip} code=%{http_code} tls=%{time_appconnect} total=%{time_total}\n' \
  "$URL"

该命令固定连接地址,但仍以原域名发送 SNI、进行证书主机名校验,并生成 HTTP Host。

直接访问 https://IP/ 不能替代这项验证:它可能命中默认证书或默认虚拟主机,导致与正常域名访问完全不同的结果。

需要观察失败位置时,再运行一次详细输出:

curl -q --http1.1 -v \
  --connect-timeout 5 --max-time 15 \
  -o /dev/null \
  "$URL"

重点按顺序找:

  1. 是否得到目标地址并开始连接。
  2. 是否出现 TCP 连接成功信息。
  3. 是否开始 TLS 协商。
  4. 是否通过证书验证。
  5. 是否发出 HTTP 请求并收到状态行。

如果尚未建立 TCP,后面的证书和应用日志通常不是首要排查对象。连接被拒绝说明没有建立连接,但拒绝可能来自目标主机或中间设备;连接超时则还需结合路由、网络规则和服务器状态判断。

三、TLS 终止点:单独验证握手、SNI 和证书

TCP 成功只说明传输通道已经建立。TLS 还需要完成协议协商、服务端身份验证,以及可能存在的客户端证书验证。

使用 OpenSSL 直接检查:

timeout 12s openssl s_client \
  -connect "${HOST}:443" \
  -servername "$HOST" \
  -verify_hostname "$HOST" \
  -verify_return_error \
  -showcerts \
  </dev/null

这里几个参数各有作用:

  • -servername:发送 SNI,帮助服务器选择正确站点和证书。
  • -verify_hostname:检查证书是否匹配目标域名。
  • -verify_return_error:遇到证书验证错误时按失败处理,避免忽略验证问题。
  • -showcerts:展示服务器发送的证书链,不代表该链已经通过验证。

正常结果应同时包含已协商的 TLS 版本、密码套件,以及证书验证成功信息,例如 Verify return code: 0 (ok)。仅看到密码套件名称,不足以认定身份验证成功。

按错误内容区分后续方向

现象优先检查不能直接推出的结论
主机名不匹配URL、SNI、证书 SAN、虚拟主机配置不能简单认定证书过期
证书已过期或尚未生效证书日期、客户端系统时间不能只检查服务器时间
无法建立信任链服务端中间证书、本机 CA 信任库不一定是缺少根证书发送
收到 TLS 告警服务端日志、客户端能力、双向认证要求不能只凭告警名称确定根因
TCP 成功但迟迟无 TLS 响应端口服务类型、终止点负载、网络丢包不能直接认定应用业务慢

服务器通常应发送叶子证书和必要的中间证书,不要求把根证书一并发送。与此同时,curl、OpenSSL、浏览器或容器可能使用不同的信任库;一个客户端成功,不代表其他客户端一定拥有相同的信任条件。

若服务要求双向 TLS,缺少已授权客户端证书也可能导致握手失败。这时应核对服务要求与客户端配置,而不是关闭验证。

还要确认TLS 究竟终止在哪里。客户端访问 CDN 成功,只能证明客户端到 CDN 的这一段成功。CDN 到源站如果使用 HTTPS,还需要独立检查源站地址、回源 SNI、信任链和连接状态。

不要用忽略证书错误作为修复。即使忽略后能取得页面,也只能说明部分通信可以继续,不能证明服务器身份已被正确验证。

四、服务器资源:解释握手为什么慢或间歇失败

完成客户端侧分段后,再进入实际 TLS 终止节点。如果握手发生在负载均衡设备上,只检查后端应用服务器的 CPU,可能找不到对应原因。

四、服务器资源:解释握手为什么慢或间歇失败配图

A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,面向HTTPS入口、业务后台、数据库与接口服务,提供Xeon及AMD EPYC平台、SSD或NVMe存储、不同内存与带宽线路,并覆盖多IP和大容量存储方案。多地区节点与差异化网络资源可作为TLS终止、连接承载和应用处理的基础,便于围绕访问来源与业务负载组织端到端链路。

先确认监听位置和连接队列

在终止 TLS 的 Linux 主机上执行:

ss -lntp '( sport = :443 )'
ss -nt state syn-recv '( sport = :443 )'
ss -s

查看进程归属可能需要适当权限。主要观察:

  • 443 是否确实监听。
  • 监听的是 IPv4、IPv6、指定地址还是所有地址。
  • 监听进程是否为预期服务。
  • 半连接是否持续积压。
  • 连接数量变化是否与故障时段一致。

Linux 上,监听套接字的 Recv-Q 可用于观察等待应用接受的连接数量,Send-Q 通常显示其 backlog 上限。若队列持续接近上限,应结合连接丢弃计数和进程状态继续判断;单次截图不足以证明长期拥塞。

如果系统安装了 nstat,可以读取相关内核计数:

nstat -az TcpExtListenOverflows TcpExtListenDrops TcpRetransSegs

这些通常是累计值,应间隔一段时间读取两次并比较增量。监听溢出增长提示接收能力不足;重传增长提示传输存在问题,但这些计数通常是主机级的,不能直接归因于某个域名。

再看 CPU、内存与调度压力

uptime
vmstat 1 5
free -h

vmstat 第一行通常反映启动以来的平均情况,后续行才对应采样间隔。判断时需要组合看:

  • CPU 持续繁忙且运行队列较长,可能影响握手与请求处理的调度。
  • 持续发生换入、换出,可能伴随内存压力和延迟波动。
  • 可用内存偏低,要结合进程占用、缓存和交换活动分析。
  • 主机整体 CPU 不高,仍可能存在单核瓶颈或单个工作进程受限。

不要把“连接数多”“内存 used 高”直接等同于故障,也不要只凭负载平均值决定扩容。应让资源变化与同一时段的 TLS 耗时、连接队列和错误日志相互印证。

五、应用处理:握手成功后,继续区分首字节与响应传输

如果 curl 已完成 TLS,甚至已经收到 HTTP 状态码,故障位置就应继续向应用层推进。

例如:

  • 收到 301 或 302:当前入口已响应,跳转目标需要作为下一条独立请求检查。
  • 收到 403:TLS 可能完全正常,问题可能在访问控制、身份或业务规则。
  • 收到 502 或 504:当前 HTTP 入口已经响应,应检查其上游连接或处理过程。
  • 首字节很快、总时间很长:更应关注响应体大小、传输速率、客户端接收和中途停顿。

首次验证不使用 -L,就是为了避免把多个域名、多个握手和重定向等待混成一个总时间。

还要注意:默认情况下,curl 收到 HTTP 404 或 500 时,退出码仍可能是 0。它表示传输完成,不等于业务成功;应同时检查退出码和 HTTP 状态码。

用服务日志补齐客户端看不到的部分

以采用 Nginx、systemd 的环境为例,在确认实际单元名后读取日志:

systemctl status nginx --no-pager
journalctl -u nginx --since '15 minutes ago' --no-pager

若 Nginx 使用独立日志文件,应查看实际配置的路径;常见路径示例如下:

tail -n 100 /var/log/nginx/error.log
tail -n 100 /var/log/nginx/access.log

TLS 握手未完成时,可能还没有 HTTP 请求,因此访问日志中没有记录并不奇怪。此时错误日志通常更有价值。

如果现有访问日志已经记录以下变量,可以进一步区分应用等待:

Nginx 变量主要含义
$request_timeNginx 从读取请求开始到请求结束的整体处理时间
$upstream_connect_time建立上游连接的时间;HTTPS 上游还包含其 TLS 握手
$upstream_header_time等待上游响应头的时间
$upstream_response_time接收上游响应的时间
$ssl_protocol、$ssl_cipher当前连接使用的 TLS 协议和密码套件

$request_time 不能替代客户端端到端耗时,它不包含客户端 DNS,通常也不包含初始 TLS 握手。上游相关字段在重试或多次访问时还可能包含多个值,需要结合请求路径解释。

如果服务器已经快速生成响应,而客户端仍长时间等待,下一步应检查入口到客户端的传输路径及响应体传输,而不是继续把时间全部算在应用执行上。

六、逐层验证:用最后成功的位置决定下一步

将退出码与阶段证据对应起来

结果已获得的证据下一步
curl 退出码 6名称解析失败检查系统解析、域名记录和本地覆盖
curl 退出码 7无法建立连接核对地址、路由、监听及网络规则
curl 退出码 28达到超时限制结合详细输出判断停在解析、连接、握手还是响应阶段
curl 退出码 35TLS 连接阶段发生错误对照 OpenSSL 输出与终止点日志
curl 退出码 60对端证书验证未通过检查域名、有效期、证书链和客户端信任库
已收到 HTTP 状态码当前这一跳已进入 HTTP 层检查重定向、访问规则、上游及业务处理
HTTP 成功但总耗时高请求可以完成按阶段差值定位等待或传输瓶颈

http_code=000 不是服务器返回的 HTTP 状态码,只表示 curl 没有取得可用状态码。类似地,单独出现 ssl_verify_result=0 也不应作为握手成功的唯一证据,必须结合握手输出和请求进度判断。

按同一路径复测,再扩大范围

修复后不要只在服务器本机访问一次就结束。建议按以下顺序验收:

  1. 复测原客户端、原域名、原路径。 保持与故障现场一致,确认解析、连接地址、TLS 验证、HTTP 状态和总耗时。
  2. 复测固定 IP 的连接。 保留 SNI 和主机名校验,确认发生过问题的入口节点已经恢复。
  3. 分别检查 IPv4 与 IPv6。 只对业务实际公布的地址族设定验收条件。
  4. 复测完整入口链路。 经过 CDN 或负载均衡的业务,既要检查入口,也要确认回源状态。
  5. 再做少量分时重复验证。 记录时间、命中地址和阶段耗时,判断是否仍存在间歇失败,避免高并发请求干扰生产环境。

瓶颈定位应落在可以验证的环节上:解析慢就核对解析路径;TCP 慢就核对网络与接收队列;TLS 慢或失败就核对终止点、证书与资源;首字节慢就关联上游和应用日志;响应传输慢则检查数据量与传输路径。

排查完成的标准,不只是“页面能打开”,而是原先失败的那一段已有明确证据恢复,并且从原访问入口重新走完整条请求链路后,证书验证、HTTP 结果和阶段耗时都符合业务预期。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9337.html

相关推荐