洛杉矶服务器用Linux traceroute排查路由,星号响应该如何判断
洛杉矶服务器访问变慢、间歇性超时或网页打开时间拉长时,traceroute 中出现星号并不等于对应节点已经丢包,更不能仅凭某一跳的 <em> </em> * 判定故障发生在该运营商或该路由器。判断重点是:星号是否只出现在中间一跳、后续节点和目标是否仍能正常响应,以及 TCP 连接和实际应用请求是否同时变慢。
通常情况下,中间某一跳显示星号,但后续跳数和目标地址仍有稳定响应,常见原因是路由器限制或过滤了探测报文的回包;如果从某一跳开始持续出现星号,目标也无法访问,才需要进一步排查路由中断、回程路径、目标服务器状态或防火墙策略。洛杉矶服务器的路由诊断应结合本地网络、DNS解析、探测协议、服务器资源和应用响应分层判断,而不是把一张 traceroute 输出当成完整结论。
围绕洛杉矶服务器的网络路径与应用响应排查,A5idc数据提供美国物理服务器资源,涵盖常规Xeon、AMD EPYC、NVMe存储及CN2 GIA线路方案,可用于网站、业务后台、数据库和跨境接口等场景;同时提供GPU与多IP服务器,便于结合不同计算任务、访问来源和网络资源需求构建相应的业务承载环境。
先确认故障范围和测试方向
记录同一时段的实际症状
排查前先明确四个问题:
- 是所有访问者都变慢,还是某个地区、某个运营商或某条宽带受影响?
- 是域名解析慢、TCP连接慢、TLS握手慢,还是连接建立后等待页面响应?
- 是持续异常,还是只在某些时间段出现?
- 访问的是洛杉矶服务器本机地址,还是经过负载均衡、CDN或其他接入层的地址?
建议记录发生时间、客户端公网出口、目标域名、解析到的IPv4和IPv6地址、访问端口以及失败比例。时间最好统一使用带时区的格式,例如 UTC 或服务器所在时区,方便和服务器日志、监控记录对应。
如果能够在受影响的客户端执行命令,可以先设置目标地址。下面的地址仅用于演示,实际操作时应替换为洛杉矶服务器的真实公网IP。
TARGET=203.0.113.10
date -Is
ip route get "$TARGET"
ping -c 20 -W 2 "$TARGET"
ping只能反映ICMP探测的往返情况。即使ICMP被过滤,HTTPS服务也可能正常;反过来,ICMP延迟正常也不能证明Web应用没有问题。因此,这一步用于确认基础现象,不作为最终结论。
确认测试方向
从本地客户端运行 traceroute,测试的是“客户端到洛杉矶服务器”的路径,主要对应用户访问服务器的入站方向。登录洛杉矶服务器后运行 traceroute,测试的通常是“服务器到目标地址”的出站方向,不能直接代表用户到服务器的路径。
如果怀疑回程路径异常,需要在服务器上探测客户端公网出口,或者从多个外部监测点分别探测洛杉矶服务器。单向路径正常,不代表双向路径都正常,因为互联网中的去程和回程可能经过不同的运营商和路由。
建立延迟问题的原因树
可以把问题拆成五个层级。每个层级的现象、证据和下一步并不相同。
| 层级 | 常见表现 | 优先检查内容 | 不能直接得出的结论 |
|---|---|---|---|
| 本地网络 | 第一跳延迟高、波动大,多个目标同时异常 | 网关、局域网、Wi-Fi、有线网络、出口线路 | 不能据此认定洛杉矶服务器故障 |
| DNS与地址选择 | 域名访问慢,直接访问某个IP正常;IPv4和IPv6表现不同 | A/AAAA记录、解析耗时、不同地址的路径 | 解析慢不等于路由慢 |
| 路由与丢包 | 多次探测延迟升高,目标也出现丢包或超时 | traceroute、MTR、TCP 443探测、不同源地址 | 单个中间节点星号不等于真实转发丢包 |
| 服务器系统 | 网络探测基本正常,连接或响应偶发变慢 | CPU、内存、磁盘IO、连接数、网卡错误 | traceroute无法直接显示应用线程是否阻塞 |
| 应用服务 | TCP连接较快,但首字节或完整响应很慢 | Web服务、上游接口、数据库、应用日志 | 路由稳定不代表页面处理正常 |
排查顺序应从外到内、从低风险到高相关性推进。只有当某一层的观察结果与故障时间和影响范围相互印证时,才把它提升为主要根因。
逐层排除网络和DNS因素
先检查本地网络和出口
对网关和多个公共目标分别测试,可以判断问题是否只指向洛杉矶服务器。
ip route
ip route get "$TARGET"
# 将网关地址替换为 ip route 中显示的实际网关
ping -c 20 -W 2 192.168.1.1
ping -c 20 -W 2 "$TARGET"
ping -c 20 -W 2 198.51.100.20
如果网关本身就出现明显延迟或丢包,优先检查本地交换机、无线信号、网线、出口设备和宽带线路。若网关稳定、其他目标也稳定,只有洛杉矶服务器异常,问题更可能位于目标方向的DNS、跨网路由、服务器或应用层。
需要注意,家庭网络、办公网络和云主机出口的测试条件不同。测试时应尽量保持同一客户端、同一出口和同一目标端口,否则不同结果可能只是路径发生了变化。
排除DNS解析和地址选择
域名访问的第一步是解析。先分别查看IPv4和IPv6记录,并检查解析耗时:
dig A example.com
dig AAAA example.com
dig +stats A example.com
getent ahosts example.com
如果域名返回多个A记录或AAAA记录,应分别对每个地址执行路径测试。不同地址可能属于不同接入节点,也可能由不同线路承载。可以先用以下方式查看实际解析结果:
dig +short A example.com
dig +short AAAA example.com
然后将每个返回地址单独设置为 TARGET 进行测试。
IPv4和IPv6也要分开比较。部分网络的IPv6路径并不等同于IPv4路径,域名优先选择IPv6时,可能出现“IPv4正常、IPv6变慢”的现象:
curl -4 -sS -o /dev/null \
-w 'ipv4 connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
--connect-timeout 5 --max-time 15 \
https://example.com/health
curl -6 -sS -o /dev/null \
-w 'ipv6 connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total}\n' \
--connect-timeout 5 --max-time 15 \
https://example.com/health
如果直接访问IP速度正常,而域名请求在解析阶段明显耗时,应排查递归DNS服务器、DNS记录变化、TTL缓存和地址选择。若解析很快,但其中一个IP的连接明显变慢,则重点转向该IP对应的路由或接入节点。
正确使用traceroute观察路径
Linux中的 traceroute 默认探测方式可能是UDP,不一定和用户访问的TCP 443路径完全一致。建议先进行普通探测,再用ICMP或TCP方式交叉验证。
# 使用数字地址,避免反向DNS查询影响显示速度
traceroute -n -w 2 -q 3 -m 20 "$TARGET"
# 使用ICMP探测
sudo traceroute -n -I -w 2 -q 3 -m 20 "$TARGET"
# 以HTTPS端口为目标进行TCP探测
sudo traceroute -n -T -p 443 -w 2 -q 3 -m 20 "$TARGET"
部分发行版或 traceroute 实现对参数支持略有差异。如果某个参数报错,应先执行 traceroute --help 确认本机版本,不要直接套用其他系统的选项。
下面是一段模拟输出,仅用于说明判断方式:
1 192.168.1.1 1.2 ms 1.1 ms 1.3 ms
2 100.64.0.1 8.4 ms 8.1 ms 8.7 ms
3 198.51.100.1 12.5 ms 12.2 ms 12.8 ms
4 * * *
5 203.0.113.5 36.4 ms 36.1 ms 36.8 ms
6 203.0.113.10 37.0 ms 36.7 ms 37.2 ms
第4跳没有返回探测报文,但第5跳和目标仍然稳定响应。此时不能把第4跳直接认定为故障点,更常见的解释是该设备不回应此类探测、限制回应频率,或者只允许转发而不返回TTL超时报文。
判断星号时,可以按照下面的分支处理:

| 星号形态 | 结合目标响应的判断 | 下一步 |
|---|---|---|
| 只有中间一跳出现星号,后续和目标正常 | 更接近探测回包被过滤或限速 | 使用TCP 443或MTR复测,不单独报障 |
| 某一跳延迟高,后续跳恢复正常 | 该设备可能降低探测报文优先级 | 观察目标端到端延迟,不把该跳延迟累加 |
| 从某一跳开始持续星号,目标也超时 | 可能是路径中断、ACL、回程异常或目标不可达 | 更换探测协议和测试源,核对服务器状态 |
| 所有跳均为星号,但HTTPS访问正常 | 探测类型可能被整体过滤 | 以TCP连接和应用请求为主 |
| 目标一跳星号,但TCP 443和网页请求正常 | 目标主机可能不回应ICMP或UDP | 不以目标星号判断服务下线 |
这里有一个容易误判的地方:traceroute显示的是各跳设备对探测包的回应时间,不是数据包在该设备上停留的完整时间。某一跳显示 100 毫秒,下一跳又恢复到 35 毫秒,通常说明这台设备对探测回应进行了低优先级处理,而不是实际转发流量经过它时增加了65毫秒。
用MTR确认是否为持续性问题
一次 traceroute 只能看到少量探测包,适合观察路径结构;MTR可以在一段时间内持续探测,更适合判断延迟波动和终端丢包。
mtr -r -w -c 100 -i 0.2 "$TARGET"
如果服务主要使用HTTPS,可尝试TCP方式:
sudo mtr -r -w -c 100 -i 0.2 -T -P 443 "$TARGET"
下面的结果同样是模拟示例:
HOST: client Loss% Snt Last Avg Best Wrst StDev
1. 192.168.1.1 0.0% 100 1.2 1.3 1.0 2.4 0.3
2. 100.64.0.1 0.0% 100 8.1 8.4 7.8 14.2 1.1
3. 198.51.100.1 80.0% 100 12.4 12.7 11.8 18.0 1.0
4. 203.0.113.5 0.0% 100 36.2 36.5 34.9 42.1 1.4
5. 203.0.113.10 0.0% 100 36.8 37.1 35.2 44.0 1.6
第3跳显示80%丢包,但第4跳和目标均为0%,这更像第3跳限制ICMP回应,而不是实际转发丢包。只有当某一跳开始出现较高丢包,并且后续各跳和目标也出现相近的丢包或延迟升高时,才更有理由怀疑路径中的真实丢包。
不过,即使MTR的目标端显示丢包,也要和TCP连接、HTTPS状态码及应用日志交叉验证。防火墙、服务端限速和探测频率都可能影响测量结果。必要时降低探测频率,延长观察窗口,并从多个网络出口重复测试。
检查洛杉矶服务器自身状态
当客户端到目标的TCP路径基本稳定,但网页或接口响应仍慢,就要转向服务器系统层。traceroute无法判断CPU是否饱和、进程是否排队,也无法显示数据库查询或上游接口耗时。
在Linux服务器上可以先进行低风险只读检查:
date -Is
uptime
free -h
vmstat 1 5
df -h
ss -s
ip -s link
重点观察以下指标:
vmstat中运行队列长期高于可用CPU线程数,可能存在CPU争用。wa持续偏高,可能是磁盘或存储IO等待。si、so持续增长,说明系统可能发生交换,内存压力较大。free -h中的可用内存持续不足,需结合进程内存使用量判断。ip -s link中的网卡错误、丢弃或重传计数持续增长,需检查虚拟网卡、宿主网络或接口配置。ss -s中的连接数异常升高,可能与流量突增、连接未及时释放或应用处理能力不足有关。
如果系统装有 sysstat,还可以查看网络和CPU历史数据:
sar -n DEV 1 5
sar -q 1 5
服务名称和日志路径必须以实际部署为准。以Nginx为例,可以查看对应时间段的服务日志:
journalctl -u nginx --since "10 minutes ago" --no-pager
如果系统没有systemd,或服务并非由名为 nginx 的单元管理,应先确认启动方式和日志位置。不要为了“清理日志”或“释放资源”直接删除日志、重启服务或修改权限;这些操作可能掩盖现场,且在生产环境中会造成额外影响。先保存故障时间段的日志和指标,再根据变更流程处理。
用连接时间和首字节时间区分系统问题
从服务器外部执行HTTPS请求时,可以拆分DNS、TCP连接、TLS握手、首字节和完整响应时间:
curl -sS -o /dev/null \
-w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} code=%{http_code}\n' \
--connect-timeout 5 --max-time 20 \
https://example.com/health
这些字段可以帮助定位:
dns高:优先检查解析链路。connect明显高:关注路由、丢包、服务端监听和TCP握手。tls较高:检查TLS协商、证书链、CPU负载和连接复用情况。connect正常但ttfb高:更像Web服务、应用线程、数据库或上游接口处理慢。total高而ttfb正常:可能是响应体较大、带宽受限或传输中出现丢包。
如果网站使用虚拟主机,直接用IP访问可能没有相同的Host和SNI,结果不能完全代表真实域名访问。需要固定IP但保留域名信息时,可以使用 --resolve,示例中的IP仍是演示地址:
curl -sS -o /dev/null \
--resolve example.com:443:203.0.113.10 \
-w 'connect=%{time_connect} ttfb=%{time_starttransfer} total=%{time_total} code=%{http_code}\n' \
--connect-timeout 5 --max-time 20 \
https://example.com/health
根据证据定位更可能的根因
排查结果应形成“现象—证据—结论—验证动作”的链条,而不是只记录一条命令输出。
| 观察结果 | 更可能的方向 | 验证动作 |
|---|---|---|
| 网关和多个目标都延迟升高 | 本地网络或出口线路 | 更换有线网络、出口或监测点复测 |
| 解析耗时高,直接IP请求正常 | DNS递归或地址选择 | 比较不同解析器,检查A/AAAA记录和TTL |
| 只有一个解析IP路径异常 | 特定地址、接入节点或路由 | 分别对所有返回IP进行TCP探测 |
| 中间跳星号,目标和HTTPS正常 | 探测回包过滤或限速 | 改用TCP 443,延长MTR观察,不单点归因 |
| 目标端持续丢包,多个探测源结果一致 | 目标方向路径或服务器网络 | 对比服务器网卡计数、连接监控和外部探测 |
| TCP连接快,TTFB明显升高 | 服务器系统或应用处理 | 检查CPU、IO、连接队列、应用和数据库日志 |
| 只有IPv6慢,IPv4稳定 | IPv6路径或服务配置 | 分别监控IPv4、IPv6,核对AAAA和监听配置 |
| 服务器本机出站正常,用户访问仍异常 | 入站路径或回程路径 | 从受影响网络和多个外部节点反向验证 |
例如,客户端到洛杉矶服务器的TCP 443探测连续稳定,MTR目标丢包为0%,但应用请求的TTFB从平时约200毫秒升至数秒,同时服务器运行队列和数据库连接等待上升,此时根因更偏向应用处理能力,而不是某一条路由上的星号。
相反,如果多个独立网络出口同时看到目标端TCP连接超时,且从洛杉矶服务器查看网卡错误、连接队列或防火墙丢弃计数也同步上升,才应把服务器网络、监听服务或安全策略列为重点。安全组、防火墙和监听配置的调整属于生产变更,应先备份当前配置、明确影响端口和来源范围,并准备原配置回滚,不能通过临时放宽全部访问规则来“验证”。
验证恢复,不要只看星号消失
根因处理后,应使用与故障发生时相同的测试条件复测:
- 在原受影响网络出口再次执行DNS、TCP 443和HTTPS请求。
- 对原来异常的目标IP重复执行多轮MTR或traceroute。
- 分别测试IPv4和IPv6,确认不是只恢复了其中一条路径。
- 对比服务器CPU、内存、IO、网卡、连接数和应用日志的同一时间段。
- 连续观察多个时间窗口,确认高峰时段不会再次出现相同现象。
恢复标准应以端到端服务为主,例如HTTPS成功率恢复、连接时间和TTFB回到该线路的历史基线、应用错误率下降、服务器资源不再持续排队。中间节点是否仍然偶尔显示星号不是唯一验收条件,只要目标服务稳定且该节点的星号没有伴随终端异常,就不应把它作为单独的故障指标。
为下一次故障保留可比监控点
洛杉矶服务器的网络排查适合建立分层监控,而不是只定时保存一张 traceroute 图片:
- 从主要用户地区监控DNS解析时间、TCP 443连接时间、TLS时间、TTFB、完整响应时间和HTTP状态码。
- 对服务器公网IP进行低频连通性与延迟监测,必要时从多个网络出口执行TCP探测。
- 定期保存到目标IP的MTR快照,用于比较路径变化,但不要因单个中间节点星号直接触发故障告警。
- 记录A、AAAA记录变化、地址数量和TTL,避免把DNS切换造成的路径变化误认为服务器性能波动。
- 在服务器侧监控CPU使用率、运行队列、内存与交换、磁盘IO、网卡错误、TCP连接数、监听队列、HTTP 5xx和上游响应时间。
- 告警应关注持续的端到端异常,例如多个探测点同时出现连接失败,或连续多个时间窗口的TTFB、错误率超过历史基线。
这样处理后,traceroute 的星号只作为原因树中的一个观察信号:它可以提示需要继续验证,但不能单独决定故障位置。只有当路径探测、端口连接、应用响应和服务器指标在时间上相互对应,才能较可靠地判断问题究竟位于本地网络、DNS、跨网路由、洛杉矶服务器系统,还是具体应用服务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8101.html



