香港服务器状态检测要看哪些指标,怎样区分短暂波动与持续异常?

发布人:A5数据发布时间:2026-10-18 11:04阅读量:109

香港服务器交付或上线验收时,不能只看一次 Ping 是否通、CPU 是否低。真正需要确认的是:业务入口是否可访问、网络质量是否稳定、主机资源是否接近瓶颈、应用是否持续正常,以及异常发生后能否通过多个指标互相印证。

短暂波动通常表现为单个探针、单项指标在短时间内异常,随后自动恢复,且没有对应的业务错误;持续异常则往往具有连续性、区域一致性或指标关联性,例如多个探针同时访问失败、HTTP 5xx 持续升高,或延迟上升的同时出现连接队列、磁盘等待或内存回收压力。验收时应把“看到了什么”与“依据什么判定”分开记录。

一、先固定检测口径,再判断服务器状态

1. 明确检测对象

至少要区分以下三个对象,否则容易把网络问题、主机问题和应用问题混为一谈:

一、先固定检测口径,再判断服务器状态配图

检测对象主要核对项能够说明什么
公网访问入口DNS、TCP 连接、TLS 握手、HTTP 状态码、响应时间用户能否真正访问业务
服务器主机CPU、内存、磁盘、网卡、连接数、系统错误资源是否出现饱和或内核级异常
应用及依赖进程、线程池、连接池、5xx、数据库或缓存响应服务是否“进程存活但业务不可用”

如果只检测 ICMP Ping,最多只能说明某条路径上的 ICMP 探测有响应,不能证明 443 端口可用、证书正常或应用能够返回有效页面。部分环境也可能限制 ICMP,因此 Ping 超时不应直接等同于服务器宕机。

2. 统一采样周期和观察窗口

监控系统应记录采样频率、探针位置和统计窗口。一个可执行的参考口径是:

  • 连通性和 HTTP 探测:15~30秒一次;
  • CPU、内存、磁盘、连接数:15秒~1分钟一次;
  • 告警判断:使用5分钟、10分钟或15分钟滑动窗口;
  • 延迟使用中位数、P95或P99,不以单次最大值作为唯一依据;
  • 恢复判断也要设窗口,不能一次成功就立即关闭告警。

香港服务器的公网访问质量可能随访问来源和运营商路径变化,因此建议至少设置一个香港本地探针;如果业务用户主要来自其他地区,还应增加对应来源的探针。香港探针正常、其他地区异常时,优先检查路径、运营商互联或区域解析,而不是立即判定服务器主机故障。

A5数据提供中国香港物理服务器租用,覆盖入门建站、Xeon Gold与AMD EPYC等配置,搭配SSD或NVMe存储,并提供CN2与国际带宽方案,适合企业网站、业务后台、数据库及接口服务等场景。针对不同访问来源和业务负载,A5数据也提供多地区服务器资源,为网络路径、主机资源与应用状态的持续观测提供部署基础。

3. 先建立基线,再设阈值

没有业务基线时,可以先使用典型参考值进行初始告警,但不能把这些数值当作所有业务的固定标准。例如,普通接口的P95响应时间可能在数百毫秒范围内,而报表、文件处理接口本身就可能需要数秒。

建议把阈值分为三类:

  • 业务阈值:例如接口P95响应时间超过业务SLA,或错误率超过允许比例;
  • 资源阈值:例如可用内存、磁盘空间、CPU等待时间接近风险区间;
  • 趋势阈值:例如连接数、磁盘使用量、错误率连续增长,即使尚未越过硬阈值也需要提醒。

初次交付时,可以先观察30~60分钟的连续稳定性;如果该时间段不包含业务高峰,不能据此证明长期稳定,应继续保留24小时或更长时间的趋势观察。

二、网络与可用性:先确认“用户是否能访问”

1. 核对DNS、TCP和HTTP是否分层正常

建议按照以下顺序检查:

二、网络与可用性:先确认“用户是否能访问”配图

  1. DNS是否能解析到预期地址;
  2. TCP端口是否能够建立连接;
  3. TLS握手和证书校验是否成功;
  4. HTTP是否返回预期状态码;
  5. 页面或接口内容是否满足最小业务校验;
  6. 首字节时间和完整响应时间是否在可接受范围内。

不同结果对应不同问题:

  • DNS失败:可能是解析记录、解析服务或缓存问题;
  • DNS正常但TCP失败:重点检查端口监听、安全策略、服务进程和网络路径;
  • TCP成功但TLS失败:检查证书、协议配置和服务端握手资源;
  • HTTP返回5xx:通常已经到达服务端,需继续检查应用或上游依赖;
  • HTTP返回200但业务内容错误:说明“可访问”不等于“业务可用”,应增加内容或接口字段校验。

验收时可以把“探测成功”定义为:在规定时间内完成连接,并返回预期状态码和关键内容,而不是仅以端口能连通作为成功。

2. 核对延迟、丢包和抖动

网络质量至少要看三个维度:

  • 延迟:观察中位数和P95,判断整体变慢还是个别尖峰;
  • 丢包:看连续窗口内的比例,确认是否只发生在某一个探针;
  • 抖动:看相邻采样之间的延迟变化,实时接口和长连接业务对抖动更敏感。

可以使用以下参考判断,但应结合既有基线:

  • 单次延迟尖峰,随后恢复,且HTTP请求无错误:更接近瞬时路径波动;
  • P95延迟连续10分钟超过平时约2倍:需要检查网络路径或服务器排队;
  • 单个探针丢包,其他探针正常:优先排查探针到机房之间的链路;
  • 两个以上独立探针同时丢包,且TCP连接失败:服务器出口、机房网络或安全策略的可能性上升;
  • TCP建立成功但响应时间持续变长:可能是应用处理、数据库等待或连接队列,而不一定是基础网络丢包。

平均延迟容易掩盖尾部问题。例如,100次请求中99次为80毫秒、1次为5秒,平均值可能仍然不高,但用户已经遇到明显卡顿,因此验收应保留P95或P99。

3. 核对端口、连接和出口是否接近限制

对公网服务,还应检查监听端口、活跃连接、半连接、连接重置和网卡错误。以下现象具有不同含义:

  • 端口监听消失:服务进程退出、配置未加载或启动失败;
  • 活跃连接快速接近上限:可能是突发流量、连接未释放或应用处理变慢;
  • 新连接失败但已有连接正常:重点查看连接队列、文件描述符和防火墙策略;
  • 网卡丢包或错误持续增加:检查虚拟网卡、宿主资源、链路和驱动状态;
  • 出口带宽持续接近上限:下载、备份、日志传输或异常流量可能影响业务。

带宽判断要区分单位。监控中常见的Mbps是兆比特每秒,文件传输工具常见的MB/s是兆字节每秒,1 MB/s约等于8 Mbps。不能把两者直接比较后得出带宽已满的结论。

三、主机资源:不要把单项高使用率直接判定为故障

1. CPU要连同等待和调度一起看

CPU使用率超过85%持续一段时间,可以作为预警参考,但单独的CPU高并不一定代表业务异常。应同时查看:

  • user和system占比;
  • iowait,判断CPU是否在等待磁盘;
  • steal,判断虚拟化环境是否受到宿主机争用;
  • load average或运行队列;
  • 应用响应时间和请求队列。

例如,CPU总使用率为90%,但请求延迟正常、运行队列没有增长,可能只是短时计算任务;如果CPU高的同时P95延迟、运行队列和接口错误率一起升高,则更接近持续资源不足。

可采用以下参考判断:

  • CPU超过85%持续10分钟:预警;
  • iowait持续超过20%:检查磁盘或依赖存储;
  • steal持续超过5%:检查虚拟化资源争用;
  • load持续高于可用CPU核数,且业务延迟同步升高:需要进一步处理。

这些数值适合做初始规则,最终应以该业务的正常基线和服务目标为准。

2. 内存要看可用量、回收和OOM

Linux系统中“已使用内存高”并不一定异常,因为文件缓存会占用内存并在需要时回收。更有价值的指标包括:

  • available memory;
  • swap使用量及swap in/out;
  • major page fault;
  • 内核OOM事件;
  • 应用进程内存是否持续增长。

判断时可以按以下逻辑核对:

  • available memory下降但没有交换活动,业务正常:可能是缓存增长;
  • available memory持续低于总内存的10%,并出现swap活动:进入风险状态;
  • 进程频繁被系统终止或日志出现OOM:属于明确的主机级异常;
  • 内存曲线呈稳定上升,重启服务后暂时恢复:应检查内存泄漏或缓存未释放。

一次备份、压缩或批量任务引起的短时内存压力,若在任务完成后恢复且没有OOM,不应与持续泄漏混为一谈。

3. 磁盘要分别检查容量、性能和文件系统状态

磁盘检查至少包括三类指标:

  • 容量:文件系统使用率、inode使用率;
  • 性能:IOPS、吞吐、await、队列长度、iowait;
  • 状态:只读挂载、I/O错误、坏块或设备重置。

参考判断如下:

  • 文件系统使用率超过80%:预警,检查日志和临时文件增长;
  • 超过90%:高风险,应用可能因无法写入而报错;
  • inode接近耗尽:即使还有容量,也可能无法创建新文件;
  • await持续升高、队列不断堆积:说明存储响应变慢;
  • 文件系统变为只读或出现持续I/O错误:应按严重故障处理。

不要只看磁盘“空间还剩多少”。数据库、日志服务和上传服务可能先受到I/O延迟影响,之后才表现为接口超时。

4. 核对文件描述符和系统连接资源

大量连接、日志文件或子进程可能耗尽文件描述符。验收时可记录:

  • 进程已用文件描述符与上限的比例;
  • TCP连接总数及各状态数量;
  • TIME_WAIT、CLOSE_WAIT是否异常增长;
  • 进程重启次数;
  • 内核日志中的连接、内存或I/O错误。

例如,CLOSE_WAIT持续增加,通常更偏向应用没有正确关闭连接;TIME_WAIT短时增加可能是正常的连接高峰。只有结合业务流量、服务端口和时间趋势,才能判断是否是资源泄漏。

四、应用状态:区分“进程在线”和“业务可用”

1. 核对进程存活、就绪状态和接口结果

进程存在只能证明程序没有退出,不能证明服务能够正常处理请求。建议分别设置:

  • 存活检查:进程或端口是否存在;
  • 就绪检查:依赖数据库、缓存、消息服务是否可连接;
  • 业务检查:返回状态码、关键字段或固定测试结果是否正确。

常见判断方式:

  • 进程消失,端口关闭:服务进程或启动管理异常;
  • 进程存在,端口可连,但接口超时:线程池、连接池、锁等待或上游依赖可能异常;
  • HTTP 5xx持续升高:检查应用日志、数据库、缓存和外部接口;
  • HTTP 4xx升高:可能是客户端请求、鉴权、路由或发布变更问题,不应直接归因于服务器资源;
  • 存活正常、就绪失败:应用本身可能在线,但已经无法提供完整业务。

2. 核对延迟、错误率和吞吐的组合关系

应用监控建议同时保存以下指标:

四、应用状态:区分“进程在线”和“业务可用”配图

  • 请求量;
  • 成功率和4xx、5xx比例;
  • P50、P95、P99响应时间;
  • 超时数量;
  • 并发请求数;
  • 线程池、连接池和任务队列使用率。

单看错误率可能漏掉“请求没有报错但越来越慢”的问题;单看延迟也可能把低流量下的一次慢请求放大。组合判断更可靠:

  • 请求量正常、错误率正常、P95短时升高后恢复:可能是瞬时抖动;
  • P95持续升高,同时线程池或连接池接近上限:接近应用容量瓶颈;
  • CPU和内存正常,但数据库等待、连接池占满:优先检查数据库或依赖服务;
  • 请求量下降、5xx上升、进程反复重启:可能是服务崩溃、健康检查失败或部署问题;
  • 所有探针HTTP失败,但主机指标正常:检查应用监听、证书、配置和网络策略。

3. 核对日志与重启事件是否能互相印证

告警发生时,至少保留异常前后几分钟的:

  • 应用错误日志;
  • 服务重启记录;
  • 系统OOM或I/O日志;
  • 依赖服务超时记录;
  • 发布、配置变更和定时任务记录。

日志中的单条错误不等于故障。更有价值的是错误率是否随告警同时上升、是否集中在同一接口、是否在恢复后消失。若每隔固定时间出现CPU、I/O或响应时间尖峰,应检查备份、日志切割、报表、定时任务等周期性操作,而不是把每次尖峰都当作随机故障。

五、用持续时间和关联性区分短暂波动

1. 短暂波动的判断特征

通常同时具备以下多数特征时,可以先归类为短暂波动:

  • 只有一个采样点或一个短窗口越过阈值;
  • 只有一个探针异常,其他来源正常;
  • 指标在1~2分钟内自动恢复;
  • 没有HTTP错误、连接失败或用户请求失败;
  • 没有CPU、内存、磁盘、应用队列等关联指标变化;
  • 与备份、发布、日志处理等已知任务时间重合。

这类事件仍应留痕。如果同一指标在固定时段反复出现,即使每次都能恢复,也可能是持续性的容量趋势或定时任务影响。

2. 持续异常的判断特征

满足以下任意两类特征时,应按持续异常处理并进入故障复核:

五、用持续时间和关联性区分短暂波动配图

  • 同一指标连续超过阈值达到5~15分钟;
  • 两个或以上独立探针同时失败;
  • 业务错误、超时或延迟持续恶化;
  • 主机资源与应用指标出现因果关联;
  • 服务重启、OOM、I/O错误等事件反复出现;
  • 告警恢复后短时间内再次触发;
  • 用户反馈与监控时间段重合。

例如,香港探针连续失败,但其他地区正常,可能是局部网络路径问题;所有探针都失败且服务器连接数、应用错误日志同时异常,则更接近服务器或应用故障。判断时要保留“探针范围”和“受影响业务范围”,不要只写成笼统的“服务器不稳定”。

3. 一个可落地的告警分级参考

告警级别参考触发条件处理依据
信息单次延迟尖峰、单个探针一次失败、CPU短时升高记录并观察,不立即通知值班人员
预警CPU超过85%持续10分钟、P95较基线升高约2倍、磁盘使用率超过80%核对关联指标并安排处理
严重两个探针连续3次无法访问、HTTP 5xx持续5分钟、文件系统只读、出现OOM立即确认影响范围并处理
恢复连续3~5次探测成功,且错误率和资源指标回到正常区间关闭告警并保留恢复证据

这里的“3次失败”应结合采样周期理解。若每30秒采样一次,连续3次约代表90秒;若每5分钟采样一次,连续3次则已经代表15分钟,告警意义不同。告警规则必须同时写明采样周期和持续时间。

六、降低告警噪声,避免把恢复当成正常

1. 使用多条件确认而不是单指标触发

适合设置为“主告警”的条件,应尽量与业务影响直接相关,例如:

  • 多探针访问失败;
  • HTTP错误率持续超过业务阈值;
  • 接口延迟和请求队列同时升高;
  • 磁盘只读、OOM或服务进程退出。

CPU、内存、磁盘使用率等资源指标更适合作为预警,除非已经同时影响到业务。这样可以减少“CPU短时升高但用户无感”的无效通知。

2. 设置迟滞和合并规则

建议采用以下方式降低重复告警:

  • 触发需要连续多次或满足N次中的M次;
  • 恢复需要连续多次成功;
  • 同一故障下合并“接口超时、5xx升高、连接池占满”等关联告警;
  • 对发布、备份等已知窗口设置维护标记,但不能无限期静默;
  • 设置重复通知间隔,并保留首次触发、持续中和恢复三个时间点。

不要通过单纯提高阈值来减少告警,否则可能把真正的故障延后到用户大量受影响之后才发现。

3. 验收时留存最小证据集

交付记录至少应包含:

  • 探针位置、检测域名和端口;
  • 采样周期、判断窗口和阈值;
  • DNS、TCP、TLS、HTTP结果;
  • 延迟P50/P95、丢包和错误率;
  • CPU、内存、磁盘、连接数和应用状态;
  • 异常发生时间、持续时长和恢复时间;
  • 是否与发布、备份或定时任务重合。

复核时,先确认异常是否真实存在,再确认影响范围,最后判断是否为短暂波动或持续异常。只有当业务探测、主机指标和应用日志在时间上能够相互印证,才能把一次告警定性为服务器持续异常。

交付验收核对清单

  • [ ] 已使用实际业务域名和端口进行TCP、TLS、HTTP分层检测。
  • [ ] 已设置香港本地探针,并根据业务用户来源增加其他区域探针。
  • [ ] 已记录延迟P95或P99,而不是只记录平均值。
  • [ ] 已区分DNS、网络路径、主机资源和应用依赖问题。
  • [ ] 已检查CPU等待、内存交换、磁盘I/O、inode和文件描述符。
  • [ ] 已核对应用错误率、超时、连接池、线程池和重启次数。
  • [ ] 已明确连续失败次数、持续时间和恢复条件。
  • [ ] 已为单探针异常、跨探针异常和业务级异常设置不同告警等级。
  • [ ] 已保留异常前后日志、指标曲线和变更记录。
  • [ ] 已确认短暂波动没有按持续故障关闭,也没有把重复出现的周期性异常忽略。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4377.html