服务器业务可用性探测应监控哪些检查点,怎样减少误报和漏报?

发布人:A5数据发布时间:2026-10-26 17:09阅读量:105

服务器业务可用性探测不能只看服务器是否能 Ping 通,也不能把 HTTP 200 直接等同于业务正常。一次完整判断应覆盖 DNS 解析、TCP 建连、TLS 握手、HTTP 响应、页面或接口内容,以及关键业务动作是否得到正确结果。

减少误报和漏报的核心,是把“探测失败”拆成可定位的检查点,并结合多个探测位置、连续失败次数、响应耗时、业务结果和故障关联关系进行判断。单点、单次、单指标告警适合发现线索,不适合作为生产环境唯一的故障结论。

先确定业务可用性的检查边界

从用户访问路径拆分检查点

一次浏览器或客户端请求通常会经历多个阶段。任何一个阶段异常,都可能让用户无法使用业务,但不同阶段的处理方式并不相同。

检查层级主要检查项可发现的问题常见误判
DNSA、AAAA、CNAME 解析、解析耗时、返回结果域名过期、解析记录错误、部分地域解析异常只检查 A 记录,遗漏 IPv6;缓存仍可访问旧地址
网络连接TCP 建连、连接耗时、端口可达性防火墙调整、监听端口异常、网络路径丢包端口能连通,但应用已经无法处理请求
TLS证书链、证书有效期、握手耗时、SNI证书过期、链不完整、协议或域名不匹配只检查证书日期,不验证实际握手
HTTP状态码、重定向、响应头、首字节时间、总耗时5xx、网关超时、异常跳转、接口变慢200 页面实际是错误页或登录页
内容JSON 状态字段、页面关键字、数据更新时间、版本号程序返回空数据、错误兜底页、缓存旧内容只判断状态码,不校验内容
业务动作只读查询、登录会话、权限校验、关键流程数据库不可用、依赖服务异常、权限配置错误探测路径绕过了真实业务链路
运行状态连接池、线程池、队列、磁盘、CPU、内存、错误率故障前兆、容量耗尽、资源泄漏资源指标正常,但外部访问已经失败

业务可用性探测不一定要把所有检查合并成一个探针。更合理的方式是分层记录:基础连通性用于定位,业务探测用于判断用户是否真正可用,资源和依赖指标用于发现故障前兆。

区分存活、就绪和业务可用

很多系统设置了 /health、/ping 或类似接口。这类接口通常只能说明进程还在运行,不能证明业务已经具备服务能力。

可以将检查目标分为三类:

区分存活、就绪和业务可用配图

  • 存活检查:进程是否运行、端口是否监听,适合配合进程管理或容器重启。
  • 就绪检查:应用是否已经加载配置、连接必要依赖并能够接收流量,适合配合负载均衡摘除节点。
  • 业务探测:从接近用户的路径发起请求,验证返回内容、权限和关键业务结果。

例如,一个接口返回:

{
  "code": 0,
  "message": "ok",
  "data": {
    "updated_at": "2025-01-15T10:30:00Z"
  }
}

探测不应只判断 HTTP 状态码为 200,还应检查 code 是否为 0、data 是否存在,以及 updated_at 是否在允许的新鲜度范围内。对于静态页面,则可以校验页面标题、固定业务标识或版本标记,但不要依赖容易变化的完整页面文本。

高频现象一:探测偶尔失败,用户却没有明显感知

经验判断

单次失败通常只能说明某一次请求失败,不能直接说明服务整体不可用。原因可能在探测节点到业务入口之间,也可能是瞬时丢包、连接建立超时、DNS 递归服务抖动或某个后端实例短暂异常。

尤其是只有一个探测点时,告警很容易把“探测链路异常”误报成“业务全局故障”。

核验步骤

  1. 查看失败发生在哪个阶段,是 DNS、TCP、TLS、等待首字节,还是业务内容校验失败。
  2. 对比不同地域、不同网络运营商或不同探测节点的结果。
  3. 查看失败是否连续发生,以及失败节点是否固定。
  4. 对照入口负载均衡、Nginx、应用网关和应用日志,确认是否有相同时间窗口的 4xx、5xx 或超时。
  5. 检查失败期间是否发生发布、证书切换、DNS 变更、WAF 规则调整或探测频率变化。

在 Linux 环境中,可以用分阶段方式观察一次请求,而不是只执行一个简单的 Ping:

高频现象一:探测偶尔失败,用户却没有明显感知配图

dig +time=2 +tries=1 example.com

curl -sS -o /dev/null \
  --connect-timeout 2 \
  --max-time 5 \
  -w 'code=%{http_code} dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
  https://example.com/health

这里的结果只能辅助定位,不能替代多点探测。若只有一个节点在失败,优先检查该节点的出口网络、DNS、IPv6 路径和访问策略;若多个独立节点同时失败,才更接近入口或业务本身的问题。

例外情况

以下场景不宜机械套用“连续两次失败就告警”:

  • 低流量内部系统本来就不适合依赖错误率,需要结合绝对失败次数。
  • 长连接、流式接口和异步任务的响应时间不能按普通短请求判断。
  • 使用 CDN 或多级缓存时,边缘节点可能仍能返回旧内容,源站故障不会立即体现在状态码上。
  • WAF、限流或访问控制可能只拦截探测器的固定 IP,真实用户仍然可以访问。

实践建议

公网业务可采用“三点两次”的基础策略:至少三个相互独立的探测位置,两个或更多位置连续两个周期失败后触发全局告警。单个位置持续失败则生成区域性告警,不直接升级为全局故障。

探测周期可以从 30 秒或 60 秒开始,再根据业务重要性调整。高频探测并不一定更准确,如果每次探测都经过复杂登录或查询链路,频率过高可能反过来增加数据库和接口压力。

高频现象二:HTTP 返回 200,但业务已经不可用

经验判断

这是业务可用性探测中最容易漏报的场景。网关、错误页面、登录页或应用兜底逻辑都可能返回 200,单纯检查状态码就会得到“正常”的结论。

常见例子包括:

  • 应用捕获异常后返回统一错误 JSON,但 HTTP 状态仍为 200。
  • 未登录时跳转到登录页,探测器只判断最终状态码。
  • 接口返回空数组,实际上是数据库查询失败后的降级结果。
  • CDN 缓存了旧的成功页面,源站已经无法生成新内容。
  • 消息消费停止,页面还能打开,但业务数据不再更新。

核验步骤

应为每类接口定义明确的成功条件,至少包括以下内容:

  1. HTTP 状态码符合接口约定。
  2. Content-Type 与接口类型一致。
  3. 响应体中的业务状态字段符合预期。
  4. 关键字段存在且格式正确。
  5. 数据更新时间不超过业务允许的延迟。
  6. 业务依赖返回结果处于可接受状态。

对于只读接口,可以设计一个专用探测对象,例如查询固定的公开数据、读取健康状态或获取最近一条测试记录。不要让探测直接创建订单、扣款、发送通知或修改生产数据。

如果必须验证登录态,应使用权限最小化的探测账号,并注意以下事项:

  • 单独设置探测账号和数据范围。
  • 令牌、密码和 Cookie 不写入普通日志。
  • 关闭会改变业务状态的操作。
  • 对探测流量做标记,便于和真实用户流量区分。
  • 探测账号失效时单独告警,避免把权限问题误判成服务宕机。

例外情况

某些接口的 401、403、404 或 429 不一定代表服务器故障:

  • 401 可能是探测凭据过期。
  • 403 可能是权限配置或访问来源策略变化。
  • 404 可能是版本路由切换,也可能是发布遗漏。
  • 429 可能表示限流生效,服务本身仍然在线。
  • 301、302 可能是正常跳转,也可能形成错误的跳转循环。

因此,状态码应按接口契约分类,而不是简单按照“2xx 正常、非 2xx 故障”处理。

实践建议

业务探测最好拆成两条:

  • 轻量探测:高频执行,只检查入口、状态码和关键字段。
  • 深度探测:低频执行,验证登录、只读查询和核心依赖。

例如,轻量探测每 30 秒运行一次,深度探测每 5 分钟运行一次。两者都失败时提高故障等级;只有深度探测失败时,先检查业务账号、数据条件和依赖权限,避免直接触发全站故障告警。

高频现象三:请求没有失败,但响应越来越慢

经验判断

可用性不是“能返回”这么简单。接口虽然最终返回 200,但如果首字节时间从 200 毫秒增加到 4 秒,用户仍会认为业务不可用。慢请求还可能是线程池、连接池、队列或数据库即将耗尽的前兆。

建议同时观察:

  • DNS 解析耗时。
  • TCP 建连耗时。
  • TLS 握手耗时。
  • 首字节时间,即 TTFB。
  • 完整响应耗时。
  • P50、P95、P99 延迟。
  • 超时数和主动取消数。
  • 各状态码的数量与比例。

核验步骤

先判断延迟增加发生在哪个阶段:

  • DNS 变慢:检查解析服务、权威 DNS、记录变化和 IPv6 解析。
  • TCP 变慢:检查出口链路、监听队列、连接数和网络丢包。
  • TLS 变慢:检查证书链、握手协商、CPU 使用率和连接复用。
  • TTFB 变慢:重点看应用线程、数据库、缓存和下游接口。
  • 总耗时变慢但 TTFB 正常:检查响应体大小、带宽、压缩或客户端读取速度。

阈值不宜只设一个固定数值。可以使用“绝对上限加基线偏离”的组合方式:

  • 总耗时超过 5 秒,无论基线如何,都视为严重体验问题。
  • P95 比过去稳定时段的基线高出两倍,并持续 10 分钟,触发性能告警。
  • 统计窗口内样本数不足时,只记录趋势,不升级为高等级告警。

下面的数值仅作为配置起点,实际应根据接口类型和历史基线调整:

指标提示级参考严重级参考说明
DNS 解析耗时1 秒3 秒公网环境受递归节点影响,需多点对比
TCP 建连耗时500 毫秒1 秒内网和公网不应使用同一标准
TLS 握手耗时1 秒3 秒需结合证书和协议协商结果
接口总耗时3 秒5 秒长轮询、报表接口应单独建模
5xx 比例1%5%同时设置最小样本数
连续业务失败2 个周期3 个周期周期越短,越要防止瞬时抖动

例外情况

报表导出、文件上传、视频处理和异步任务本身就可能耗时较长,不应与登录、查询、支付状态读取等短请求共用阈值。对异步业务,应探测“任务是否成功进入队列”和“结果是否在规定时间内产生”,而不是等待一次 HTTP 请求完成全部工作。

实践建议

把“可用性告警”和“性能预警”分开。可用性告警回答“用户是否已经无法完成操作”,性能预警回答“系统是否正在接近不可用”。两者使用不同等级和通知渠道,避免大量性能波动掩盖真正的服务中断。

高频现象四:内部监控正常,外部用户却访问失败

经验判断

在服务器内部访问 localhost 或内网地址成功,只能证明某一段链路正常。域名访问还可能经过 DNS、负载均衡、防火墙、CDN、证书和公网出口,内部检查无法覆盖这些环节。

反过来,公网探测失败也不一定代表应用进程故障,可能是某个运营商方向、IPv6 路径或单个边缘节点异常。

核验步骤

至少建立三类观测视角:

高频现象四:内部监控正常,外部用户却访问失败配图

  1. 服务器本机或同网段探测:判断应用进程、监听端口和本地依赖。
  2. 业务入口附近探测:判断负载均衡、网关、TLS 和路由。
  3. 外部多地域探测:判断真实用户访问路径。

对每个结果记录探测位置、解析地址、协议栈、失败阶段和时间戳。特别要区分 IPv4 与 IPv6,因为只验证 IPv4 可能遗漏 AAAA 记录导致的访问问题。

例外情况

以下场景需要独立定义探测策略:

  • 内网域名和公网域名使用不同解析结果。
  • CDN 对不同地域返回不同边缘节点。
  • 灰度发布只对部分用户或特定请求头生效。
  • 多租户系统按 Host、租户 ID 或权限返回不同业务结果。
  • 访问控制只允许办公网或特定来源,公网探测天然无法通过。

实践建议

不要把所有探测结果合并成一个“正常/异常”字段。至少保留“区域可用性”“全局可用性”“业务内容正确性”三个维度。这样既能避免单点误报,也能识别局部故障,不会因为平均值正常而漏掉一部分用户无法访问的问题。

A5数据提供覆盖中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚的物理服务器,具备适用于网站、接口服务和数据库的不同计算、存储与网络配置。对于面向多地用户的业务,这些地区资源可承载相应的业务入口和后端服务,使区域可用性观测能够对应到实际部署位置与访问路径。

告警降噪:把一次失败变成可解释的事件

使用连续失败和多数判断

常见的告警条件可以设计为:

告警降噪:把一次失败变成可解释的事件配图

  • 同一探测点连续失败 2 次:产生提示事件。
  • 两个以上探测点连续失败 2 次:产生高等级业务告警。
  • 所有探测点均失败,且内部入口指标同步异常:升级为全局故障。
  • 只有一个依赖服务失败,但主接口仍可降级:单独通知依赖异常,不直接宣告主业务不可用。

这不是固定模板。核心是将“失败次数、失败位置、失败阶段、影响范围”组合起来判断,而不是只依赖单个布尔值。

重试要有限度

探测器可以在同一周期内进行一次短重试,用于排除瞬时连接抖动,但不能无限重试。无限重试会掩盖真实故障,造成漏报。

建议记录三种状态:

  • 首次请求失败,重试成功:记录为抖动或轻微异常。
  • 同一周期两次失败:记录一次失败事件。
  • 连续多个周期失败:进入告警状态。

告警恢复也应设置条件,例如连续两个周期成功后恢复,避免故障边缘反复触发“恢复—故障”通知。

按故障原因去重

DNS 失败、TLS 失败和 HTTP 失败可能由同一个证书或入口变更引起。如果每个检查点都单独发短信或电话,会形成告警风暴。

可以保留详细事件,但通知层按以下维度聚合:

  • 业务名称。
  • 访问域名或入口。
  • 探测区域。
  • 失败阶段。
  • 发布、证书和 DNS 变更关联关系。

降噪不是删除异常,而是减少重复通知。原始探测结果、失败时间线和阶段数据仍应保留,便于复盘。

维护窗口和发布窗口要有边界

发布期间可以降低通知等级,但不应完全关闭探测。更稳妥的做法是:

  • 保留数据采集。
  • 抑制重复的低等级通知。
  • 对超过预设时长的异常仍然告警。
  • 发布结束后自动恢复正常通知。
  • 维护结束后立即执行一次完整业务探测。

如果维护规则没有结束时间,或者长期依赖人工关闭告警,最容易形成漏报。

减少漏报:不要忽略业务前兆和探测本身

监控容易耗尽的资源

许多故障不是瞬间宕机,而是资源逐步达到上限。业务探测之外,应关联以下指标:

  • 应用进程存活数和重启次数。
  • CPU 使用率及运行队列。
  • 内存使用率、Swap 和 OOM 事件。
  • 文件描述符使用量。
  • TCP 连接数、监听队列和连接失败数。
  • 数据库连接池使用率。
  • 线程池、协程池和任务队列长度。
  • 磁盘空间、inode 和磁盘延迟。
  • 5xx、超时、限流和熔断次数。
  • 证书剩余有效期和 DNS 记录变更。

例如,数据库连接池使用率从 60% 上升到 90%,但业务探测仍然成功,此时不应立即判断业务故障;可以先产生预警,并观察等待连接数、接口 P95 延迟和超时趋势。这样既能提前发现风险,也不会因为单个资源指标波动造成高等级误报。

监控探测器是否正常工作

探测系统自身也可能漏报。需要单独检查:

  • 探测任务是否按计划执行。
  • 探测器到监控平台的上报链路是否正常。
  • 探测器时钟是否同步。
  • 探测账号和凭据是否即将过期。
  • 探测节点是否被 WAF、限流或防火墙拦截。
  • 告警规则是否仍然启用。
  • 通知渠道是否能够送达。
  • 业务下线或域名变更后,旧探测是否被清理。

尤其要防止“没有数据”被当作“业务正常”。探测任务停止时,应显示为“监控数据缺失”或“探测器异常”,不能默认为成功。

一套可执行的探测设计示例

以一个 HTTPS API 为例,可以把成功条件定义为:

检查项成功条件失败含义
DNS在规定时间内得到预期类型的解析结果解析失败、记录错误或路径异常
TCP目标端口可建立连接端口未监听、网络或策略阻断
TLS域名匹配、证书链有效、握手完成证书、协议或入口配置异常
HTTP状态码为约定值,响应类型正确网关、应用或路由异常
业务字段code=0,关键字段存在应用逻辑或依赖异常
数据新鲜度更新时间不超过业务允许窗口消费、同步或缓存更新停止
延迟P95 不超过接口专用阈值资源紧张或下游变慢

接口探测记录至少应包含:

timestamp=2025-01-15T10:30:00Z
location=region-a
address=203.0.113.10
dns_ms=42
connect_ms=86
tls_ms=120
ttfb_ms=310
total_ms=420
http_code=200
business_code=0
content_fresh=true
result=success

发生失败时,不要只记录 result=failed,还要记录 failed_stage 和可安全展示的错误分类,例如 dns_timeout、tls_hostname_mismatch、http_502、business_code_invalid。不要把完整响应中的密码、令牌、个人信息或敏感业务数据写入探测日志。

上线前最后复核最容易遗漏的项目

配置完成后,建议按真实故障路径做一次复核,而不是只确认规则已经保存:

  1. 临时让一个探测点不可达,确认只产生区域告警。
  2. 让两个探测点连续失败,确认全局告警能够触发。
  3. 返回 HTTP 200 但修改业务字段,确认内容校验能够识别。
  4. 让探测账号失效,确认它不会被误判为服务器宕机。
  5. 模拟证书即将到期或证书链异常,确认 TLS 检查有效。
  6. 检查 IPv4、IPv6、重定向、CDN 缓存和不同 Host 的访问结果。
  7. 恢复业务后确认告警能够自动恢复,且恢复通知不会早于业务真正稳定。
  8. 停止探测任务或阻断上报链路,确认“无监控数据”会单独告警。

最容易被忽略的复核点,是探测通过后是否真的覆盖了用户使用的那条路径:同一个域名、同一个协议栈、同一种权限、同一类数据新鲜度和同一组关键依赖。只有把这些条件与告警恢复、维护抑制、探测器自身健康一起验证,业务可用性探测才不会停留在“端口可连、状态码正常”的表面判断上。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5900.html

相关推荐