服务器业务可用性探测应监控哪些检查点,怎样减少误报和漏报?
服务器业务可用性探测不能只看服务器是否能 Ping 通,也不能把 HTTP 200 直接等同于业务正常。一次完整判断应覆盖 DNS 解析、TCP 建连、TLS 握手、HTTP 响应、页面或接口内容,以及关键业务动作是否得到正确结果。
减少误报和漏报的核心,是把“探测失败”拆成可定位的检查点,并结合多个探测位置、连续失败次数、响应耗时、业务结果和故障关联关系进行判断。单点、单次、单指标告警适合发现线索,不适合作为生产环境唯一的故障结论。
先确定业务可用性的检查边界
从用户访问路径拆分检查点
一次浏览器或客户端请求通常会经历多个阶段。任何一个阶段异常,都可能让用户无法使用业务,但不同阶段的处理方式并不相同。
| 检查层级 | 主要检查项 | 可发现的问题 | 常见误判 |
|---|---|---|---|
| DNS | A、AAAA、CNAME 解析、解析耗时、返回结果 | 域名过期、解析记录错误、部分地域解析异常 | 只检查 A 记录,遗漏 IPv6;缓存仍可访问旧地址 |
| 网络连接 | TCP 建连、连接耗时、端口可达性 | 防火墙调整、监听端口异常、网络路径丢包 | 端口能连通,但应用已经无法处理请求 |
| TLS | 证书链、证书有效期、握手耗时、SNI | 证书过期、链不完整、协议或域名不匹配 | 只检查证书日期,不验证实际握手 |
| HTTP | 状态码、重定向、响应头、首字节时间、总耗时 | 5xx、网关超时、异常跳转、接口变慢 | 200 页面实际是错误页或登录页 |
| 内容 | JSON 状态字段、页面关键字、数据更新时间、版本号 | 程序返回空数据、错误兜底页、缓存旧内容 | 只判断状态码,不校验内容 |
| 业务动作 | 只读查询、登录会话、权限校验、关键流程 | 数据库不可用、依赖服务异常、权限配置错误 | 探测路径绕过了真实业务链路 |
| 运行状态 | 连接池、线程池、队列、磁盘、CPU、内存、错误率 | 故障前兆、容量耗尽、资源泄漏 | 资源指标正常,但外部访问已经失败 |
业务可用性探测不一定要把所有检查合并成一个探针。更合理的方式是分层记录:基础连通性用于定位,业务探测用于判断用户是否真正可用,资源和依赖指标用于发现故障前兆。
区分存活、就绪和业务可用
很多系统设置了 /health、/ping 或类似接口。这类接口通常只能说明进程还在运行,不能证明业务已经具备服务能力。
可以将检查目标分为三类:

- 存活检查:进程是否运行、端口是否监听,适合配合进程管理或容器重启。
- 就绪检查:应用是否已经加载配置、连接必要依赖并能够接收流量,适合配合负载均衡摘除节点。
- 业务探测:从接近用户的路径发起请求,验证返回内容、权限和关键业务结果。
例如,一个接口返回:
{
"code": 0,
"message": "ok",
"data": {
"updated_at": "2025-01-15T10:30:00Z"
}
}
探测不应只判断 HTTP 状态码为 200,还应检查 code 是否为 0、data 是否存在,以及 updated_at 是否在允许的新鲜度范围内。对于静态页面,则可以校验页面标题、固定业务标识或版本标记,但不要依赖容易变化的完整页面文本。
高频现象一:探测偶尔失败,用户却没有明显感知
经验判断
单次失败通常只能说明某一次请求失败,不能直接说明服务整体不可用。原因可能在探测节点到业务入口之间,也可能是瞬时丢包、连接建立超时、DNS 递归服务抖动或某个后端实例短暂异常。
尤其是只有一个探测点时,告警很容易把“探测链路异常”误报成“业务全局故障”。
核验步骤
- 查看失败发生在哪个阶段,是 DNS、TCP、TLS、等待首字节,还是业务内容校验失败。
- 对比不同地域、不同网络运营商或不同探测节点的结果。
- 查看失败是否连续发生,以及失败节点是否固定。
- 对照入口负载均衡、Nginx、应用网关和应用日志,确认是否有相同时间窗口的 4xx、5xx 或超时。
- 检查失败期间是否发生发布、证书切换、DNS 变更、WAF 规则调整或探测频率变化。
在 Linux 环境中,可以用分阶段方式观察一次请求,而不是只执行一个简单的 Ping:

dig +time=2 +tries=1 example.com
curl -sS -o /dev/null \
--connect-timeout 2 \
--max-time 5 \
-w 'code=%{http_code} dns=%{time_namelookup}s connect=%{time_connect}s tls=%{time_appconnect}s start=%{time_starttransfer}s total=%{time_total}s\n' \
https://example.com/health
这里的结果只能辅助定位,不能替代多点探测。若只有一个节点在失败,优先检查该节点的出口网络、DNS、IPv6 路径和访问策略;若多个独立节点同时失败,才更接近入口或业务本身的问题。
例外情况
以下场景不宜机械套用“连续两次失败就告警”:
- 低流量内部系统本来就不适合依赖错误率,需要结合绝对失败次数。
- 长连接、流式接口和异步任务的响应时间不能按普通短请求判断。
- 使用 CDN 或多级缓存时,边缘节点可能仍能返回旧内容,源站故障不会立即体现在状态码上。
- WAF、限流或访问控制可能只拦截探测器的固定 IP,真实用户仍然可以访问。
实践建议
公网业务可采用“三点两次”的基础策略:至少三个相互独立的探测位置,两个或更多位置连续两个周期失败后触发全局告警。单个位置持续失败则生成区域性告警,不直接升级为全局故障。
探测周期可以从 30 秒或 60 秒开始,再根据业务重要性调整。高频探测并不一定更准确,如果每次探测都经过复杂登录或查询链路,频率过高可能反过来增加数据库和接口压力。
高频现象二:HTTP 返回 200,但业务已经不可用
经验判断
这是业务可用性探测中最容易漏报的场景。网关、错误页面、登录页或应用兜底逻辑都可能返回 200,单纯检查状态码就会得到“正常”的结论。
常见例子包括:
- 应用捕获异常后返回统一错误 JSON,但 HTTP 状态仍为 200。
- 未登录时跳转到登录页,探测器只判断最终状态码。
- 接口返回空数组,实际上是数据库查询失败后的降级结果。
- CDN 缓存了旧的成功页面,源站已经无法生成新内容。
- 消息消费停止,页面还能打开,但业务数据不再更新。
核验步骤
应为每类接口定义明确的成功条件,至少包括以下内容:
- HTTP 状态码符合接口约定。
Content-Type与接口类型一致。- 响应体中的业务状态字段符合预期。
- 关键字段存在且格式正确。
- 数据更新时间不超过业务允许的延迟。
- 业务依赖返回结果处于可接受状态。
对于只读接口,可以设计一个专用探测对象,例如查询固定的公开数据、读取健康状态或获取最近一条测试记录。不要让探测直接创建订单、扣款、发送通知或修改生产数据。
如果必须验证登录态,应使用权限最小化的探测账号,并注意以下事项:
- 单独设置探测账号和数据范围。
- 令牌、密码和 Cookie 不写入普通日志。
- 关闭会改变业务状态的操作。
- 对探测流量做标记,便于和真实用户流量区分。
- 探测账号失效时单独告警,避免把权限问题误判成服务宕机。
例外情况
某些接口的 401、403、404 或 429 不一定代表服务器故障:
- 401 可能是探测凭据过期。
- 403 可能是权限配置或访问来源策略变化。
- 404 可能是版本路由切换,也可能是发布遗漏。
- 429 可能表示限流生效,服务本身仍然在线。
- 301、302 可能是正常跳转,也可能形成错误的跳转循环。
因此,状态码应按接口契约分类,而不是简单按照“2xx 正常、非 2xx 故障”处理。
实践建议
业务探测最好拆成两条:
- 轻量探测:高频执行,只检查入口、状态码和关键字段。
- 深度探测:低频执行,验证登录、只读查询和核心依赖。
例如,轻量探测每 30 秒运行一次,深度探测每 5 分钟运行一次。两者都失败时提高故障等级;只有深度探测失败时,先检查业务账号、数据条件和依赖权限,避免直接触发全站故障告警。
高频现象三:请求没有失败,但响应越来越慢
经验判断
可用性不是“能返回”这么简单。接口虽然最终返回 200,但如果首字节时间从 200 毫秒增加到 4 秒,用户仍会认为业务不可用。慢请求还可能是线程池、连接池、队列或数据库即将耗尽的前兆。
建议同时观察:
- DNS 解析耗时。
- TCP 建连耗时。
- TLS 握手耗时。
- 首字节时间,即 TTFB。
- 完整响应耗时。
- P50、P95、P99 延迟。
- 超时数和主动取消数。
- 各状态码的数量与比例。
核验步骤
先判断延迟增加发生在哪个阶段:
- DNS 变慢:检查解析服务、权威 DNS、记录变化和 IPv6 解析。
- TCP 变慢:检查出口链路、监听队列、连接数和网络丢包。
- TLS 变慢:检查证书链、握手协商、CPU 使用率和连接复用。
- TTFB 变慢:重点看应用线程、数据库、缓存和下游接口。
- 总耗时变慢但 TTFB 正常:检查响应体大小、带宽、压缩或客户端读取速度。
阈值不宜只设一个固定数值。可以使用“绝对上限加基线偏离”的组合方式:
- 总耗时超过 5 秒,无论基线如何,都视为严重体验问题。
- P95 比过去稳定时段的基线高出两倍,并持续 10 分钟,触发性能告警。
- 统计窗口内样本数不足时,只记录趋势,不升级为高等级告警。
下面的数值仅作为配置起点,实际应根据接口类型和历史基线调整:
| 指标 | 提示级参考 | 严重级参考 | 说明 |
|---|---|---|---|
| DNS 解析耗时 | 1 秒 | 3 秒 | 公网环境受递归节点影响,需多点对比 |
| TCP 建连耗时 | 500 毫秒 | 1 秒 | 内网和公网不应使用同一标准 |
| TLS 握手耗时 | 1 秒 | 3 秒 | 需结合证书和协议协商结果 |
| 接口总耗时 | 3 秒 | 5 秒 | 长轮询、报表接口应单独建模 |
| 5xx 比例 | 1% | 5% | 同时设置最小样本数 |
| 连续业务失败 | 2 个周期 | 3 个周期 | 周期越短,越要防止瞬时抖动 |
例外情况
报表导出、文件上传、视频处理和异步任务本身就可能耗时较长,不应与登录、查询、支付状态读取等短请求共用阈值。对异步业务,应探测“任务是否成功进入队列”和“结果是否在规定时间内产生”,而不是等待一次 HTTP 请求完成全部工作。
实践建议
把“可用性告警”和“性能预警”分开。可用性告警回答“用户是否已经无法完成操作”,性能预警回答“系统是否正在接近不可用”。两者使用不同等级和通知渠道,避免大量性能波动掩盖真正的服务中断。
高频现象四:内部监控正常,外部用户却访问失败
经验判断
在服务器内部访问 localhost 或内网地址成功,只能证明某一段链路正常。域名访问还可能经过 DNS、负载均衡、防火墙、CDN、证书和公网出口,内部检查无法覆盖这些环节。
反过来,公网探测失败也不一定代表应用进程故障,可能是某个运营商方向、IPv6 路径或单个边缘节点异常。
核验步骤
至少建立三类观测视角:

- 服务器本机或同网段探测:判断应用进程、监听端口和本地依赖。
- 业务入口附近探测:判断负载均衡、网关、TLS 和路由。
- 外部多地域探测:判断真实用户访问路径。
对每个结果记录探测位置、解析地址、协议栈、失败阶段和时间戳。特别要区分 IPv4 与 IPv6,因为只验证 IPv4 可能遗漏 AAAA 记录导致的访问问题。
例外情况
以下场景需要独立定义探测策略:
- 内网域名和公网域名使用不同解析结果。
- CDN 对不同地域返回不同边缘节点。
- 灰度发布只对部分用户或特定请求头生效。
- 多租户系统按 Host、租户 ID 或权限返回不同业务结果。
- 访问控制只允许办公网或特定来源,公网探测天然无法通过。
实践建议
不要把所有探测结果合并成一个“正常/异常”字段。至少保留“区域可用性”“全局可用性”“业务内容正确性”三个维度。这样既能避免单点误报,也能识别局部故障,不会因为平均值正常而漏掉一部分用户无法访问的问题。
A5数据提供覆盖中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚的物理服务器,具备适用于网站、接口服务和数据库的不同计算、存储与网络配置。对于面向多地用户的业务,这些地区资源可承载相应的业务入口和后端服务,使区域可用性观测能够对应到实际部署位置与访问路径。
告警降噪:把一次失败变成可解释的事件
使用连续失败和多数判断
常见的告警条件可以设计为:

- 同一探测点连续失败 2 次:产生提示事件。
- 两个以上探测点连续失败 2 次:产生高等级业务告警。
- 所有探测点均失败,且内部入口指标同步异常:升级为全局故障。
- 只有一个依赖服务失败,但主接口仍可降级:单独通知依赖异常,不直接宣告主业务不可用。
这不是固定模板。核心是将“失败次数、失败位置、失败阶段、影响范围”组合起来判断,而不是只依赖单个布尔值。
重试要有限度
探测器可以在同一周期内进行一次短重试,用于排除瞬时连接抖动,但不能无限重试。无限重试会掩盖真实故障,造成漏报。
建议记录三种状态:
- 首次请求失败,重试成功:记录为抖动或轻微异常。
- 同一周期两次失败:记录一次失败事件。
- 连续多个周期失败:进入告警状态。
告警恢复也应设置条件,例如连续两个周期成功后恢复,避免故障边缘反复触发“恢复—故障”通知。
按故障原因去重
DNS 失败、TLS 失败和 HTTP 失败可能由同一个证书或入口变更引起。如果每个检查点都单独发短信或电话,会形成告警风暴。
可以保留详细事件,但通知层按以下维度聚合:
- 业务名称。
- 访问域名或入口。
- 探测区域。
- 失败阶段。
- 发布、证书和 DNS 变更关联关系。
降噪不是删除异常,而是减少重复通知。原始探测结果、失败时间线和阶段数据仍应保留,便于复盘。
维护窗口和发布窗口要有边界
发布期间可以降低通知等级,但不应完全关闭探测。更稳妥的做法是:
- 保留数据采集。
- 抑制重复的低等级通知。
- 对超过预设时长的异常仍然告警。
- 发布结束后自动恢复正常通知。
- 维护结束后立即执行一次完整业务探测。
如果维护规则没有结束时间,或者长期依赖人工关闭告警,最容易形成漏报。
减少漏报:不要忽略业务前兆和探测本身
监控容易耗尽的资源
许多故障不是瞬间宕机,而是资源逐步达到上限。业务探测之外,应关联以下指标:
- 应用进程存活数和重启次数。
- CPU 使用率及运行队列。
- 内存使用率、Swap 和 OOM 事件。
- 文件描述符使用量。
- TCP 连接数、监听队列和连接失败数。
- 数据库连接池使用率。
- 线程池、协程池和任务队列长度。
- 磁盘空间、inode 和磁盘延迟。
- 5xx、超时、限流和熔断次数。
- 证书剩余有效期和 DNS 记录变更。
例如,数据库连接池使用率从 60% 上升到 90%,但业务探测仍然成功,此时不应立即判断业务故障;可以先产生预警,并观察等待连接数、接口 P95 延迟和超时趋势。这样既能提前发现风险,也不会因为单个资源指标波动造成高等级误报。
监控探测器是否正常工作
探测系统自身也可能漏报。需要单独检查:
- 探测任务是否按计划执行。
- 探测器到监控平台的上报链路是否正常。
- 探测器时钟是否同步。
- 探测账号和凭据是否即将过期。
- 探测节点是否被 WAF、限流或防火墙拦截。
- 告警规则是否仍然启用。
- 通知渠道是否能够送达。
- 业务下线或域名变更后,旧探测是否被清理。
尤其要防止“没有数据”被当作“业务正常”。探测任务停止时,应显示为“监控数据缺失”或“探测器异常”,不能默认为成功。
一套可执行的探测设计示例
以一个 HTTPS API 为例,可以把成功条件定义为:
| 检查项 | 成功条件 | 失败含义 |
|---|---|---|
| DNS | 在规定时间内得到预期类型的解析结果 | 解析失败、记录错误或路径异常 |
| TCP | 目标端口可建立连接 | 端口未监听、网络或策略阻断 |
| TLS | 域名匹配、证书链有效、握手完成 | 证书、协议或入口配置异常 |
| HTTP | 状态码为约定值,响应类型正确 | 网关、应用或路由异常 |
| 业务字段 | code=0,关键字段存在 | 应用逻辑或依赖异常 |
| 数据新鲜度 | 更新时间不超过业务允许窗口 | 消费、同步或缓存更新停止 |
| 延迟 | P95 不超过接口专用阈值 | 资源紧张或下游变慢 |
接口探测记录至少应包含:
timestamp=2025-01-15T10:30:00Z
location=region-a
address=203.0.113.10
dns_ms=42
connect_ms=86
tls_ms=120
ttfb_ms=310
total_ms=420
http_code=200
business_code=0
content_fresh=true
result=success
发生失败时,不要只记录 result=failed,还要记录 failed_stage 和可安全展示的错误分类,例如 dns_timeout、tls_hostname_mismatch、http_502、business_code_invalid。不要把完整响应中的密码、令牌、个人信息或敏感业务数据写入探测日志。
上线前最后复核最容易遗漏的项目
配置完成后,建议按真实故障路径做一次复核,而不是只确认规则已经保存:
- 临时让一个探测点不可达,确认只产生区域告警。
- 让两个探测点连续失败,确认全局告警能够触发。
- 返回 HTTP 200 但修改业务字段,确认内容校验能够识别。
- 让探测账号失效,确认它不会被误判为服务器宕机。
- 模拟证书即将到期或证书链异常,确认 TLS 检查有效。
- 检查 IPv4、IPv6、重定向、CDN 缓存和不同 Host 的访问结果。
- 恢复业务后确认告警能够自动恢复,且恢复通知不会早于业务真正稳定。
- 停止探测任务或阻断上报链路,确认“无监控数据”会单独告警。
最容易被忽略的复核点,是探测通过后是否真的覆盖了用户使用的那条路径:同一个域名、同一个协议栈、同一种权限、同一类数据新鲜度和同一组关键依赖。只有把这些条件与告警恢复、维护抑制、探测器自身健康一起验证,业务可用性探测才不会停留在“端口可连、状态码正常”的表面判断上。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5900.html


