香港服务器做智能巡检,哪些指标适合纳入自动检查?
交付验收香港服务器时,适合纳入自动检查的指标,主要分为四层:外部网络可达性、主机资源、系统与网络承载能力、业务服务健康度。单看CPU或Ping并不能判断服务器是否正常,自动巡检应同时确认“访问是否成功、资源是否充足、服务是否在工作、异常是否正在扩大”。

判断阈值也不宜直接套用一组固定数字。香港服务器的访问质量与探针位置、运营商线路、业务协议和服务器用途有关,建议以香港、中国内地及主要客户来源地分别建立基线,再结合持续时间、连续次数和关联指标触发告警。下面的阈值可作为交付验收的起始参考,正式上线后应根据业务基线复核。
一、先确认自动巡检覆盖的对象
自动检查不是把所有系统指标都采集后统一设置告警,而是要让每个指标回答一个明确问题:
| 检查对象 | 需要回答的问题 | 适合的自动检查 |
|---|---|---|
| 外部网络 | 用户能否从目标地区访问服务器 | DNS解析、TCP连接、TLS握手、HTTP状态码、响应时间、丢包率 |
| 主机资源 | 服务器是否有足够计算和内存资源 | CPU使用率、负载、内存可用量、Swap、CPU Steal、I/O等待 |
| 存储系统 | 磁盘是否会因容量或I/O异常影响服务 | 文件系统容量、inode、读写延迟、I/O错误、只读状态 |
| 网络承载 | 网卡、连接和带宽是否接近承载上限 | 带宽利用率、网卡错误、丢包、TCP重传、连接状态、文件描述符 |
| 服务进程 | 进程是否存在且能够正常响应 | 进程状态、端口监听、健康接口、重启次数、依赖服务状态 |
| 运行环境 | 时间、证书和系统错误是否会造成隐性故障 | 时间偏差、证书有效期、内核错误、OOM、文件系统错误 |
交付时应先列出服务器实际承担的服务。例如,纯文件下载服务器重点关注带宽、磁盘读取和HTTP响应;数据库服务器需要增加连接池、锁等待和存储延迟;网站服务器则必须同时检查外部HTTP访问和后端依赖。没有业务服务的指标,不必为了“监控完整”而强行设置告警。
面向网站、业务后台、数据库和接口服务等场景,A5数据提供香港物理服务器租用,涵盖Xeon Gold、AMD EPYC等平台,并有搭配SSD或NVMe存储的配置,以及CN2和国际带宽方案。不同硬件与网络资源可承载不同类型的业务负载,为围绕CPU、内存、磁盘、网络和服务状态开展巡检提供相应的部署基础。
二、外部网络可达性:香港服务器不能只检查本机Ping
2.1 以多地探针检查可达性
香港服务器的网络表现具有明显的访问地差异。服务器本地Ping网关正常,只能说明网卡和本地网络栈基本工作,并不能证明香港、中国内地或其他客户来源地都能正常访问。
建议至少设置以下三类探针:
- 香港本地或同区域探针:观察服务器所在区域的基础连通性。
- 中国内地多个网络环境的探针:避免单一运营商或单一城市代表全部访问情况。
- 业务主要来源地探针:如果客户集中在某些地区,应按实际访问来源增加检查点。
检查方式应按业务协议分层:
- ICMP用于观察基础连通性,但不能作为网站可用性的唯一依据。
- TCP连接检查用于确认目标端口能够建立连接,例如443、80或业务自定义端口。
- HTTPS检查应验证TLS握手、证书、HTTP状态码和响应内容。
- 业务健康接口或模拟访问用于确认应用不是“端口开着但服务不可用”。
| 指标 | 自动检查方式 | 判断依据 |
|---|---|---|
| DNS解析 | 从不同探针查询域名并记录解析结果 | 解析失败、解析结果异常或不同探针结果不一致时告警 |
| TCP连接成功率 | 对实际业务端口建立连接 | 连续多次连接失败,优先判断端口、网络策略或服务监听状态 |
| HTTP状态码 | 请求健康地址或业务首页 | 5xx、超时和连接拒绝应区别处理;4xx不一定代表服务器故障 |
| TLS握手 | 检查证书链、协议协商和握手耗时 | 握手失败、证书即将到期或握手延迟明显升高时告警 |
| 网络延迟 | 记录TCP连接、TLS和HTTP各阶段耗时 | 不只看总延迟,拆分后更容易区分网络、证书和应用问题 |
| 丢包率 | 多次探测并按时间窗口统计 | 单个探测包丢失不宜直接报警,应关注持续丢包或多探针同时异常 |
延迟建议使用P95或P99,而不是只看平均值。平均值可能掩盖少量但严重的慢请求。阈值可以采用“基线加比例”和“绝对上限”双重判断,例如:
- 香港探针的P95延迟较过去稳定基线升高50%,并持续5分钟,触发预警。
- 主要访问地的P95延迟超过既定业务上限,并连续3个采样周期异常,触发告警。
- 丢包率连续5分钟高于1%,或多个探针同时出现明显丢包,进入网络异常处理。
- HTTP成功率低于99.5%可作为预警起点,低于99%且持续5分钟可提高等级;实际数值应以业务可用性要求调整。
这里的绝对延迟不能一概而论。香港探针、内地探针和海外探针应分别建立基线,不能把同一个毫秒阈值套用于所有来源地。若只有单个探针失败,而其他探针正常,应优先排查探针自身、局部线路或DNS解析差异;如果多个地区同时失败,再检查服务器入口、端口策略和服务状态。
2.2 区分网络故障和应用故障
自动巡检最好将一次请求拆成几个时间段:

- DNS解析耗时异常,通常指向解析服务、域名配置或探针网络问题。
- TCP连接耗时异常,重点查看入口网络、连接队列和服务器负载。
- TLS握手耗时异常,可能与证书链、加密协商、CPU压力或连接复用有关。
- 首字节时间明显升高,而连接阶段正常,通常更接近应用处理、后端接口或数据库等待。
- HTTP状态码异常但响应很快,可能是应用主动返回错误,不一定是网络中断。
这种拆分比只设置“网站打不开”更适合智能巡检,也能减少把应用错误误报为线路故障。
三、CPU、内存和负载:检查资源是否真正影响服务
3.1 CPU不能只看使用率
CPU使用率适合发现计算资源长期紧张,但单独使用它容易误判。自动检查至少应将以下指标分开:
| 指标 | 主要用途 | 参考判断 |
|---|---|---|
| CPU总使用率 | 判断整体计算压力 | 持续高于85%约10分钟可预警,超过95%且伴随响应变慢时提高等级 |
| 单核使用率 | 发现单线程程序或进程绑核问题 | 总体不高但单核长期接近100%,仍可能造成业务延迟 |
| Load Average | 观察等待运行或等待I/O的任务数量 | 应与vCPU数量比较;负载持续高于vCPU数量时需要结合运行队列和I/O判断 |
| I/O Wait | 判断CPU是否在等待存储 | 持续高于15%且磁盘延迟同步升高,优先检查存储路径 |
| CPU Steal | 判断虚拟化环境中是否被底层资源抢占 | 持续高于5%可预警,若同时出现业务延迟,应联系资源提供方核实 |
| 上下文切换和运行队列 | 观察调度压力 | 与进程数、CPU使用率和响应时间关联判断,不建议单独硬告警 |
例如,CPU使用率达到90%,但HTTP响应时间、运行队列和进程状态都正常,可能只是短时批处理;如果CPU高、运行队列持续增长、接口P95延迟同时升高,就更接近真实资源不足。
3.2 内存检查应关注可用内存和Swap活动
Linux系统会利用空闲内存作为缓存,因此“free内存很少”不一定是故障。自动巡检应优先使用available memory、Swap读写和OOM事件,而不是只设置free内存阈值。
建议纳入以下核对项:
- 可用内存低于总内存的15%时预警,低于10%且持续5分钟时提高等级。
- Swap持续发生读写,尤其是Swap In不断增加时,应结合应用响应时间判断内存压力。
- 出现OOM Killer记录时直接告警,并关联被终止的进程名称。
- 容器或服务自身的内存限制触顶时,不能只看宿主机剩余内存。
- 内存使用率缓慢上升且没有回落,应作为泄漏或缓存失控的早期信号。
内存阈值需要按服务类型调整。缓存型服务可能长期占用较高内存但运行正常;应用服务器若可用内存持续下降并伴随Swap活动,则应在进程被强制终止前处理。
四、磁盘容量和I/O:提前发现“还能写但已经变慢”
4.1 容量和inode必须分别检查
磁盘空间充足,不代表文件系统一定可用。小文件密集型应用可能先耗尽inode;日志目录单独挂载时,也可能出现根分区正常但日志分区写满。
| 检查项 | 建议阈值或条件 | 判断重点 |
|---|---|---|
| 文件系统使用率 | 80%预警、90%高危,可按分区用途调整 | 日志、数据库和临时目录应分别设阈值 |
| inode使用率 | 80%预警、90%高危 | 小文件数量过多时,即使容量未满也可能无法创建文件 |
| 写入失败 | 出现一次也应记录并提高等级 | 关注“No space left”“Read-only”等错误 |
| 文件系统只读 | 立即告警 | 可能由存储错误或内核保护机制触发 |
| 磁盘读写延迟 | 超过自身稳定基线并持续升高 | 应与I/O Wait、队列长度和业务响应关联 |
| I/O错误和重试 | 出现持续增长时告警 | 需要区分应用重试和底层设备错误 |
容量告警不应只发一条“磁盘快满了”。智能巡检还可以估算增长趋势。例如,当前使用率为82%,过去24小时平均增长1.5个百分点,即使还没有达到90%,也应提示预计耗尽时间,避免等到日志或数据库写入失败后再处理。
4.2 区分磁盘慢和应用慢
当HTTP响应时间升高时,如果同时出现磁盘写延迟、I/O队列和I/O Wait上升,优先检查日志写入、数据库刷盘、备份任务或磁盘性能;如果磁盘指标正常,则应继续查看应用线程、后端依赖和连接池。
磁盘读写延迟没有适用于所有存储类型的固定值。系统盘、云硬盘、数据库盘和本地SSD的正常范围可能不同,验收时应先记录交付后的稳定基线,再对“基线明显偏离”设置告警。
五、网络带宽、连接状态和网卡错误
5.1 带宽利用率要分方向、分接口
香港服务器的入方向和出方向流量可能并不对称。网站下载、对象分发和备份任务通常出方向较高;接口接收、上传和同步任务则可能入方向更高。因此不能只看总流量。
自动检查应分别记录:
- 每个网卡的入方向和出方向速率。
- 业务接口与管理接口的流量。
- 峰值、P95利用率和持续时间。
- 网卡错误、丢弃、CRC错误和链路状态变化。
- TCP重传率及其与应用响应时间的关系。
带宽利用率达到线路标称能力的70%可作为预警起点,持续超过85%时应评估扩容、限流或业务调度。但短时备份峰值不一定需要告警,建议增加持续时间和业务时段条件。若带宽未满而TCP重传明显升高,不能简单判断为带宽不足,还要检查路径质量、网卡错误、拥塞和应用发送行为。
5.2 连接数量需要结合状态判断
连接总数上升不一定是异常,关键在于连接处于什么状态以及是否接近系统和服务上限:
ESTABLISHED持续增长,可能是访问量增加,也可能是连接未释放。TIME_WAIT较多,常见于短连接业务,应结合端口范围和新建连接速率判断。SYN_RECV持续堆积,可能与入口拥塞、连接攻击或服务处理不及时有关。- 监听队列溢出、连接拒绝和文件描述符接近上限,应提高告警等级。
- 数据库连接池接近上限时,应用可能先出现排队和超时,主机CPU却仍然正常。
连接阈值应按服务实际上限配置。例如文件描述符使用率达到70%预警、85%高危是一组可用的起始值,但如果服务本身只允许较少连接,应以服务配置和压测结果为准。不要用“连接数超过某个固定数字”作为所有服务器的通用规则。
六、进程、端口和业务接口:端口开放不等于服务正常
6.1 进程与端口属于基础检查
进程存在和端口监听适合做第一层自动检查:

- 进程消失:立即告警。
- 进程反复退出并由守护程序拉起:统计10分钟内的重启次数,超过3次可视为异常。
- 端口未监听:应关联服务状态和发布变更,避免把正常维护误判为故障。
- 进程存在但CPU、内存或线程数持续异常:不能因为“进程还在”就判定服务健康。
- 服务启动成功但无法连接依赖组件:应由业务健康检查继续识别。
6.2 健康接口应返回可验证结果
健康检查接口不建议只返回固定的200 OK。更有价值的检查应包含:
- 应用自身是否能够处理基本请求。
- 必要的数据库、缓存或消息组件是否可连接。
- 是否处于启动中、只读或降级状态。
- 响应内容是否包含预期字段或版本信息。
- 健康检查是否设置超时,避免探针本身长期占用连接。
依赖检查要区分“存活检查”和“就绪检查”。进程刚启动但数据库连接尚未建立时,可以判定为未就绪,而不是把它当作完全正常。对于非核心依赖,也应允许服务返回降级状态,避免某个辅助组件短暂异常引发整站告警。
6.3 证书和时间属于低频但高影响指标
以下指标适合自动检查,而且不应与CPU、带宽使用率混在一起:
- TLS证书剩余30天时预警,14天和7天时逐步提高等级。
- 证书域名、证书链和有效期均应检查,不能只看日期。
- 系统时间偏差超过100毫秒可预警;对签名、支付或严格时序业务,应按业务要求设置更低阈值。
- 时间同步服务失效、时间持续漂移时,应关联日志和认证失败事件。
证书到期属于确定性事件,适合提前告警;时间偏差则应结合应用需求,不宜把所有服务器都按同一精度要求处理。
七、日志和告警降噪:让巡检关注故障前兆
7.1 日志适合做事件计数,不适合逐行报警
以下事件通常适合纳入自动检查:
- OOM、文件系统变为只读、磁盘写入失败。
- 内核报告网卡、存储或设备错误。
- 服务启动失败、反复重启、配置加载失败。
- 数据库连接耗尽、队列持续堆积、依赖请求大量超时。
- 同一来源或同一接口的错误在短时间内集中增加。
不要对每一条普通访问日志、单个404或偶发超时单独报警。更合理的做法是按服务、错误类型和时间窗口聚合,例如“5分钟内同类5xx超过100次”或“错误率较过去同一时段基线升高三倍”。
7.2 使用持续时间、连续次数和恢复阈值
告警规则至少应包含四个部分:

- 触发条件:例如P95延迟超过基线50%,或磁盘使用率超过90%。
- 持续时间:例如持续5分钟,避免单个采样点造成误报。
- 关联条件:将外部失败、服务状态和主机资源一起判断。
- 恢复条件:恢复阈值应低于触发阈值,避免指标在边界附近反复通知。
例如,带宽利用率超过85%触发预警,可以在降到70%以下并持续5分钟后恢复,而不是一降到84%就立刻恢复。CPU、延迟、连接数等波动指标尤其需要滞回处理。
7.3 通过关联指标判断故障方向
| 组合现象 | 更可能的方向 | 自动巡检处理 |
|---|---|---|
| 多地HTTP失败,主机指标正常 | 入口网络、DNS、端口策略或上游链路 | 提高外部可达性告警,避免只报主机资源 |
| 香港探针正常,部分内地探针异常 | 区域线路、运营商路径或解析差异 | 按探针分组告警,不直接判定整台服务器宕机 |
| CPU高、运行队列高、接口变慢 | 计算资源不足或进程异常 | 关联进程CPU和请求延迟 |
| CPU不高、I/O Wait高、磁盘延迟高 | 存储等待 | 检查磁盘队列、日志和数据库写入 |
| 磁盘使用率高、日志写入失败 | 容量耗尽风险 | 先处理分区和日志增长,不只关闭告警 |
SYN_RECV高、连接失败增加 | 入口连接压力或服务接收不及时 | 关联网卡丢包、监听队列和应用线程 |
| 进程存在、端口正常、健康接口失败 | 应用内部或依赖故障 | 继续检查数据库、缓存和消息组件 |
| 证书临近到期、业务暂时正常 | 潜在确定性故障 | 按剩余天数提前通知,不等待访问失败 |
同一根因触发多条告警时,应设置主告警和从属事件。例如磁盘分区写满后,应用错误、队列堆积和HTTP 5xx可能同时上升,通知系统应尽量合并为“存储写入异常导致服务错误”,并保留关联指标供定位。
八、交付验收时如何判定“检查项已合格”
验收不只是确认监控平台上有曲线,还应核对每项指标是否能产生有效判断:
- 每台香港服务器都有明确的业务角色、探针位置和检查端口。
- 外部检查至少包含TCP或HTTP层,不仅依赖ICMP。
- 延迟、丢包和成功率按探针地区分别统计,没有混成一个平均值。
- CPU、内存、磁盘和网络指标能够区分瞬时峰值与持续异常。
- 磁盘容量、inode、I/O延迟和只读状态分别检查。
- 进程存活、端口监听和业务健康接口分别验收。
- 告警规则包含阈值、持续时间、等级、恢复条件和维护窗口。
- 告警通知中带有服务器、服务、探针地区、时间窗口和关键指标。
- 已记录交付后的稳定基线,后续阈值调整有依据。
- 至少保留一份正常状态和一份异常状态的巡检结果,便于上线后复核。
如果某项检查只会产生“正常或异常”,却无法说明异常发生在哪一层,就说明粒度还不够。例如“网站不可访问”应继续拆分为DNS、TCP、TLS、HTTP和应用依赖;“服务器负载高”也应继续区分CPU计算、I/O等待、内存压力和连接堆积。
九、哪些指标不适合直接设置硬告警
以下指标可以采集,但不建议脱离上下文直接报警:
- 单次Ping超时。
- 单个采样点CPU超过80%。
- 短时带宽达到峰值。
TIME_WAIT数量单独升高。- 内存使用率高但available memory充足。
- 单条404或单个业务请求超时。
- 单个探针短时失败,其他探针和服务检查均正常。
这些现象更适合作为趋势、辅助条件或二级事件。只有当它们持续出现,或与外部失败、服务延迟、错误率、资源耗尽等指标同时发生时,才应升级为正式告警。
香港服务器的自动巡检重点不在于采集最多指标,而在于把地区探针、主机资源、服务状态和业务响应对应起来。交付时先以清单确认每个关键对象都有可验证的指标,再用一段稳定运行数据复核阈值,最后检查告警是否能够区分线路异常、资源不足和应用故障。这样建立的监控,既能覆盖当前服务状态,也更容易在故障前兆出现时提前发现。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4830.html