AI推理服务启动后怎样做就绪检查?探针应验证哪些关键依赖?

发布人:A5数据发布时间:2026-11-12 12:52阅读量:69

进程已经启动,不等于 AI 推理服务已经可以接收请求。一个容器可能已监听端口,但模型权重仍在加载;也可能模型已载入显存,却因分词器、推理后端或关键运行时依赖异常而无法完成推理。就绪检查应验证服务是否具备实际接单能力,而不是只确认“进程还活着”。

验收时通常要分开观察三件事:初始化是否完成、实例当前能否接收流量、进程是否需要重启。探针本身适合快速判断状态;模型加载、显卡运行和端到端推理等较重验证,则应通过启动流程状态、服务指标或独立的合成请求观察,避免每次健康检查都执行完整推理。

端口可达,不等于模型可用

探针是运行平台用来判断服务状态的检查机制。它的结果可能影响实例是否进入流量池,也可能触发容器重启,因此不同探针应回答不同问题。

  • 启动检查(startup):服务是否已经完成允许对外提供服务所必需的初始化。模型加载时间较长时,它能避免服务刚启动就被存活检查误判。
  • 就绪检查(readiness):这个实例此刻是否有能力处理业务请求。未就绪的实例应暂时不接收新流量,但不一定需要重启。
  • 存活检查(liveness):进程是否陷入无法自行恢复的状态。失败通常会导致容器重启,检查条件应谨慎设置。

在 Kubernetes 中,配置了 startup probe 后,启动探针成功前不会运行该容器的 readiness 和 liveness 探针。readiness 失败会使 Pod 暂时不就绪;liveness 失败则可能触发容器重启。具体流量摘除和恢复还受服务发现、负载均衡及控制面更新影响,不能把一次探针响应等同于所有链路瞬时完成切换。

端口可达,不等于模型可用配图

例如,进程能返回 200 OK,只能说明所检查的路径成功响应。如果这个路径仅检查 Web 框架是否启动,它并不能证明模型文件已完整读取、GPU 推理上下文已建立,或实际请求能得到结果。反过来,若每次探针都执行完整的大模型生成,检查本身可能占用 GPU、增加队列压力,甚至在繁忙时把健康服务误判为故障。

启动阶段要跨过哪些关口

推理服务的初始化通常不是单一步骤。常见流程包括读取配置、加载模型及分词器、初始化推理运行时、建立设备上下文、分配必要显存、执行预热,最后才开始接受业务请求。不同软件和部署方式的顺序可能不同,但验收应围绕“请求所需条件是否齐备”展开。

启动阶段要跨过哪些关口配图

模型文件与配置

检查服务实际使用的模型标识、版本、文件路径及配置是否一致。重点观察加载状态、加载错误日志、文件读取失败和校验失败等信息。仅看到目录存在并不足以证明文件完整可读;若模型在启动时从对象存储或共享文件系统读取,还应确认读取动作已结束,而不是只确认远端服务可连接。

模型文件在启动时读取、运行中不再依赖远端存储的场景,远端存储通常属于启动依赖:加载完成后,持续把它纳入 readiness 条件未必合理。若服务每次请求都需要访问远端资源,则应另行评估它是不是关键运行时依赖。

推理运行时与设备

模型载入完成后,仍需确认推理后端能初始化并执行计算。可以关注设备是否被服务识别、运行时初始化是否成功、显存分配是否完成,以及启动预热是否报错。单看 GPU 利用率不适合作为就绪判断:空闲时利用率接近零可能完全正常,而利用率很高也不代表服务仍有可用容量。

如果服务配置了多卡、分片或并行执行,检查对象应与实际推理路径一致。只确认其中一张卡可见,不能证明所有必要设备都已正常工作。设备信息和运行时指标应来自服务自身或运行环境的可信监控面,而不是由一个过于频繁的探针反复执行昂贵操作。

面向模型推理服务的硬件底座,A5idc数据提供香港和美国GPU物理服务器,配有A100 80GB及RTX 4090等显卡选择,并组合服务器CPU、内存与NVMe存储,可用于AI推理和模型测试等负载。香港GPU方案包含CN2线路配置,美国GPU产品则有三网直连回国或国际带宽选项,为不同区域的推理服务部署提供算力与网络资源选择。

分词器、队列与请求处理链路

模型权重正常,并不代表完整请求链路正常。分词器或预处理组件可能加载失败;调度器可能尚未启动;请求队列也可能因容量耗尽而无法接收新任务。就绪检查应至少能反映这些关键组件是否处于可服务状态。

判断队列是否影响 readiness,要区分“暂时繁忙”和“持续无法接单”。短暂排队往往适合通过队列长度、等待时间或限流指标处理;只有当实例确实无法接受新请求时,才考虑将其标为未就绪。把队列一有积压就摘除实例,可能让剩余实例承受更多流量,形成扩散性拥塞。

请求期间才会用到的外部依赖

推理服务可能依赖鉴权、任务队列、数据库、缓存或外部内容存储。是否要检查某项依赖,取决于请求是否必须使用它,以及依赖失败时实例是否还能提供有意义的服务。

如果依赖故障会让所有请求立即失败,可以将其纳入 readiness,或在业务层实施有边界的降级。如果依赖只影响非关键能力,例如遥测上报或可选缓存,通常不应因此让实例停止接流量。尤其不要把所有外部依赖的连接失败都放进 liveness:远端服务故障导致本地容器不断重启,往往不会修复远端问题,反而会增加恢复压力。

请求期间才会用到的外部依赖配图

检查对象适合观察的信号常见误判
进程与 HTTP 服务端口已监听、健康接口能快速响应把 HTTP 200 当成模型已就绪
模型与分词器加载状态完成、关键文件读取成功、初始化错误数只检查目录或进程日志中出现“开始加载”
推理运行时与设备后端初始化成功、必要设备可用、预热结果正常把设备可见或利用率非零当成推理成功
请求调度与队列调度器工作、队列可接收请求、拒绝率和等待时间可观测积压时立即摘除所有繁忙实例
外部依赖关键路径可用,或降级策略已生效将非关键监控、缓存故障视为实例失效

把探针设计成快速、明确的状态接口

建议由服务提供含义清晰的健康接口,例如 /health/startup、/health/ready 和 /health/live。路径名称只是示例,应用未实现这些接口时不能直接假定它们存在。接口应尽量快速返回明确状态,并将内部原因写入日志或指标,避免把大量诊断内容暴露给外部调用方。

一个接口响应可以采用类似下面的结构:

{
  "status": "not_ready",
  "reason": "model_loading"
}

只有在对应检查目标满足时,才返回成功状态码。启动期间,readiness 返回失败是正常现象;关键是让监控能够区分“仍在初始化”和“初始化失败”,而不是只看到没有就绪。内部状态信息宜保持精简,避免包含密钥、文件凭证或其他敏感配置。

探针实现中,最好让服务维护自身状态,例如“模型加载中”“运行时初始化失败”“可接收请求”。HTTP 健康接口读取这个状态即可,不必每次被调用时重新加载模型、执行长推理或连接一组非关键外部服务。若要验证真正的推理路径,可另外安排低频、受控的合成请求,并监测其结果与耗时。

下面是 Kubernetes 探针的示例配置。端口号、路径和阈值需按应用实现及启动耗时调整;这些数字是便于说明的参考值,不是对所有模型或环境都适用的标准。

containers:
  - name: inference
    image: example/inference:tag
    ports:
      - name: http
        containerPort: 8080
    startupProbe:
      httpGet:
        path: /health/startup
        port: http
      periodSeconds: 10
      timeoutSeconds: 2
      failureThreshold: 30
    readinessProbe:
      httpGet:
        path: /health/ready
        port: http
      periodSeconds: 5
      timeoutSeconds: 2
      failureThreshold: 2
    livenessProbe:
      httpGet:
        path: /health/live
        port: http
      periodSeconds: 10
      timeoutSeconds: 2
      failureThreshold: 3

在这个示例中,startup probe 最多容纳较长的初始化窗口:按每 10 秒检查一次、连续失败阈值为 30 估算,窗口量级约为 300 秒。实际触发时间还会受探针执行、调度和配置细节影响,部署前应结合平台行为核对。若冷启动可能超过该窗口,应先依据启动时长分布调整,而不是简单提高 liveness 的容忍时间。readiness 和 liveness 的阈值也应与服务的恢复特性匹配:过于敏感会造成频繁摘除或重启,过于宽松则会延长故障实例留在服务中的时间。

用可观察指标完成验收

探针配置写入系统,只能证明配置存在;要验收启动就绪,还需要同时看服务状态、平台状态和请求结果。可以按照以下顺序验证:

  1. 确认初始化状态。 查看 Pod 或实例状态、启动日志和服务暴露的初始化指标,确认模型、分词器、运行时及必要设备都完成初始化。记录从容器启动到 readiness 成功的耗时,分别观察冷启动和重复启动,不要把两种场景混为一个平均值。
  2. 确认流量接纳状态。 检查实例是否被标记为 ready,服务端点中是否包含该实例。启动期间短暂未就绪是预期行为;若服务一直未就绪,应结合探针响应、容器事件和应用日志查明卡在哪个阶段。
  3. 执行受控推理请求。 使用合法、低成本、无敏感内容的测试输入,确认请求能完成预处理、推理和响应序列化。记录成功率、端到端耗时、错误类型及响应是否符合基本格式要求。测试请求应与真实业务路径足够接近,但避免造成大量 GPU 负载或输出不可控的数据。
  4. 检查稳定性与资源余量。 在一段代表性观察窗口内检查 readiness 变化、重启次数、请求错误率、队列等待时间、显存或内存余量。单次成功请求只能证明当时的单次执行成功,不能证明持续负载下仍有服务能力。
  5. 验证故障边界。 在测试环境或可控维护窗口中,确认初始化未完成时实例不会提前接流量,服务无法处理请求时会按预期变为未就绪,且外部非关键依赖故障不会触发无意义的容器重启。不要为了测试而在生产环境随意中断设备、删除模型文件或调整网络规则。

验收结果应与服务目标绑定,而不是只看探针是否显示绿色。以下是一个假设性的验收记录,用于说明如何组织指标;其中数值是示例,不代表通用门槛。

指标示例观察结果判断方式
启动至就绪耗时冷启动约 160 秒,重复启动约 45 秒分别与允许的发布窗口和扩容时效目标比较
就绪实例数目标 3 个,观察期间保持 3 个检查是否存在反复摘除、恢复或未加入流量池的实例
合成请求成功率观察窗口内 30 次请求均成功同时核对错误码、响应内容和服务端日志
请求耗时示例 P95 约 1.8 秒与实际模型、输入长度、并发量和业务时限对照
重启与错误无新增重启,初始化错误为 0若有变化,结合事件和应用错误定位原因

这里的“30 次请求均成功”不能单独推出长期成功率为 100%,样本量也不足以证明高并发能力。启动时间应观察多次并关注高分位值,而非只取一次最快结果;请求耗时则应注明输入长度、并发量、输出规模和设备配置。没有这些条件,两个 P95 数字也可能无法直接比较。

观测面板至少应能把实例级与服务级信号分开:实例级看探针状态、启动耗时、重启、设备和队列;服务级看请求成功率、延迟分位数和整体可用实例数。若整体请求失败上升,但所有实例仍显示 ready,说明 readiness 所覆盖的条件可能不够;若探针失败而合成请求持续成功,则可能是探针实现、超时阈值或依赖范围设置不合理。

用可观察指标完成验收配图

常见的设计取舍

启动慢与启动失败要分开处理。 大模型首次加载可能需要较长时间,启动探针可容纳合理的初始化时长;但若日志已经显示文件缺失、格式不兼容或显存不足,延长等待只会让故障暴露得更晚。应同时设定可接受的启动窗口和可识别的失败状态。

就绪检查不等于容量检查。 readiness 通常回答“实例是否可以接单”,并不自动说明它还有多少吞吐余量。若需要根据负载扩缩容或限流,应结合队列、并发数、等待时长、显存和请求速率等指标,使用相应的容量策略,不能只靠探针反复摘除繁忙实例。

局部健康不等于端到端可用。 健康接口响应正常,不能替代从调用方到模型响应的合成测试。反过来,单次端到端测试失败也要分析失败发生在哪一层:网络、鉴权、预处理、调度还是模型执行。持续合成测试适合发现服务链路问题,但频率和成本应受控。

依赖检查可能带来级联影响。 如果多个实例共享一个外部依赖,依赖短暂波动时全部 readiness 失败,可能让服务整体失去流量入口。应明确该依赖是否为硬性前提,是否存在缓存、降级或重试策略,并确认摘除实例确实能改善请求结果。liveness 更应避免依赖远端组件,以免外部故障引发本地重启风暴。

结论应落在可验证边界上

一套可用的就绪检查,应能区分初始化完成、当前可接流量和进程需要恢复这三种状态;检查范围覆盖模型加载、推理运行时、必要设备以及真正影响请求的关键依赖;探针本身快速且不执行昂贵操作。验收时再用受控推理请求和持续指标确认完整链路,并记录测试条件、观察窗口与阈值。

如果只能证明端口可连或健康接口返回成功,结论应限定为“接口可响应”,不能据此声称模型推理已就绪。若合成请求成功但并发、长时间运行或故障恢复尚未验证,也应把结论限定在已测试的输入、负载和时间范围内。这样的边界能让探针状态成为可解释的运维信号,而不是一个脱离实际服务能力的绿色标记。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9070.html

相关推荐