Kubernetes审计日志该记录哪些操作,如何控制日志量与保留期限

发布人:A5数据发布时间:2026-10-26 10:26阅读量:104

交付验收时,Kubernetes 审计日志最容易出现两类风险:表面上已经启用,但权限变更、敏感资源访问或容器远程操作没有留下可用记录;或者把所有请求都按 RequestResponse 记录,导致日志中出现 Secret 内容、控制面磁盘快速增长,甚至影响 API Server 请求延迟。验收不能只看“有日志文件”,还要核对记录对象、日志级别、事件阶段、告警条件和保留期限是否彼此匹配。

可执行的基线通常是:RBAC 和工作负载变更至少记录 Metadata,Secret 访问记录访问者、资源和结果但不记录请求与响应正文,pods/exec、pods/attach、pods/portforward 等远程操作单独纳入审计;只有确实需要查看请求内容、且对象不含敏感数据时,才使用 Request 或 RequestResponse。日志量则通过策略匹配范围、事件阶段、后端批处理、轮转参数和集中存储保留策略共同控制。

Kubernetes 审计日志的集中收集、处理与留存,也需要稳定的服务器资源作为运行基础。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,配置涵盖 Xeon 与 AMD EPYC 平台、NVMe 或大容量存储及不同网络线路,可用于承载审计日志接收、检索和相关业务后台。多地区资源选择也为不同部署区域的日志处理与业务系统提供硬件和网络基础。

先确认审计事件的验收边界

Kubernetes 审计日志主要由 kube-apiserver 生成,记录经过 Kubernetes API Server 的请求。它不是容器标准输出,也不是节点登录日志,更不会自动覆盖直接访问 etcd、直接访问 kubelet API 或云厂商控制面的操作。

先确认审计事件的验收边界配图

关键对象对应核对项判断依据
审计来源确认每个实际承载 API 请求的 API Server 都启用了审计策略和后端高可用集群中,单台控制面节点有日志不代表整个集群请求都被记录
身份信息检查 user.username、user.groups、sourceIPs、userAgent,以及使用模拟身份时的 impersonatedUser只能看到资源和时间,无法识别操作者,不能作为有效追责记录
请求对象检查 verb、objectRef.apiGroup、objectRef.resource、objectRef.namespace、objectRef.name这些字段决定能否判断谁对哪个资源执行了什么操作
结果信息检查 responseStatus.code、responseStatus.reason 和 stage只记录请求发起而没有最终状态,难以区分成功、拒绝和服务端错误
时间信息检查 requestReceivedTimestamp、stageTimestamp,并确认控制面节点时间同步多台 API Server 时间不一致时,跨节点还原操作顺序会出现偏差
策略命中检查规则顺序和最终兜底规则Kubernetes 审计策略按规则顺序匹配,命中第一条后不会继续匹配;前面的 level: None 可能直接屏蔽后续规则

level: Metadata 通常已经包含身份、请求 URI、资源引用、状态码和时间等字段,但不包含请求体和响应体。Request 会增加请求体,RequestResponse 还会增加响应体。后两种级别对 Secret、包含凭据的 ConfigMap、工作负载环境变量等对象存在泄露风险。

关键操作应该记录到什么程度

身份与权限变更

权限变更是审计日志中优先级最高的一类对象。无论操作来自人工账号、流水线账号还是控制器服务账号,都应至少保留元数据。

操作对象建议记录的操作建议级别验收判断
roles、rolebindingscreate、update、patch、delete、deletecollectionMetadata能识别命名空间、操作者、变更资源和返回状态
clusterroles、clusterrolebindings同上Metadata集群级权限变更应能够触发高优先级告警
serviceaccounts/tokencreateMetadata能看到哪个身份请求了令牌子资源,但不应把令牌内容写入日志
subjectaccessreviews、selfsubjectaccessreviewscreateMetadata可用于分析权限探测和异常授权检查,但应结合正常流水线行为降噪
模拟身份请求相关 API 操作Metadata必须保留 impersonatedUser,否则真实操作者和被模拟身份容易混淆

权限对象通常不需要 RequestResponse。如果需要审查 Role 中具体的规则变化,可以在集中审计系统中对 requestObject 做受控解析,但不应为了查看 RBAC 内容而把 Secret 或所有工作负载统一提高到响应正文级别。

敏感数据访问

Secret 的访问与修改应分开处理。读取 Secret 时,重点是“谁、从哪里、以什么方式、访问了哪个对象、结果如何”,而不是把数据内容复制到审计日志。

对象或操作建议处理方式原因
Secret 的 get、list、watchMetadata可记录访问行为,避免记录 Secret 数据
Secret 的 create、update、patch、deleteMetadata修改者和结果通常比正文更适合作为审计线索
ConfigMap 的读取和修改默认使用 Metadata配置中可能误放密码、令牌或连接字符串
ServiceAccount 令牌请求Metadata记录请求者和结果即可,禁止把令牌内容写入正文日志
对敏感对象使用 Request 或 RequestResponse默认不接受请求体或响应体可能包含 data、stringData、环境变量和令牌

需要注意,list 和 watch 的审计事件并不等于“逐条列出了返回结果中的每个对象”。在 Metadata 级别下,日志主要记录请求范围、资源类型、操作者和状态;如果必须知道返回了哪些具体对象,通常需要更高日志级别,但这会显著增加数据暴露和日志量,不能直接作为默认方案。

工作负载和网络对象变更

工作负载变更是入侵检测、变更追溯和故障复盘的基础。建议记录用户或自动化系统发起的创建、更新、补丁和删除操作,但不要把频繁的状态更新与业务变更混在一起。

对象范围重点操作建议级别需要排除或单独处理的内容
pods创建、删除、批量删除Metadatapods/status 等控制器状态更新通常噪声较大
deployments、statefulsets、daemonsets、replicasets创建、更新、补丁、删除Metadata区分规格变更与状态子资源更新
jobs、cronjobs创建、更新、删除Metadata关注异常创建和批量删除
services、ingresses创建、更新、删除Metadata对外暴露范围变化应纳入告警
networkpolicies创建、更新、删除Metadata网络隔离策略变化通常需要较高优先级
pods/eviction驱逐请求Metadata与直接删除 Pod 的行为不同,应保留资源和结果

工作负载正文中可能带有环境变量、镜像拉取凭据引用和配置内容,因此不建议对 Deployment、Pod 等对象默认使用 RequestResponse。如果确需查看发布意图,优先在发布系统中保留经过脱敏的变更记录,审计日志只承担 API 操作追踪职责。

容器远程操作

exec、attach 和 portforward 不应被普通工作负载变更规则遗漏。它们常用于排障,也可能被用于绕过应用层审计直接接触容器环境。

建议至少匹配以下资源:

- group: ""
  resources:
    - pods/exec
    - pods/attach
    - pods/portforward

验收时应分别确认:

  • 能看到操作者、命名空间、Pod 名称、子资源名称和结果状态;
  • 能区分 pods/exec 与普通 pods 请求;
  • 对人工账号、非值班时间账号和异常来源地址设置告警;
  • 不把命令行参数当成完整的命令审计依据,具体命令是否可见取决于 API 请求和运行时实现,不能仅凭 Kubernetes 审计日志保证获得完整 Shell 命令;
  • portforward、attach 等长连接操作不能只依赖连接结束后的 ResponseComplete 事件。

一个偏高信号的策略示例

下面示例用于说明规则拆分方式,不应未经容量评估直接覆盖生产策略。它记录权限变更、敏感资源访问、工作负载变更和容器远程操作;最后使用 level: None 作为兜底,因此不会记录未列入范围的普通读取请求。

apiVersion: audit.k8s.io/v1
kind: Policy
rules:
  # 高频事件通常不作为安全审计主线
  - level: None
    resources:
      - group: ""
        resources:
          - events

  # 集群级和命名空间级权限变更
  - level: Metadata
    verbs:
      - create
      - update
      - patch
      - delete
      - deletecollection
    resources:
      - group: rbac.authorization.k8s.io
        resources:
          - roles
          - rolebindings
          - clusterroles
          - clusterrolebindings

  # 敏感数据访问,不记录请求和响应正文
  - level: Metadata
    resources:
      - group: ""
        resources:
          - secrets
          - serviceaccounts/token

  # 容器远程操作
  - level: Metadata
    resources:
      - group: ""
        resources:
          - pods/exec
          - pods/attach
          - pods/portforward

  # 业务工作负载和网络对象变更
  - level: Metadata
    verbs:
      - create
      - update
      - patch
      - delete
      - deletecollection
    resources:
      - group: ""
        resources:
          - pods
          - services
      - group: apps
        resources:
          - deployments
          - statefulsets
          - daemonsets
          - replicasets
      - group: batch
        resources:
          - jobs
          - cronjobs
      - group: networking.k8s.io
        resources:
          - ingresses
          - networkpolicies

  # 其他请求不在此基线中记录
  - level: None

这份策略有三个验收重点:

  1. group: "" 表示核心 API 组,不能误写成 core。
  2. pods/exec 等子资源需要明确写出,不能认为匹配 pods 就一定覆盖所有子资源。
  3. 如果要求完整记录 API 访问,应将兜底规则调整为 Metadata,但必须先评估读取、列表和监视请求带来的增长量,并对 events、状态子资源、健康检查和系统账号进行有依据的降噪。

策略不支持按资源名称任意细分到每个对象。通常可以按用户、用户组、命名空间、资源类型、动词和非资源 URL 匹配;如果需要按具体名称、来源地址或时间段筛选,应在集中日志平台中完成。

用事件阶段控制重复日志

一个 API 请求可能产生多个审计阶段:

用事件阶段控制重复日志配图

阶段适合观察的内容对日志量和告警的影响
RequestReceived请求刚到达 API Server能及时看到长连接和未完成请求,但会与最终事件形成重复
ResponseStarted长时间运行请求已经开始返回响应对 watch、exec、attach、portforward 等操作有价值
ResponseComplete请求处理完成、已得到最终状态适合判断成功、拒绝和服务端错误
Panic请求处理过程中发生服务端异常应保留,通常直接触发高优先级事件

对普通的创建、更新和删除请求,保留 ResponseComplete 往往已经能够判断结果。通过 omitStages 去掉 RequestReceived 可以减少重复,但不宜不加区分地全局删除:

  • watch 连接可能持续很长时间,只有结束时才出现 ResponseComplete;
  • exec、attach 和 portforward 可能在异常断开前没有及时产生完整结束事件;
  • 排查 API Server 卡顿时,RequestReceived 与 ResponseComplete 的时间差本身具有价值;
  • Panic 阶段不应为了节省容量而省略。

因此,阶段优化应先区分普通短请求和长连接请求,再结合当前 Kubernetes 版本支持的策略字段进行验证。修改策略后应在测试命名空间产生一次普通变更和一次长连接操作,确认没有把关键事件一并过滤。

用后端和轮转参数控制日志量

审计日志后端主要有本地文件和 Webhook 集中发送两种方式。

后端适用场景主要验收项
本地日志后端自建控制面、需要快速落盘文件权限、独立磁盘、轮转、采集代理、磁盘告警
Webhook 后端需要集中检索、统一保留和跨节点关联接收端可用性、队列积压、发送失败、批量延迟和重试
本地加集中发送需要短期快速留证和长期集中存储两条链路的重复、延迟、容量和故障降级行为

批处理能够降低每个 API 请求同步写日志的压力,但会引入缓冲延迟;阻塞模式更容易保证请求完成前日志已交给后端,却可能在磁盘或 Webhook 变慢时增加 API 请求延迟。具体模式和参数名称会随 Kubernetes 版本变化,生产环境应先核对 kube-apiserver 的帮助信息和发行版支持情况。

自建控制面常见的本地日志参数包括:

--audit-policy-file=/etc/kubernetes/audit-policy.yaml
--audit-log-path=/var/log/kubernetes/audit.log
--audit-log-maxsize=100
--audit-log-maxbackup=10
--audit-log-maxage=30
--audit-log-compress=true

这些参数的含义通常是:

  • audit-log-maxsize:单个日志文件达到多少 MB 后轮转;
  • audit-log-maxbackup:保留多少个轮转文件;
  • audit-log-maxage:轮转文件最多保留多少天;
  • audit-log-compress:是否压缩旧文件。

参数只控制 API Server 本机文件,不等于集中存储的保留期限。磁盘容量可以先按以下方式估算:

每日原始容量 ≈ 每日审计事件数 × 平均事件大小

例如,某个 API Server 每天约产生 150 万条 Metadata 事件,抽样得到平均每条 1.8 KB,按十进制单位估算:

用后端和轮转参数控制日志量配图

  • 1,500,000 × 1.8 KB = 2,700,000 KB;
  • 2,700,000 KB ÷ 1,000,000 ≈ 2.7 GB/天;
  • 保留 14 天约为 37.8 GB;
  • 再预留 20% 至 30% 的增长和轮转空间,单实例至少按约 46 GB 至 50 GB 规划。

如果 2.7 GB 是每个控制面实例的容量,而不是整个集群汇总容量,则还要按各实例实际事件量相加。Request 和 RequestResponse 的事件大小受对象正文影响很大,不能继续套用 1.8 KB 的平均值,应从实际日志抽样后重新计算。

保留期限应分别规划本地、集中和归档层

保留时间不是单一的 audit-log-maxage 参数。验收时应把“本机轮转期限”和“集中平台保留期限”拆开。

保留层常见规划方式判断依据
API Server 本地保留数天到数周用于网络中断、采集器故障和短期现场取证;不能作为唯一副本
集中日志热存储按日常排查和告警回溯周期设置需要支持检索、聚合和跨节点关联
对象存储或归档按安全事件调查窗口、内部制度和合规要求设置应考虑访问控制、加密、删除保护和导出留证
备份副本与主存储分离防止控制面节点损坏或日志平台误删导致证据同时丢失

没有统一适用于所有集群的固定期限。可以用“最长发现延迟 + 调查周期 + 留证导出缓冲”作为起点。例如,安全团队每周检查一次异常行为,且事件调查通常需要两周,集中热存储就不宜只保留三天;如果存在更长的外部审计周期,还应将归档期限单独延长。

本地磁盘验收至少应确认:

  • 轮转文件数量和文件大小符合配置;
  • 压缩文件没有被采集器误判为新日志或重复采集;
  • 日志目录位于有容量监控的磁盘,而不是与 etcd、容器运行时共用且没有预留空间的分区;
  • API Server 节点被替换后,本地日志不会被误认为已经完成集中留存;
  • 日志文件访问权限仅授予必要的控制面和采集进程账号。

监控哪些指标,阈值如何降噪

审计监控应同时覆盖“有没有记录”“是否丢失”“是否突然增多”和“敏感操作是否异常”。不同 Kubernetes 版本的指标名称可能存在差异,验收时应从 API Server 的 /metrics 端点确认实际暴露项。常见指标包括 apiserver_audit_event_total 和 apiserver_audit_error_total;不能仅凭指标名称假定所有发行版都完全一致。

监控对象建议告警条件降噪和判断依据
审计事件量相比同一时段基线连续 10 分钟超过 2 倍告警,超过 3 倍可升级发布窗口、批量控制器和集群升级会造成正常峰值,应加入变更日历
审计错误或丢弃5 分钟内大于 0 即告警这类指标不是普通业务失败,可能意味着证据缺口,不能用高阈值掩盖
Webhook 队列或发送延迟队列使用率超过 70% 持续 5 分钟预警,超过 90% 立即升级以接收端实际队列指标为准;没有队列指标时,使用发送错误和延迟替代
本地磁盘剩余空间低于 20% 预警,低于 10% 严重告警还要观察增长速度,不能只看百分比;轮转失败时增长可能很快
日志文件更新时间集群持续有 API 请求,但某实例超过预期窗口没有新事件先排除该实例没有承载请求,再检查策略、文件权限和采集链路
RBAC 变更非批准账号创建或修改 clusterrolebindings、clusterroles系统控制器账号应建立明确白名单,但不能把所有服务账号都静默
容器远程操作非值班人员或异常来源发起 pods/exec、attach、portforward对正常排障账号采用审批时段、命名空间和来源地址关联降噪
Secret 访问人工账号、未知服务账号或短时间内大量读取不建议对每一次控制器读取都即时告警,应按身份、命名空间和访问频率聚合
未授权请求同一身份在 5 分钟内出现连续 401/403,例如超过 20 次单次 403 可能是正常权限检查,连续失败、来源变化和资源敏感度更有判断价值

审计事件计数通常按“事件”而不是“API 请求”计算。一个请求可能包含多个阶段,所以阶段策略变化会同时改变事件量和事件与请求的比例。监控基线时应记录策略版本、控制面副本数量和发布窗口,否则策略调整本身可能被误判为攻击或故障。

查看自建集群是否暴露常见审计指标时,可以使用只读查询:

kubectl get --raw /metrics | grep -E 'apiserver_audit_(event|error)'

如果该命令没有返回结果,不应直接认定审计未启用,还要核对指标端点权限、API Server 版本、指标名称和发行版的监控配置。

交付验收时的最小测试矩阵

验收不应直接在生产 Secret 上开启 RequestResponse 进行测试。可以使用测试命名空间和不含敏感内容的临时资源,逐项确认以下结果:

测试项应产生的记录不通过时的含义
创建或修改测试 Deploymentverb、命名空间、资源名、操作者和最终状态完整工作负载规则未命中,或只记录了无结果的请求阶段
修改测试 Role 或 RoleBinding能看到 RBAC 资源和操作者权限变更没有被单独覆盖,存在高风险盲区
读取测试 Secret有访问元数据,但没有 requestObject 或 responseObject日志级别过高,可能泄露 Secret 内容
发起一次 pods/execobjectRef.resource 明确显示 pods/exec子资源未匹配,普通 pods 规则不能替代远程操作规则
产生一次明确的拒绝请求能看到 401 或 403 及对应身份只能证明“请求到达”,不能判断授权结果
观察长连接请求至少有及时的开始事件或可接受的结束事件全局省略阶段导致远程操作和 watch 记录不完整
等待一次日志轮转新文件产生,旧文件按数量、大小和时间策略处理参数未生效、权限不足或磁盘路径不正确
检查集中平台多个 API Server 的事件可检索且时间顺序合理可能只采集了单个控制面实例,或存在时钟与传输问题

测试完成后,应记录审计策略版本、API Server 启动参数、各控制面实例日志路径、集中存储保留期限、告警联系人和最近一次轮转验证时间。策略或 Kubernetes 版本升级后,至少重新核对规则命中、敏感正文是否被过滤、审计错误指标和磁盘剩余空间,避免“配置文件仍在,但实际行为已经变化”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5767.html

相关推荐