存储服务器上的对象存储生命周期规则,如何设置过期清理并避免误删?

发布人:A5数据发布时间:2026-10-26 17:12阅读量:99

如果存储服务器上已经运行了 S3 兼容对象存储,过期清理不应再依赖人工执行 rm、定时遍历目录或无条件删除对象,而应通过生命周期规则按对象前缀、标签和保留天数自动处理。关键不在于“设置一个几天后删除的任务”,而在于先划定可删除范围,再确认版本控制、审计、备份和恢复路径。

较稳妥的做法是:把生命周期配置保存为可审查的 JSON 文件,应用前备份当前配置,在测试前缀或测试桶中验证,生产环境只让规则作用于明确的临时数据、导出文件或日志对象。对于重要数据,应配合版本控制、对象锁、异地备份或快照使用,因为生命周期删除一旦实际清除且没有保留副本,单纯回滚配置无法恢复原始内容。

对象存储生命周期规则负责管理过期对象,底层服务器则承载对象数据与相关业务负载。A5数据提供香港、日本等地区的物理服务器租用,存储型方案包含多块企业级硬盘或SSD配置,可用于大容量文件、备份与归档场景;不同地区也有搭配NVMe存储的服务器资源,适用于对象服务、数据库及后台业务部署。

先确认现有环境与清理边界

以下示例以支持 S3 API 的自建对象存储为前提,命令使用 AWS CLI,通过 --endpoint-url 指向存储服务器。不同对象存储产品对生命周期字段的支持范围可能不同,执行前应确认服务端版本和 API 兼容性。

先定义环境变量,避免把访问密钥直接写入命令或定时任务:

export S3_ENDPOINT="https://s3.example.com"
export AWS_PROFILE="storage-admin"
export BUCKET="archive-prod"

检查桶是否可访问、当前是否启用版本控制以及是否已有生命周期配置:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api head-bucket \
  --bucket "$BUCKET"

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-bucket-versioning \
  --bucket "$BUCKET"

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-bucket-lifecycle-configuration \
  --bucket "$BUCKET"

如果最后一个命令返回“没有生命周期配置”,通常代表该桶尚未设置规则;如果返回权限错误、签名错误或连接错误,不能直接按“没有配置”处理,应先排除凭据、端点和权限问题。特别是网络超时后,不要立即重复提交更新,应先重新读取当前配置,确认上一次请求是否已经生效。

先确认现有环境与清理边界配图

在修改前,先把现有配置保存到受控目录。put-bucket-lifecycle-configuration 通常是整桶替换操作,不是追加一条规则,直接提交新文件可能覆盖原有规则。

mkdir -p "./lifecycle-backup/$BUCKET"

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  > "./lifecycle-backup/$BUCKET/$(date -u +%Y%m%dT%H%M%SZ).json"

接着建立对象分类表。不要先从“删除多少天前的对象”开始,而应先回答“哪些对象可以删除”。

对象范围示例前缀或标签典型保留策略是否允许自动删除
临时上传文件tmp/7天可以,但需确认没有业务引用
一次性导出文件exports/,标签 retention=30d30天可以
访问日志logs/30至90天依据审计要求
备份、合同、归档backup/、legal/按业务或合规要求默认不启用
未完成分片上传整个桶或指定前缀1至7天通常可以

前缀是对象键的一部分,不是存储服务器上的真实目录。tmp/report.zip 和 /data/tmp/report.zip 是否匹配某条规则,取决于对象键,而不是后端磁盘路径。

标签适合做更细的分类,例如同一个 exports/ 前缀下,不同业务对象采用不同保留周期。但标签可以被具备对象标签写权限的账号修改,因此重要数据不应只依赖标签保护。需要强隔离时,优先使用独立桶或不可混淆的前缀,并限制谁可以修改对象标签。

把清理目标保存为可重复配置

生命周期规则通常包含四类信息:

  • Filter:限定规则作用的对象范围;
  • Status:启用或禁用规则;
  • Expiration:当前对象达到条件后的过期处理;
  • NoncurrentVersionExpiration 和 AbortIncompleteMultipartUpload:分别处理旧版本和未完成分片上传。

下面是一份适用于“已启用版本控制的桶”的示例配置。它只处理 tmp/ 下的对象,以及同时满足前缀和标签条件的导出文件。

{
  "Rules": [
    {
      "ID": "tmp-expire-after-7-days",
      "Status": "Enabled",
      "Filter": {
        "Prefix": "tmp/"
      },
      "Expiration": {
        "Days": 7
      },
      "NoncurrentVersionExpiration": {
        "NoncurrentDays": 7
      },
      "AbortIncompleteMultipartUpload": {
        "DaysAfterInitiation": 2
      }
    },
    {
      "ID": "tagged-export-expire-after-30-days",
      "Status": "Enabled",
      "Filter": {
        "And": {
          "Prefix": "exports/",
          "Tags": [
            {
              "Key": "retention",
              "Value": "30d"
            }
          ]
        }
      },
      "Expiration": {
        "Days": 30
      },
      "AbortIncompleteMultipartUpload": {
        "DaysAfterInitiation": 3
      }
    }
  ]
}

这份配置表达的是:

  • tmp/ 下的当前对象达到7天后进入过期处理;
  • 版本控制开启时,超过7天的非当前版本也进入清理范围;
  • 已开始但未完成的分片上传,超过2天可以被中止;
  • 只有位于 exports/ 且带有 retention=30d 标签的对象,才适用30天规则;
  • 没有匹配前缀或标签的对象不受这些规则影响。

如果对象存储服务不支持 Filter.And,或者只实现了旧版前缀字段,应以该产品的 API 文档为准,不能直接把示例提交到生产环境。可以先在测试桶中提交一条最简单的前缀规则,确认服务端接受的字段格式。

未启用版本控制的桶不应配置依赖旧版本的字段。此时可以保留 Expiration 和 AbortIncompleteMultipartUpload,移除 NoncurrentVersionExpiration:

{
  "Rules": [
    {
      "ID": "tmp-expire-after-7-days",
      "Status": "Enabled",
      "Filter": {
        "Prefix": "tmp/"
      },
      "Expiration": {
        "Days": 7
      },
      "AbortIncompleteMultipartUpload": {
        "DaysAfterInitiation": 2
      }
    }
  ]
}

把配置文件放入版本管理目录,例如:

object-storage-config/
├── lifecycle/
│   ├── archive-prod.json
│   └── archive-test.json
├── scripts/
│   └── check-lifecycle.sh
└── README.md

提交前至少做 JSON 语法检查,并检查每条规则是否有唯一 ID、明确状态和作用范围:

jq empty lifecycle/archive-prod.json

jq -e '
  (.Rules | type == "array") and
  (.Rules | length > 0) and
  all(.Rules[]; has("ID") and has("Status") and
      (.Status == "Enabled" or .Status == "Disabled") and
      (has("Filter") or has("Prefix")))
' lifecycle/archive-prod.json

应用配置前再次确认桶名和端点。以下命令会覆盖该桶当前的生命周期配置,属于高影响操作;执行前必须已经保存旧配置,并确认新文件包含所有应保留的规则。

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api put-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  --lifecycle-configuration file://lifecycle/archive-prod.json

提交完成后立即读取服务端实际配置,而不是只根据命令返回成功判断:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  | jq -S .

如果提交命令超时,先执行读取命令确认状态。如果服务端已经采用新配置,不要再次提交;如果配置未改变,再根据备份和变更记录重试。这样可以避免网络重试造成的配置状态不确定。

日常操作应以审计和检查为主

对象存储生命周期通常由服务内部的异步评估机制执行,不是服务器上的一个可以精确控制到某分钟的 Linux 定时任务。Days: 7 表示对象达到相应年龄后具备过期资格,不等于第7天整点立刻删除。实际清理时间会受服务端扫描周期、对象数量、元数据负载和实现差异影响。

日常操作应以审计和检查为主配图

因此,不建议再额外编写以下类型的任务:

find /data/objects -type f -mtime +7 -delete

对象存储的对象键、版本、删除标记和元数据可能与后端文件布局不一致。直接删除存储目录中的文件可能造成索引不一致,也可能绕过审计和版本控制。

外部定时任务可以用于“检查和报告”,不用于直接删除对象。例如每天保存一次当前生命周期配置及其哈希值:

#!/usr/bin/env bash
set -Eeuo pipefail

S3_ENDPOINT="https://s3.example.com"
AWS_PROFILE="storage-admin"
BUCKET="archive-prod"
OUT_DIR="/var/lib/object-lifecycle/$BUCKET"

install -d -m 0750 "$OUT_DIR"

tmp_file="$(mktemp)"
trap 'rm -f "$tmp_file"' EXIT

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  | jq -S . > "$tmp_file"

cp "$tmp_file" "$OUT_DIR/current.json"
sha256sum "$OUT_DIR/current.json" > "$OUT_DIR/current.json.sha256"

printf '%s lifecycle configuration recorded for %s\n' \
  "$(date -u +%Y-%m-%dT%H:%M:%SZ)" "$BUCKET"

使用系统定时任务执行检查时,访问凭据应通过实例角色、受限配置文件或安全凭据存储提供,不要直接写在 crontab 中:

17 2 * * * /usr/local/sbin/check-object-lifecycle.sh >> /var/log/object-lifecycle-audit.log 2>&1

审计内容至少包括:

  • 当前规则文件和 Git 提交版本是否一致;
  • 规则是否被意外改为 Enabled;
  • 前缀是否发生扩大,例如从 tmp/ 改成空前缀;
  • 标签过滤条件是否被删除;
  • 版本控制状态是否变化;
  • 未完成分片上传数量是否持续增长;
  • 删除标记和非当前版本是否持续积累;
  • 生命周期服务是否产生错误日志或权限错误。

大规模桶不适合每天完整遍历全部对象。可以使用对象存储提供的 Inventory、元数据导出或管理报表;小规模测试范围则可以用 S3 API 检查:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3 ls "s3://$BUCKET/tmp/" \
  --recursive \
  --summarize

这个命令适合人工核对前缀范围,不应被误认为生命周期的精确删除预览。多数 S3 兼容实现没有通用的生命周期 dry-run 接口,真正上线前应使用测试桶或独立测试前缀验证。

结果检查:确认删除范围和版本状态

配置生效后,先检查三类结果:规则是否正确保存、对象是否按预期进入过期范围、未匹配对象是否仍然保留。

可以准备一组带有明显命名的测试对象:

测试对象建议条件预期结果
tmp/lifecycle-test/old.txt创建时间超过规则天数进入过期处理
tmp/lifecycle-test/new.txt创建时间未达到规则天数保留
exports/lifecycle-test/no-tag.zip无 retention=30d 标签保留
exports/lifecycle-test/tagged.zip有正确标签且超过周期进入过期处理
important/keep.txt不匹配任何规则保留
未完成分片上传超过设定天数未完成被中止或标记清理

检查标签时,应直接读取对象标签,而不是只看上传脚本:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-object-tagging \
  --bucket "$BUCKET" \
  --key "exports/lifecycle-test/tagged.zip"

检查单个对象是否存在,可以使用 head-object:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api head-object \
  --bucket "$BUCKET" \
  --key "tmp/lifecycle-test/new.txt"

如果对象已经被生命周期处理,head-object 可能返回不存在;如果桶启用了版本控制,还需要检查对象版本,而不能只看当前键是否存在:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api list-object-versions \
  --bucket "$BUCKET" \
  --prefix "tmp/lifecycle-test/"

版本控制开启后,当前对象的过期处理不一定等于物理删除。常见行为是:

结果检查:确认删除范围和版本状态配图

  1. 当前版本达到过期条件;
  2. 服务创建删除标记;
  3. 原当前版本变为非当前版本;
  4. 非当前版本根据 NoncurrentVersionExpiration 继续保留或清理;
  5. 删除标记可能暂时存在。

因此,单看“目录列表中对象消失”不能证明磁盘空间已经释放。还应检查非当前版本、删除标记和未完成分片上传的数量。

生命周期服务通常不是实时处理。测试验收应记录对象创建时间、规则中的天数、服务端第一次观察到过期的时间以及最终处理时间。不要把服务端异步延迟误判成规则完全失效,也不要把尚未到期误判成误删。

常见异常及处理方式

规则提交成功,但对象没有清理

按低风险顺序检查:

  1. 读取服务端实际配置,确认规则状态是 Enabled;
  2. 检查对象键是否真的匹配前缀;
  3. 检查对象标签的键和值是否完全一致;
  4. 确认对象年龄已经超过配置周期;
  5. 检查版本控制状态和服务端生命周期日志;
  6. 确认当前对象存储实现支持使用的字段。

前缀大小写、末尾斜杠和对象键路径都可能造成匹配失败。例如 tmp/ 不应被理解为匹配所有包含 tmp 的对象,它通常只匹配以 tmp/ 开头的键。

如果只有带标签的规则不生效,而前缀规则正常,优先检查对象标签 API 和服务端对 Filter.And 的支持,不要先扩大前缀范围。

清理范围大于预期

立即采取控制措施时,应先保存当前配置和相关审计日志,再禁用生命周期规则。禁用只影响后续生命周期处理,不能保证已经进入删除队列的操作全部撤销,也不能恢复已经物理删除的对象。

可以先生成一份禁用副本:

jq '
  .Rules |= map(.Status = "Disabled")
' lifecycle/archive-prod.json > lifecycle/archive-prod-disabled.json

确认文件中的每条规则都被禁用后,再提交:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api put-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  --lifecycle-configuration file://lifecycle/archive-prod-disabled.json

这仍然是整桶配置替换操作。不能只禁用一条规则,却误把其他规则从提交文件中漏掉。

随后检查:

  • 哪些对象键被规则匹配;
  • 是否存在空前缀或过宽的 And 条件;
  • 是否有标签被批量写错;
  • 是否有其他系统同时修改生命周期配置;
  • 删除事件来自生命周期服务,还是来自人工账号、应用账号或外部脚本。

版本控制开启后空间没有明显释放

这通常不是生命周期完全失效,而是旧版本仍然存在。应查看非当前版本数量和大小,并确认配置中是否有 NoncurrentVersionExpiration。如果业务需要保留历史版本,应先估算其占用,再决定保留周期,不能为了释放空间直接清除全部旧版本。

未完成分片上传也会持续占用空间。若上传客户端频繁中断,建议保留1至7天的清理窗口,并同时排查客户端超时、网络中断和并发上传问题。过短的窗口可能影响仍在重试的长时间上传。

应用配置后发生权限或格式错误

如果服务返回字段不支持、规则 ID 冲突或过滤条件不合法,应保留错误响应,不要通过删除字段的方式盲目重试。先在测试桶验证最小配置,再逐步增加标签、旧版本和分片上传规则。

如果确认配置文件格式正确但请求被拒绝,检查执行账号是否具备读取和修改生命周期配置的权限。应用账号通常只需要对象读写权限,不应拥有修改整个桶生命周期的管理权限。

必要恢复与回滚路径

生命周期配置可以回滚,但对象删除不一定可以回滚。标准回滚顺序是:

必要恢复与回滚路径配图

  1. 保存当前配置、错误响应、审计日志和对象清单;
  2. 禁用或替换有风险的规则;
  3. 读取服务端配置,确认风险规则已经停止;
  4. 使用变更前备份恢复上一版配置;
  5. 检查版本、删除标记和备份副本;
  6. 在测试范围重新验证后,再决定是否恢复自动清理。

恢复旧配置的命令如下,执行前要确认备份文件确实对应正确的桶和时间点:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api put-bucket-lifecycle-configuration \
  --bucket "$BUCKET" \
  --lifecycle-configuration \
  file://lifecycle-backup/archive-prod/20250101T020000Z.json

如果桶启用了版本控制,误删对象后先列出版本:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api list-object-versions \
  --bucket "$BUCKET" \
  --prefix "important/"

恢复时应根据对象键、版本 ID 和删除标记逐一确认。可以先将指定版本下载到隔离目录,再由业务负责人确认后重新写回:

aws --endpoint-url "$S3_ENDPOINT" \
  --profile "$AWS_PROFILE" \
  s3api get-object \
  --bucket "$BUCKET" \
  --key "important/report.pdf" \
  --version-id "VERSION_ID" \
  "/var/tmp/report.pdf"

不要批量执行带 --version-id 的删除命令来“整理”版本。删除错误版本可能破坏唯一恢复点。未启用版本控制、没有对象锁且已被物理删除的对象,只能从备份、快照或其他副本恢复。

对合同、备份、审计证据等数据,可以考虑对象锁或合规保留机制。对象锁不是生命周期规则的替代品:它用于限制保留期内的删除,生命周期用于处理达到保留条件后的对象。两者同时使用时,应验证服务端对保留期、合法保留和生命周期过期动作的优先级。

上线前与日常验收清单

  • [ ] 已确认对象存储产品、服务端版本和 S3 生命周期字段兼容范围。
  • [ ] 已确认桶名、端点、访问账号和操作权限没有填错。
  • [ ] 已读取并备份上线前的生命周期配置。
  • [ ] 已确认 put-bucket-lifecycle-configuration 会覆盖整桶规则,并准备了完整配置文件。
  • [ ] 每条规则都有唯一 ID、明确状态和明确过滤范围。
  • [ ] 临时文件、导出文件、日志、备份和重要归档已经分别分类。
  • [ ] 没有使用空前缀或过宽条件覆盖整个生产桶。
  • [ ] 已确认对象标签由正确的上传流程写入,并限制了任意修改标签的权限。
  • [ ] 已分别检查版本控制、非当前版本、删除标记和未完成分片上传。
  • [ ] 已在测试桶或独立测试前缀完成保留对象、过期对象和不匹配对象验证。
  • [ ] 已设置配置文件版本管理、哈希记录和定期漂移检查。
  • [ ] 外部定时任务只负责审计和报告,没有绕过对象存储 API 直接删除文件。
  • [ ] 已配置服务审计日志,并能区分生命周期删除、人工删除和应用删除。
  • [ ] 已准备禁用规则、恢复旧配置和从版本或备份恢复对象的操作记录。
  • [ ] 已明确生命周期异步执行的时间窗口,没有把规则天数当成精确删除时间。
  • [ ] 已由业务负责人确认自动删除范围和保留周期,再执行生产启用。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5903.html

相关推荐