韩国服务器Linux磁盘配额超限,怎样定位用户、目录与文件系统限制?

发布人:A5数据发布时间:2026-11-05 10:32阅读量:81

韩国服务器出现 No space left on device、Disk quota exceeded 或服务写入变慢时,不能只看 df -h 的磁盘百分比。真正的限制可能来自文件系统容量、inode 数量、用户或组配额、XFS project quota、容器存储层,也可能是日志持续增长、已删除但仍被进程打开的文件,甚至是远程挂载的存储端已经超限。

定位时应先确认报错发生在哪个挂载点,再分别核对块容量、inode、用户配额和目录内容。repquota 或 xfs_quota 用于回答“哪个用户或配额类型超限”,du 和 find 用于回答“哪些目录和文件占用空间”,lsof +L1 用于排查“为什么 df 显示已满而 du 看起来没有那么大”。下面的终端结果均为示例,不代表已在某台韩国服务器上执行。

一、先确认“超限”属于哪一层

1. 根据错误信息建立初步分支

常见现象与下一步并不是一一对应关系,可以先按下表缩小范围:

观察到的现象优先怀疑对象下一步检查
No space left on device文件系统块容量、inode、远程挂载、容器存储层df -hT、df -ih、findmnt -T
Disk quota exceeded用户、组或项目配额达到硬限制quota、repquota、xfs_quota
磁盘还有几十 GB,但无法创建小文件inode 用尽、目录配额或用户 inode 配额df -ih、quota inode 字段
df 接近 100%,但 du 总量明显较小已删除文件仍被进程打开、隐藏挂载、快照或文件系统保留空间lsof +L1、findmnt、LVM 检查
磁盘使用率不高,但写入超时或服务响应变慢I/O 延迟、设备队列、文件系统错误、远程存储延迟iostat、vmstat、内核日志
只有某个应用账号无法写入用户配额、目录权限、应用专用目录限制quota -u、namei -l、目录级统计

其中,“磁盘空间不足”和“配额超限”是两个不同层面。一个用户可能在整个文件系统仍有空闲空间时,先达到自己的 soft limit 或 hard limit;反过来,用户配额正常,也可能因为整个文件系统没有可分配的块或 inode 而写入失败。

2. 先保存一份只读检查结果

先确定问题路径。例如,应用写入 /var/lib/appdata,日志写入 /var/log,临时文件写入 /tmp,不能只检查根目录 /。

sudo df -hT
sudo df -ih
sudo findmnt -T /var/lib/appdata
sudo findmnt -T /var/log
sudo quota -s
sudo repquota -aug

如果系统没有 quota 或 repquota,先确认工具是否存在,不要直接根据发行版名称猜安装包:

command -v quota
command -v repquota
command -v xfs_quota

建议同时记录检查时间、主机名和当前时区。韩国服务器上的业务日志可能使用 KST(UTC+9),系统、容器或第三方应用也可能使用 UTC。时间不一致会导致“日志增长发生在什么时候”的判断偏移。

hostname
date -Ins
timedatectl status 2>/dev/null || true

二、建立原因树:从网络到应用逐层判断

磁盘异常可以按四个层级组织:

  • 网络和远程存储层:NFS、SMB 或云盘挂载端已经达到容量或配额限制;网络流量突增导致上传文件、访问日志和失败重试快速增长。
  • 系统和文件系统层:块容量、inode、文件系统保留空间、快照、LVM 或设备 I/O 出现问题。
  • 服务层:systemd journal、Web 服务器访问日志、数据库归档、队列和缓存持续产生文件。
  • 应用和用户层:单个账号、租户、容器或任务目录生成大量文件,触发用户、组或项目配额。

这个原因树的作用是避免把所有 No space left on device 都归因于“磁盘买小了”。例如,inode 用尽时扩容块容量不一定有效;用户配额触顶时只增加文件系统容量也不一定能让该用户继续写入;远程挂载超限时,客户端上的 du 统计也可能不能代表存储端实际计费结果。

三、逐层排除文件系统和挂载点问题

1. 区分块容量与 inode

df -hT 查看数据块容量,df -ih 查看 inode。两者应同时检查:

sudo df -hT /var/lib/appdata
sudo df -ih /var/lib/appdata

示例结果:

Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/vdb1      ext4   200G  186G   4G   98% /var/lib/appdata

Filesystem      Inodes   IUsed   IFree IUse% Mounted on
/dev/vdb1       13107200 860000 12247200    7% /var/lib/appdata

这个示例表示块容量接近用尽,但 inode 仍然充足。若结果相反,例如 IUse% 达到 100%,而 Avail 仍有几十 GB,则重点应转向大量小文件、缓存碎片、邮件队列、会话文件或临时目录。

查看文件系统类型和挂载参数:

sudo findmnt -no TARGET,SOURCE,FSTYPE,OPTIONS -T /var/lib/appdata

常见判断方式如下:

  • ext4 通常使用传统用户、组配额配置,具体是否启用要看挂载参数和 quota 工具状态。
  • xfs 需要优先使用 xfs_quota 查看用户、组或 project quota。
  • overlay、overlay2 等容器存储层应继续追踪其宿主机目录和容器写层。
  • nfs、nfs4 或 cifs 表示容量和配额可能由远程存储端决定,客户端的本地判断不一定完整。

如果挂载点显示为只读,或者内核日志出现文件系统错误,不能继续通过反复重试写入来验证:

sudo dmesg --level=err,warn | tail -n 100
sudo journalctl -k -p warning..alert --since "-2 hours"

出现 EXT4-fs error、XFS ... metadata corruption、Remounting filesystem read-only 等信息时,应先备份重要数据并保留现场,联系有控制台或救援环境权限的运维人员。不要在仍然挂载并持续写入的文件系统上直接运行 fsck;离线修复通常需要停止相关服务、卸载文件系统或进入救援系统,影响范围和回滚方案必须提前确认。

2. 检查 LVM、快照和底层设备

如果路径位于 LVM 逻辑卷,文件系统内部有空闲空间,不代表卷组或快照一定健康:

sudo lsblk -f
sudo lvs -a -o vg_name,lv_name,lv_size,attr,data_percent,metadata_percent,origin
sudo vgs
sudo pvs

快照 data_percent 或 metadata_percent 持续接近上限,可能影响快照可用性和写入性能。不要因为名称中包含 snapshot 就直接删除逻辑卷;删除快照可能影响备份、恢复或数据库一致性。应先确认快照的创建者、用途、保留策略以及删除后的回滚方式。

四、定位是哪个用户或配额类型超限

1. 先看配额是否启用

查看挂载参数和系统配置:

sudo findmnt -no TARGET,FSTYPE,OPTIONS -T /var/lib/appdata
sudo grep -R -E 'quota|usrquota|grpquota|uquota|gquota|prjquota|pquota' \
  /etc/fstab /etc/default 2>/dev/null

不同文件系统和发行版的参数名称可能不同,不能仅凭 /etc/fstab 中没有 usrquota 就认定配额未启用,也不能在生产环境直接执行 quotacheck 或 quotaon。这些操作可能需要扫描整个文件系统,并在高负载、大量文件或数据库目录上造成额外 I/O。

对于传统 quota 工具,可以查看全部用户和组的概况:

sudo repquota -aug

查看某个用户:

sudo quota -u alice -s

示例输出:

Disk quotas for user alice:
Filesystem  blocks   quota   limit   grace   files   quota   limit   grace
/dev/vdb1   9.8G     10G     10.5G            185000   200000  210000

这里需要分别看两组字段:

  • blocks 反映已占用的数据块,可能先触发容量限制。
  • files 反映文件和目录数量,可能先触发 inode 或文件数限制。
  • quota 通常对应 soft limit,超过后可能进入 grace period。
  • limit 通常对应 hard limit,达到后新写入会被拒绝。
  • grace 表示 soft limit 超出后的宽限时间,不应当当作可长期使用的空间。

repquota 中如果只看到用户块数正常,但应用仍报配额错误,还要检查组配额、project quota 和实际写入的挂载点。

2. XFS 需要单独查看

确认文件系统为 XFS 后,可先检查 quota 状态:

sudo xfs_quota -x -c 'state' /var/lib/appdata
sudo xfs_quota -x -c 'report -h' /var/lib/appdata
sudo xfs_quota -x -c 'report -h -u' /var/lib/appdata

如果应用使用目录级 project quota,还需要确认项目配置和项目 ID。XFS project quota 的限制可能作用于一个目录树,而不是某个 Linux 用户,因此“找不到超限用户”并不代表不存在配额限制。

四、定位是哪个用户或配额类型超限/XFS 需要单独查看配图

3. 将用户映射到目录和文件

配额命令能指出用户,但不能直接告诉你哪些目录造成了使用量。先从实际挂载点的一级目录开始:

sudo du -xhd1 /var/lib/appdata 2>/dev/null | sort -h

-x 表示不跨越其他文件系统,避免把 /var/lib/appdata 下的另一个挂载点混入统计。发现大目录后,再逐级缩小范围:

sudo du -xhd1 /var/lib/appdata/uploads 2>/dev/null | sort -h
sudo du -xhd1 /var/lib/appdata/cache 2>/dev/null | sort -h

检查单个文件时,可先列出较大的普通文件:

sudo find /var/lib/appdata -xdev -type f \
  -printf '%s\t%u:%g\t%p\n' 2>/dev/null |
  sort -nr | head -n 30

输出中的第一个字段是文件逻辑大小,适合发现大文件,但不一定等于文件系统实际分配的块数。稀疏文件、压缩文件、预分配文件和硬链接都可能导致 find、du 与 quota 的数字存在差异,因此配额的精确结果仍以对应文件系统的 quota 统计为准。

4. 单独检查 inode 和小文件目录

GNU du 支持 --inodes 时,可以查看目录树中 inode 数量:

sudo du -x --inodes -d 1 /var/lib/appdata 2>/dev/null | sort -n

如果该参数不可用,可使用 find 做近似计数:

sudo find /var/lib/appdata -xdev -type f 2>/dev/null | wc -l
sudo find /var/lib/appdata -xdev -type d 2>/dev/null | wc -l

下列目录经常造成 inode 快速消耗:

  • 每个请求生成一个临时文件的上传目录;
  • 没有清理策略的 PHP、Python、Java 或 Node.js 会话目录;
  • 邮件队列、任务队列和失败重试目录;
  • 按分钟或按请求切割的日志;
  • 容器写层和构建缓存;
  • 应用生成的缩略图、分片文件和锁文件。

如果一个目录只占用几 GB,却包含数百万个小文件,删除或压缩少量大文件不会解决 inode 问题,必须定位小文件的生命周期和清理策略。

五、排查 df 与 du 不一致

1. 已删除但仍被进程打开的文件

这是 Linux 磁盘满而目录统计偏小的常见原因。文件名已经从目录中删除,但进程仍持有文件描述符,空间要等进程关闭该描述符后才会释放:

sudo lsof -nP +L1

示例:

COMMAND   PID  USER  FD   TYPE DEVICE  SIZE/OFF NLINK  NAME
java    18420  app   42w   REG  252,1  8589934592     0  /var/log/app.log (deleted)

这个结果表示 Java 进程仍然打开一个约 8 GiB 的已删除日志。正确处理方式通常是确认日志轮转机制后,对对应服务执行受控 reload 或 restart,而不是直接终止任意进程。

sudo systemctl status app.service
sudo systemctl reload app.service

只有在确认该服务支持 reload 且 reload 会关闭旧文件描述符时才适合使用;若不支持,应在维护窗口内重启。重启可能造成连接中断、任务重放或缓存丢失,操作前应备份配置、确认服务依赖,并准备原命令或控制台启动方式作为回滚手段。

重启或 reload 后再次确认:

sudo lsof -nP +L1
sudo df -hT /var/log

2. 隐藏挂载点和其他文件系统

如果某个目录曾经被写入大量文件,之后又在该目录上挂载了新文件系统,挂载点下面的旧数据仍然占用原文件系统,但普通 du 可能只看到当前挂载内容。使用以下命令对比挂载关系:

五、排查 df 与 du 不一致/隐藏挂载点和其他文件系统配图

sudo findmnt -R /var
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo df -hT

不要直接卸载生产挂载点来“验证”是否有隐藏数据。卸载可能导致应用读写失败,且容器、数据库或日志服务可能持有该路径。应先梳理依赖,必要时在维护窗口或救援环境中处理。

六、从服务和应用日志判断增长来源

1. 检查 systemd journal 和传统日志

先做只读统计:

sudo journalctl --disk-usage
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo find /var/log -xdev -type f \
  -printf '%s\t%TY-%Tm-%Td %TH:%TM\t%p\n' 2>/dev/null |
  sort -nr | head -n 30

如果某个日志在短时间内快速增长,再按服务和时间窗口核对:

sudo journalctl -u nginx --since "2 hours ago" --no-pager
sudo journalctl -u app.service --since "2 hours ago" --no-pager
sudo systemctl status logrotate.timer 2>/dev/null

在韩国服务器上,访问高峰时间、系统时间和日志时间必须统一。若应用按 UTC 记录,而运维人员按 KST 解读,可能误判日志轮转是否按时执行。

不要为了快速腾出空间而直接删除当前正在写入的日志。更稳妥的顺序是:

  1. 先保留异常时间段的日志副本或摘要,避免丢失故障证据。
  2. 确认 logrotate、journal retention 和应用日志级别配置。
  3. 必要时先让服务完成轮转,再压缩或归档旧日志。
  4. 确认归档位置有足够空间,并验证应用仍能写入新日志。

journalctl --vacuum-time 或 --vacuum-size 会删除旧的归档 journal,执行前应确认日志保留要求、备份策略和审计影响。删除后通常不能通过系统自身回滚,只能从外部备份恢复。

2. 检查应用临时目录、队列和容器写层

应用目录的增长原因通常比单纯“文件太大”更重要。应把目录大小与业务事件对应起来:

  • 上传目录是否与某一批导入任务同时增长;
  • 缩略图、转码文件是否在任务失败后没有清理;
  • 队列是否因为下游服务不可用而不断重试;
  • 数据库归档或备份是否写入了本地磁盘;
  • 容器是否把大量临时数据写入宿主机 overlay 层;
  • 是否存在用户目录和服务账号目录混用。

如果使用容器,可以先读取存储占用信息:

sudo docker system df

该命令是否可用取决于部署方式和权限。不要直接执行 docker system prune、删除容器层或清空卷;这些操作可能删除仍被业务使用的镜像、卷和未提交数据。任何清理都要先确认容器、卷、宿主机目录之间的映射关系,并准备从镜像或备份重新部署的方案。

七、别把远程存储和 I/O 延迟误判为本地配额

1. NFS、SMB 和远程挂载

如果 findmnt 显示目标路径是 nfs、nfs4 或 cifs,容量、inode 和配额可能由远程服务器决定:

sudo findmnt -T /mnt/shared
sudo df -hT /mnt/shared
sudo df -ih /mnt/shared
sudo nfsstat -m 2>/dev/null

此时应区分两类问题:

  • 客户端挂载本身异常,例如网络中断、超时或权限变化;
  • 远程文件服务器的用户、组、项目或导出目录达到限制。

客户端看到的 df 只能说明远程服务返回的当前状态,不能替代远程存储端的 quota 报告。若错误信息只发生在共享目录,需让远程存储管理员检查服务端配额和文件系统状态。

网络流量本身不会直接消耗 inode,但上传失败重试、异常请求、爬虫访问和大文件传输可能造成日志、临时文件或队列快速增长。可以把访问日志中的时间、请求路径、响应状态与目录增长曲线对照,而不是把“网络异常”直接当作磁盘根因。

2. I/O 延迟和文件系统错误

当容量和配额都没有触顶,但服务仍出现写入超时,应检查设备延迟和队列:

sudo iostat -xz 1 5
sudo vmstat 1 5
sudo pidstat -d 1 5 2>/dev/null

判断时重点关注:

  • await 是否在多个采样周期持续升高;
  • %util 是否长期接近设备饱和;
  • vmstat 中是否出现明显 I/O 等待;
  • 哪个进程的写入速率与异常时间一致;
  • 内核日志是否出现 I/O error、设备重置或文件系统错误。

“几十毫秒”可以作为排查提醒的示例量级,但不能作为所有 SSD、云盘、网络盘的统一阈值。设备类型、队列深度、业务写入模式和云平台存储等级都会影响正常延迟。应以该服务器平稳时的基线作为比较对象。

八、用证据组合定位根因

单个命令的结果不够时,可以使用多项证据交叉判断:

组合结果更接近的根因处理方向
df -h 接近 100%,df -i 正常,某目录 du 占用明显偏大大文件、日志、上传或备份增长按目录和文件所有者追踪来源,调整留存和归档
df -i 接近 100%,块容量仍有余量大量小文件查找生成者、队列、会话和缓存,设计清理或合并策略
repquota 显示某用户 blocks 或 files 达到 limit,文件系统仍有余量用户配额超限核对该用户目录和业务需求,调整配额或控制增长
XFS 全局容量正常,但 project quota 超限目录级 project quota查看项目配置和对应目录,不要只查用户 quota
df 很高,du 低,lsof +L1 有大文件已删除文件仍被进程打开受控 reload 或 restart,验证空间释放
du 低且 quota 正常,但设备 await、队列和内核日志异常I/O 或底层存储问题检查云盘、物理盘、快照、网络存储和文件系统状态
仅共享目录报错,客户端本地磁盘正常远程文件系统或服务端配额转到远程存储端核对配额和容量
/var/log 或 journal 短时间急增,同时访问错误或重试增加服务配置、异常请求或应用错误循环先止住增长源,再处理日志和业务故障

例如,某用户配额报告显示 files 达到硬限制,df -h 仍有充足空间,随后 du --inodes 显示 /srv/app/sessions 包含数百万个小文件,那么根因应归到“用户 inode 配额加上会话文件未清理”,而不是“韩国服务器磁盘容量不足”。这种判断可以直接指导修复范围。

九、恢复时按低风险到高风险执行

1. 先保留证据并停止继续增长

在清理前记录以下信息:

sudo df -hT
sudo df -ih
sudo repquota -aug
sudo du -xhd1 /var/lib/appdata 2>/dev/null | sort -h
sudo lsof -nP +L1

然后优先处理仍在增长的源头,例如暂停异常任务、降低过高的日志级别、修正失败重试、限制上传临时目录或让日志轮转恢复。停止服务会影响连接和任务处理,执行前要确认影响范围,并准备 systemctl start、配置回退或从备份恢复。

2. 清理和归档要有边界

可清理的数据通常包括已经过期的缓存、已完成任务的临时文件和符合保留策略的旧日志,但必须先确认:

  • 文件是否仍被服务使用;
  • 是否属于审计、计费或合规留存范围;
  • 是否已经备份或归档;
  • 删除后能否从备份恢复;
  • 是否需要先停止服务或关闭任务调度。

不要使用未经筛选的 rm -rf、find ... -delete 或容器全局清理命令。删除操作具有不可逆性,可能误删当前租户数据、数据库文件或正在处理的任务。

3. 扩容或提高配额不是同一个动作

  • 文件系统容量不足:可能需要扩展云盘、逻辑卷和文件系统。
  • 用户配额不足:需要调整用户或组 quota。
  • project quota 不足:需要调整对应项目限制。
  • inode 不足:扩容底层文件系统未必立即解决,取决于文件系统和扩容方式。
  • 远程挂载不足:应在远程存储端扩容或调整配额。

修改配额、扩容卷和调整挂载配置前,应确认备份可用、维护窗口、业务影响和回滚方式。特别是文件系统扩容通常容易回滚困难,不能只根据一次 df 结果操作。

十、恢复验证不能只看使用率

处理完成后,应验证“限制解除、增长停止、业务恢复”三个结果:

sudo df -hT /var/lib/appdata
sudo df -ih /var/lib/appdata
sudo quota -u alice -s
sudo lsof -nP +L1
sudo systemctl is-active app.service

还要回到原始故障路径进行验证:

  • 超限用户是否可以在目标目录创建业务所需文件;
  • 应用是否能写入日志、缓存、队列和上传目录;
  • 数据库或任务服务是否恢复消费;
  • 远程挂载是否仍有超时或断连;
  • I/O 延迟是否回到平稳基线;
  • quota 的 grace 是否还在倒计时;
  • 处理后是否继续出现新的大文件或小文件峰值。

如果目标目录已经接近 hard limit,不建议用大文件做写入测试。可以先检查服务健康状态和配额余量,避免为了验证而再次消耗有限空间。

十一、为韩国服务器设置复发监控点

至少同时监控文件系统和配额,不要只监控一个指标:

  1. 每个挂载点的块使用率:根盘、数据盘、日志盘、容器盘分别统计。
  2. 每个挂载点的 inode 使用率:尤其关注应用临时目录和会话目录。
  3. 用户、组和 project quota:记录当前值、soft limit、hard limit 和 grace 状态。
  4. 目录增长速度:记录 /var/log、上传目录、队列、备份目录和容器存储目录的变化。
  5. 已删除打开文件数量:发现日志轮转异常和空间迟迟不释放。
  6. I/O 延迟与设备队列:按设备类型建立自己的正常基线。
  7. 远程挂载状态:监控 NFS/SMB 的可用性、超时和服务端配额。
  8. 日志轮转结果:检查轮转是否成功、压缩是否完成、旧文件是否符合保留周期。

告警阈值可以先采用分级策略,例如块容量或 inode 达到 70% 进入观察、80% 触发预警、90% 进入处理;对高增长业务还应增加“单位时间增长量”告警。用户 quota 接近 soft limit 时就应通知,而不是等到 hard limit 拒绝写入。具体阈值应结合业务写入峰值、备份周期和扩容所需时间调整。

容量规划也应使用增长速度而不是当前剩余量单独判断。若某挂载点可用空间为 40 GB,近 24 小时增长 5 GB,则理论余量约为 8 天;如果增长来自异常日志或重试循环,这个估算还可能迅速失效。将 KST、UTC 和容器时间统一后,再把容量、inode、quota、日志和 I/O 指标放到同一时间轴上,通常比单独执行一次 df -h 更容易定位复发原因。

围绕韩国服务器上的 Linux 业务部署,A5idc数据提供首尔地区的物理服务器方案,涵盖不同 CPU、存储配置及优化或国际线路选择,可用于承载网站、业务后台、数据库和持续写入日志的应用。多地区服务器资源也覆盖香港、日本、新加坡等地,便于企业按业务部署区域与数据存储需求规划基础设施。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7653.html

相关推荐