Linux服务器使用XFS文件系统,容量异常应检查哪些指标?

发布人:A5数据发布时间:2026-10-20 14:30阅读量:125

当Linux服务器上的XFS挂载点突然显示容量接近100%,应用出现No space left on device,或者df与du统计结果相差很大时,不能只盯着磁盘总容量。实际问题可能来自文件系统块空间、inode、用户或项目配额、被删除但仍被进程打开的文件、日志持续增长、LVM薄池耗尽,也可能是I/O延迟和XFS元数据异常。

运维排查时建议按“挂载与块设备 → 文件系统容量 → 目录和文件 → inode与配额 → 日志 → I/O与XFS状态”的顺序进行。先使用低风险的只读命令固定现场,再根据结果选择清理、扩容、配额调整或离线修复,避免一上来删除文件或执行xfs_repair造成二次影响。

先确认现象并保留现场配图

针对Linux服务器中的数据库、业务文件、日志与备份等数据场景,A5数据提供香港、美国、日本、新加坡等地区的物理服务器资源,覆盖NVMe、SSD及大容量企业级机械硬盘方案,并配备不同档位的内存、CPU和网络线路。多样化的存储与计算配置可为XFS文件系统承载持续增长的数据、日志归档和多任务业务提供硬件基础。

先确认现象并保留现场

记录挂载点、设备和容量

以下命令适用于常见的Linux发行版,主要用于读取状态,不会修改文件系统。/data需要替换为实际的XFS挂载点。

记录挂载点、设备和容量配图

date -Is
hostname 2>/dev/null || true

df -hT /data
df -B1 -T /data
df -ih /data

findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,FSTYPE,SIZE,FSAVAIL,FSUSE%,MOUNTPOINTS

这些输出分别用于确认:

  • df -hT:以易读单位查看文件系统已用、可用空间和类型。
  • df -B1 -T:以字节为单位记录准确数值,便于后续计算增长速度。
  • df -ih:查看inode使用率。大量小文件可能导致块空间尚未耗尽,但创建新文件已经失败。
  • findmnt:确认/data实际对应的设备、挂载参数和文件系统类型,避免把检查对象弄错。
  • lsblk:确认块设备、分区、LVM逻辑卷与挂载点之间的关系。

如果服务器使用LVM,还应读取卷组和逻辑卷状态:

sudo pvs
sudo vgs
sudo lvs -a -o vg_name,lv_name,lv_attr,lv_size,data_percent,metadata_percent

data_percent和metadata_percent主要用于检查LVM thin pool。即使XFS内部仍显示有可用空间,薄池数据区或元数据区耗尽,也可能导致写入失败。非LVM环境执行这些命令可能提示没有相关设备,这不代表XFS异常。

不要先重启、删除或修复

容量异常时,先保留以下信息:

  • 异常开始时间和增长速度;
  • 受影响的挂载点、应用和服务;
  • df、df -i、lsblk、lvs的当前结果;
  • 内核日志和应用报错;
  • 是否刚进行过扩容、迁移、日志切割、备份或快照操作。

不要直接执行以下高风险操作:

  • 对不明目录批量执行rm;
  • 对仍被服务写入的日志文件直接删除;
  • 未确认设备就执行xfs_repair;
  • 未确认底层容量就执行xfs_growfs;
  • 为解决空间问题随意停止数据库、消息队列或核心业务服务。

第一层:判断是设备容量、文件系统容量还是业务配额

区分磁盘、逻辑卷和XFS容量

lsblk显示的是块设备、分区或逻辑卷的容量,df显示的是已经被XFS识别并可供挂载点使用的容量,两者不一定相等。

第一层:判断是设备容量、文件系统容量还是业务配额配图

常见情况包括:

  1. 云盘或物理磁盘已经扩容,但分区或LVM逻辑卷尚未扩展;
  2. 逻辑卷已经扩大,但XFS尚未使用新增空间;
  3. LVM卷组有空闲空间,但当前逻辑卷没有扩容;
  4. XFS所在设备容量正常,但LVM thin pool已经接近耗尽;
  5. 存储阵列或云平台快照占用后端空间,主机内部的df无法直接反映。

如果发现底层设备比XFS文件系统大,应先逐层确认:

findmnt -T /data -o SOURCE,FSTYPE,TARGET
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
sudo lvs -o lv_name,lv_size,lv_path,lv_attr 2>/dev/null

不要看到设备变大就立即执行扩容命令。需要先确认:

  • 当前挂载点确实对应目标设备;
  • 分区、PV、VG、LV的扩展顺序已经完成;
  • 已经有可恢复的备份或快照;
  • 业务允许在线扩容;
  • 目标容量没有填错。

XFS支持在线扩容,但不支持原地缩容。也就是说,扩容前必须确认目标设备大小,错误扩容没有简单的“缩回去”操作,通常只能备份数据、重新创建较小文件系统后恢复。

对比df和du

先查看文件系统整体统计,再查看挂载点下的目录统计:

sudo df -B1 -T /data
sudo du -xsh /data
sudo du -xhd1 /data 2>/dev/null | sort -h

du -x表示不跨越其他文件系统。这个参数很重要,因为/data/backup可能又挂载了一个独立设备,如果不使用-x,目录统计可能混入其他文件系统的数据。

还可以对比文件的逻辑大小与实际占用:

sudo du -xsh /data
sudo du -xsh --apparent-size /data

两者差异较大时,可能存在稀疏文件、共享数据块、硬链接或文件系统实际分配块与逻辑文件大小不一致的情况。对于容量排查,应优先关注不带--apparent-size的结果,因为它更接近实际占用的磁盘块。

判断结果可以按以下方式分支:

现象常见原因下一步
df已用空间高,du也接近真实数据增长定位大目录、大文件和业务保留策略
df很高,du明显偏低删除但仍打开的文件、隐藏挂载点、权限无法读取、配额或底层存储问题检查lsof、挂载树、配额和LVM
df显示可用,但应用报空间不足inode、用户配额、项目配额、thin pool或应用专属目录限制检查df -i、xfs_quota和应用错误码
lsblk容量大于df分层扩容尚未完成或XFS尚未扩展逐层检查分区、LVM和XFS
df变化不大,但I/O延迟升高存储性能、队列、日志写入或文件系统元数据问题检查iostat和内核日志

检查删除但仍被进程打开的文件

Linux中,文件被进程打开后,即使目录项已经删除,文件占用的空间也不会立即释放,直到持有文件描述符的进程关闭它。

sudo lsof -nP +L1

如果只关注目标挂载点,可以筛选路径:

sudo lsof -nP +L1 2>/dev/null | grep '/data'

重点查看:

  • SIZE/OFF:被占用的文件大小;
  • PID和COMMAND:持有文件的进程;
  • NAME末尾是否带有(deleted);
  • 文件是否位于日志、临时文件或应用工作目录。

例如,某个日志文件显示为app.log (deleted),但进程仍然持有数十GB的文件描述符,这就能解释为什么du统计不到,而df仍然很高。

处理时不要直接杀进程。应先确认服务是否支持重新打开日志:

  1. 查看服务文档或现有日志切割配置;
  2. 优先使用服务支持的reload或日志重开机制;
  3. 如果只能重启,先确认业务影响、连接处理和回滚方式;
  4. 重启或重载后再次执行lsof -nP +L1和df确认空间是否释放。

如果服务重启失败,回滚方式是恢复原配置、重新启动原服务单元,并保留进程和日志信息供进一步分析。被删除文件本身通常没有简单的文件系统级回滚手段,因此应避免未经确认的删除操作。

检查隐藏挂载点和目录访问权限

挂载点下如果存在嵌套挂载,原目录中的文件会被挂载内容遮住。此时不同命令的统计范围可能不同。

findmnt -R /data
mountpoint /data
sudo du -xhd1 /data 2>/dev/null | sort -h

如果某些目录无法读取,du可能因为权限不足而少统计数据。建议使用具备读取权限的运维账号或sudo重新执行,并记录是否出现Permission denied。

第二层:检查inode、配额和小文件数量

查看inode使用情况

sudo df -ih /data
sudo du -x --inodes -d 2 /data 2>/dev/null | sort -n | tail -20

df -i用于查看文件系统层面的inode使用情况,du --inodes则用于寻找inode数量集中的目录。不同发行版的du版本可能不支持--inodes,可以先用以下命令确认:

du --help | grep -i inode

如果不支持,可以使用目录计数方式,但在百万级文件目录上会产生明显I/O负载,建议避开业务高峰:

sudo find /data -xdev -type f -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -nr | head -20

XFS采用动态inode分配机制,不像某些文件系统那样在创建文件系统时固定一个简单的inode总量。因此,df -i的结果不能机械地套用ext4的判断方式。不过,当inode使用率异常升高、目录中存在大量小文件或创建新文件失败时,仍应重点检查:

  • 缓存目录是否长期不清理;
  • 临时文件是否由异常进程持续生成;
  • 每个请求是否产生独立日志或状态文件;
  • 邮件队列、任务队列、会话目录是否积压;
  • 应用是否出现文件创建失败后反复重试。

如果业务仍需要这些文件,不能简单删除。应先确认保留周期、备份要求和恢复方式,再通过应用配置、归档策略或目录拆分降低增长速度。

检查XFS用户配额和项目配额

XFS可以按用户、组或项目目录设置配额。此时整个文件系统可能还有空间,但某个用户或项目已经达到限制。

sudo xfs_quota -x -c 'state' /data
sudo xfs_quota -x -c 'report -h' /data

如果系统启用了项目配额,还应确认项目配置和目录映射。常见挂载参数可能包含uquota、gquota或pquota,可以通过以下命令查看:

findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS

配额排查要区分三个层面:

  • 文件系统总空间是否耗尽;
  • 当前用户或组是否达到限制;
  • 某个项目目录是否达到项目配额。

调整配额属于配置变更,不应为了临时恢复写入而直接提高上限。操作前需要保存当前配额、确认业务负责人批准,并明确恢复原限制的方式。验证时应同时检查配额报告、应用写入测试和文件系统剩余空间。

第三层:定位日志和业务数据增长

统计日志目录

如果容量异常集中在/var或业务日志目录,先查看一级目录和大文件:

sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h

sudo find /var/log -xdev -type f -printf '%s %p\n' 2>/dev/null \
  | sort -nr | head -20

如果系统使用systemd-journald,可以查看日志数据库占用:

sudo journalctl --disk-usage

再确认日志是否持续增长:

sudo stat -c '%s %y %n' /var/log/* 2>/dev/null | sort -nr | head

journalctl --disk-usage只能说明当前日志占用,不能单独判断增长原因。还应检查:

  • 是否有服务在高频输出错误日志;
  • logrotate是否按预期执行;
  • 日志压缩任务是否失败;
  • journald是否设置了合理的保留时间或容量上限;
  • 应用是否将临时调试日志写入持久目录。

查看logrotate配置时可使用调试模式,避免实际切割:

sudo logrotate -d /etc/logrotate.conf

不要直接对活跃日志执行rm。这样做可能释放目录项,却让进程继续向已删除文件写入,空间不会马上回收,还可能丢失审计记录。更稳妥的处理顺序是:

  1. 确认日志保留和合规要求;
  2. 让应用执行日志重开,或在维护窗口内平滑重启;
  3. 将确认可删除的旧日志归档到已验证的存储;
  4. 删除前核对路径、日期和文件大小;
  5. 删除后检查df、lsof +L1和应用日志。

journalctl --vacuum-size或--vacuum-time会实际删除旧日志,属于不可直接撤销的操作。执行前应确认备份、保留周期和审批,不能把它当作无条件的紧急修复命令。

通过增长速率估算可用时间

如果两次采样都使用df -B1,可以直接用字节计算增长速度。

第三层:定位日志和业务数据增长配图

例如,某挂载点可用空间从120,000,000,000字节下降到114,000,000,000字节,间隔24小时,则日增长量约为:

120,000,000,000 - 114,000,000,000
= 6,000,000,000字节/天

如果当前剩余空间为120,000,000,000字节,且增长速度保持不变,估算可用时间为:

120,000,000,000 ÷ 6,000,000,000
= 20天

这里使用的是十进制字节口径。若使用GiB,应在两次采样中保持相同单位,不能把GB、GiB与Gb、Gbps混合计算。实际生产中还要考虑业务峰值、日志突发和备份任务,估算结果应作为告警提前量,而不是承诺的可用期限。

第四层:检查I/O延迟和XFS状态

查看设备队列和延迟

安装了sysstat的Linux系统可以使用:

sudo iostat -xz 1 5

重点关注:

  • await:I/O平均等待时间,通常以毫秒表示;
  • aqu-sz:平均请求队列长度;
  • r/s、w/s:读写请求速率;
  • rkB/s、wkB/s:读写吞吐;
  • %util:设备忙碌程度。

%util不能单独作为SSD或多队列设备的“满载”结论,应结合await、队列长度和业务基线判断。若await明显升高、队列持续堆积,同时日志或应用出现写入超时,容量清理操作可能进一步增加I/O压力,应先控制写入源或扩展存储能力。

查看哪个进程产生大量读写:

sudo pidstat -d 1 5

如果系统没有pidstat,可以先确认软件包是否安装,不要随意从不明来源安装工具。

检查内核和XFS错误

sudo journalctl -k --since "2 hours ago" \
  | grep -Ei 'xfs|I/O error|blk_update_request|buffer error|nvme|scsi|reset'

也可以查看当前启动周期的内核日志:

sudo dmesg -T | grep -Ei 'xfs|I/O error|blk_update_request|buffer error|nvme|scsi|reset'

典型异常信号包括:

  • XFS日志无法提交;
  • 文件系统报告元数据错误;
  • 块设备出现I/O error;
  • NVMe、SCSI或云盘路径反复重置;
  • 设备超时后恢复;
  • 文件系统被迫进入只读状态。

如果只看到I/O延迟升高,但没有XFS错误,问题更可能位于存储性能、后端限速、队列拥塞或突发写入。如果同时出现XFS错误,不能通过删除日志来掩盖问题,应优先备份重要数据、限制写入,并联系存储或云平台侧确认设备状态。

查看XFS文件系统几何信息

sudo xfs_info /data

可以关注:

  • data blocks:数据区规模;
  • agcount:分配组数量;
  • sectsz:扇区大小;
  • bsize:文件系统块大小;
  • reflink、crc等特性。

xfs_info用于确认文件系统结构和特性,不是完整的健康检查。它不能替代备份,也不能证明底层存储没有坏块。

如果怀疑存在文件系统元数据问题,xfs_repair必须在卸载状态下执行。可以先确认是否有进程占用挂载点:

sudo fuser -vm /data

在维护窗口、备份或快照已确认有效,并且已经卸载文件系统后,才考虑使用不修改数据的检查模式:

sudo umount /data
sudo xfs_repair -n /dev/mapper/vg_data-lv_data

/dev/mapper/vg_data-lv_data只是示例,必须以findmnt和lsblk确认的实际设备为准。-n用于检查而不执行修复;如果检查报告问题,不要立即对生产设备执行普通的xfs_repair。正式修复可能修改元数据,通常没有原地回滚操作,应在备份、救援环境和恢复方案明确后进行。

如果卸载失败,不要直接使用强制卸载或批量终止进程。先根据fuser -vm /data列出的进程判断是否为数据库、容器、备份程序或系统服务,再按业务流程停止。根文件系统的检查通常需要进入救援系统或维护环境。

按结果选择处理方向

df和du都高:处理真实数据增长

这类情况说明空间主要确实被目录中的文件占用。应继续定位大目录和大文件,并确认它们属于哪项业务。

处理方式通常包括:

  • 删除已经超过保留周期的临时数据;
  • 将历史数据归档到容量和恢复能力已确认的存储;
  • 调整日志切割和压缩策略;
  • 修复异常重试导致的文件持续生成;
  • 扩大文件系统或重新规划数据目录。

删除前要核对文件路径、时间、所有者和业务用途。对数据库文件、队列文件、索引文件、备份文件不能按“体积大”直接处理。

df高但du明显低:优先查删除文件和挂载树

首先检查lsof -nP +L1,再检查findmnt -R和目录读取权限。如果发现删除但仍打开的文件,应让对应服务关闭文件描述符,而不是反复执行删除命令。

如果没有删除文件,再检查用户配额、项目配额、thin pool和存储快照。不同层级的容量可能分别由主机文件系统、LVM、云平台或阵列管理,不能只根据XFS的df结果下结论。

df -i或inode数量异常:减少小文件和目录压力

此时重点不是寻找最大的单个文件,而是寻找文件数量最多的目录和生成源。可以通过应用配置减少碎片化文件,设置合理的临时文件清理周期,或将高频小文件写入适合的存储系统。

不要通过扩大块设备来解决inode或小文件管理问题。扩容可以增加块空间,但不一定解决应用持续产生海量小文件的问题。

底层设备已扩容但XFS未使用:先确认分层,再扩展XFS

XFS在线扩容的前提是底层块设备、分区或逻辑卷已经完成扩展。确认无误、备份有效后,可执行:

sudo xfs_info /data
sudo xfs_growfs /data
sudo df -hT /data
sudo df -B1 -T /data

如果底层设备没有变大,xfs_growfs不会凭空增加容量,可能直接报错或维持原大小。XFS不能原地缩容,因此扩容前必须再次确认挂载点和目标设备,错误扩容后的回滚通常需要新建文件系统并从备份恢复。

I/O延迟高或出现XFS错误:先保护数据

当iostat显示等待时间和队列持续升高,且内核日志出现设备错误或XFS错误时,不应继续进行大规模扫描、压缩和删除。建议:

  1. 限制非必要写入和批量任务;
  2. 保证重要数据有可用备份;
  3. 检查云盘、阵列、NVMe或SCSI路径状态;
  4. 在维护环境执行只读检查;
  5. 根据检查结果决定迁移、恢复或正式修复。

如果是存储设备故障,文件系统修复不能替代更换或恢复底层设备。修复前应保存日志、设备映射和错误时间点,便于定位故障范围。

修复后的验证与持续观察

修复、扩容、日志处理或服务重启后,至少重新执行以下检查:

sudo df -hT /data
sudo df -B1 -T /data
sudo df -ih /data
sudo du -xsh /data
sudo findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
sudo lsof -nP +L1 2>/dev/null | grep '/data' || true

如果此前涉及LVM thin pool或配额,还要重新检查:

sudo lvs -a -o vg_name,lv_name,lv_attr,lv_size,data_percent,metadata_percent
sudo xfs_quota -x -c 'report -h' /data

验证内容不应只看df百分比,还应确认:

  • 应用可以创建、写入和关闭测试文件;
  • 应用日志不再出现ENOSPC、I/O timeout或XFS错误;
  • 被删除但仍打开的文件已经消失;
  • 日志增长速度恢复到业务基线;
  • I/O等待时间和队列长度回落;
  • 扩容后XFS、LVM和挂载点的容量一致;
  • 文件系统没有被意外改成只读。

持续观察应覆盖至少一个业务高峰周期。容量告警可以同时设置空间使用率、可用字节数、inode使用率和增长速度;I/O告警则应结合业务基线关注await、队列长度和应用写入延迟。对于增长稳定的目录,按两次或多次df -B1采样结果计算每日增长量,比只设置一个固定百分比更容易提前发现日志失控、临时文件积压和备份异常。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4821.html

相关推荐