存储服务器Ceph OSD显示down,如何从进程、磁盘和集群状态定位?

发布人:A5数据发布时间:2026-10-30 11:57阅读量:87

Ceph 中的 OSD 显示 down,首先说明监视器在规定时间内没有收到该 OSD 的有效心跳,但这并不等同于“磁盘已经损坏”或“OSD 进程一定没有运行”。进程崩溃、数据盘未挂载、BlueStore 设备不可读、端口无法通信、权限或密钥错误,都可能最终表现为同一个 down 状态。

排查时应同时观察三类信息:集群认为 OSD 处于什么状态,主机上是否存在对应进程和监听端口,以及 OSD 使用的磁盘、LVM、目录和配置是否正常。建议先保留状态和日志,再决定是否重启、激活或替换 OSD,避免在根因未明确时执行删除、重建或格式化操作。

先确认 down 的范围和含义

在能够访问 Ceph 管理接口的节点上,先执行只读检查:

ceph -s
ceph health detail
ceph osd stat
ceph osd tree
ceph pg stat

如果管理节点未安装 Ceph 客户端,需要通过部署方式对应的环境执行,例如使用 cephadm shell -- ceph -s。不要因为宿主机上没有 ceph 命令,就直接判断集群不可用。

重点记录以下内容:

  • 是单个 OSD down,还是同一台主机上的多个 OSD 同时 down;
  • OSD 是否同时显示为 out;
  • 是否出现 degraded、undersized、peering、incomplete 或 stale PG;
  • MON 是否保持 quorum;
  • 故障发生前是否有重启、内核升级、磁盘更换、网络调整或配置变更。

up/down 和 in/out 代表不同含义。up 表示监视器认为 OSD 守护进程正在工作,down 表示没有收到有效心跳;in/out 则表示该 OSD 是否仍参与数据放置。一个 OSD 可能已经 down,但暂时仍显示 in;也可能因故障时间较长或自动故障处理而变成 out。

观察结果优先怀疑方向下一步
单个 OSD down,其他 OSD 正常进程、设备、权限或单端口问题查该 OSD 的服务状态、日志和设备映射
同一主机多个 OSD down主机网络、供电、磁盘控制器、内存或系统资源查主机内核日志、网络和多个 OSD 的共同错误
多台主机的 OSD 同时 downMON、网络、交换设备或集群级配置先确认 MON quorum、公网和集群网络
OSD 进程存在但集群仍显示 down心跳网络、监听地址、端口或防火墙查 ss、路由、地址绑定和 OSD 日志
服务启动后立即退出设备、配置、权限、依赖或数据损坏查退出码和本次启动的完整日志
OSD up,但 PG 长时间不恢复副本数、恢复限制、网络或其他 OSD 故障查 PG 状态、恢复队列和集群容量

不要只根据 ceph -s 中的一行 osd: N osds: M up, K in 直接归因。该信息只能说明集群视角,不能替代主机侧的进程和磁盘检查。

建立 OSD down 的原因树

可以把问题按“集群网络—主机系统—服务依赖—OSD应用”四层拆分。每层都要有明确的观察依据和分支判断。

建立 OSD down 的原因树配图

第一层:集群和网络是否还能看到 OSD

先确认 MON 自身是否正常:

ceph mon stat
ceph quorum_status --format json-pretty
ceph health detail

如果 MON 没有 quorum,或者管理命令本身频繁超时,先不要把问题限定为某块 OSD 磁盘。MON 与 OSD 之间无法通信时,大量 OSD 可能同时变成 down。

在 OSD 所在主机检查地址、路由和监听端口:

ip addr
ip route
ss -lntp

Ceph MON 常见会使用 3300 或 6789 端口,但具体端口以集群配置为准。OSD 的 Messenger 端口通常从 6800 附近开始,并可能在一个连续范围内动态分配,不能只检查某一个固定端口。可进一步查看相关配置:

ceph config get osd.7 ms_bind_port
ceph config dump | grep -E 'ms_bind|public_addr|cluster_addr|public_network|cluster_network'

上面的 7 仅是示例 OSD ID,不代表目标环境一定是 osd.7。

如果进程存在但没有监听预期地址,常见原因包括:

  • public_addr 或 cluster_addr 指向了已经不存在的网卡地址;
  • 主机更换网卡后,网络接口名称或地址发生变化;
  • 公网和集群网络路由错误;
  • 端口被其他程序占用;
  • 防火墙规则只允许部分网段;
  • 容器网络与宿主机网络配置不一致。

可以从 OSD 主机测试到 MON 的 TCP 连通性:

nc -vz <MON_IP> 3300
nc -vz <MON_IP> 6789

端口未必同时启用,测试失败只能说明该地址和端口当前不可达,不能单独证明 Ceph 配置错误。还应结合 ceph mon dump、路由表、防火墙规则和 OSD 日志判断。

例如,以下日志属于典型的网络或地址绑定线索,内容为模拟示例:

bind: Cannot assign requested address
unable to bind to public address 10.10.20.17:6800
connect to 10.10.10.11:3300 failed: Connection refused
heartbeat_check: no reply from osd.7

其中,“无法绑定地址”优先检查本机网卡和配置地址;“Connection refused”更偏向目标端口没有服务监听或被主动拒绝;如果只是心跳超时,则还要检查双向路径、防火墙丢包和网络拥塞。

第二层:系统和磁盘是否提供了可用设备

服务启动失败时,磁盘问题不一定表现为“磁盘完全消失”。更常见的情况是设备短暂掉线、块设备变成只读、LVM 激活失败、BlueStore 的 block 或 block.db 设备不可用,或者内核已经记录了 I/O 错误。

先查看块设备、文件系统和挂载情况:

lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA,RO
findmnt
df -hT
df -ih

如果采用 LVM 或 ceph-volume 管理 OSD,再检查设备映射:

ceph-volume lvm list
pvs
vgs
lvs -a -o lv_name,vg_name,lv_attr,lv_size,devices

BlueStore 的主数据设备通常是原始块设备或逻辑卷,不应把它当作普通文件系统挂载。df -hT 看不到原始 BlueStore 数据区的可用空间是正常现象;该命令主要用于检查系统分区、日志分区和可能存在的独立文件系统是否已满。

检查内核和设备错误:

dmesg -T | egrep -i 'I/O error|blk_update|reset|timeout|read-only|nvme|scsi|ata|xfs|ext4'
journalctl -k -b --no-pager -n 300

必要时读取硬盘健康信息:

smartctl -H /dev/sdX
smartctl -a /dev/sdX
nvme smart-log /dev/nvme0

设备路径必须根据 lsblk 和 OSD 映射确认,不能把示例中的 /dev/sdX 直接执行。部分云盘、硬件 RAID 或虚拟磁盘不支持完整 SMART 信息,命令失败不等于设备必然损坏。

常见判断关系如下:

观察到的现象更可能的原因处理边界
lsblk 中设备消失磁盘、控制器、虚拟化设备或连接问题先查硬件和内核日志,不要重建 OSD
LVM 逻辑卷存在但无法打开LVM 激活、底层设备或元数据异常核对 OSD FSID 和设备链路
出现 Input/output error设备或控制器读写异常保留日志,评估副本后再决定迁移或替换
设备被标记为只读内核保护、存储故障或文件系统错误不要强行改回可写后继续写入
系统盘或日志盘 100%日志、转储或系统资源不足清理前先保留故障日志,并确认清理对象
只有 OSD 数据设备正常,但服务仍退出配置、权限、密钥或服务依赖问题转入服务和应用层排查

如果 OSD 使用的是传统 Filestore 文件系统,文件系统修复也必须在 OSD 停止、数据状态明确并完成备份或快照评估后进行。对于 BlueStore 原始设备,不要直接执行 fsck、mkfs、wipefs 或格式化操作。ceph-volume lvm zap、删除逻辑卷和重新创建 OSD 都属于破坏性操作,不能作为“尝试修复”的第一步。

第三层:服务进程和启动依赖是否正常

非容器化、由 systemd 管理的部署,通常可以使用以下命令。仍以 7 作为示例 ID:

ID=7
systemctl status "ceph-osd@${ID}" --no-pager
systemctl show "ceph-osd@${ID}" \
  -p ActiveState,SubState,Result,ExecMainCode,ExecMainStatus,MainPID
journalctl -u "ceph-osd@${ID}" -b --no-pager -n 300
journalctl -u "ceph-osd@${ID}" -b -1 --no-pager -n 200
systemctl list-dependencies "ceph-osd@${ID}"

需要关注的不是只有 active 或 failed,还包括:

  • ExecMainStatus 返回码;
  • 是否在几秒内反复启动和退出;
  • 是否存在 systemd 超时;
  • 依赖的设备、网络或挂载单元是否失败;
  • 当前启动失败前后是否出现新的错误,而不是只看历史日志。

如果是 cephadm 或其他容器化部署,宿主机上可能看不到传统的 ceph-osd@ID 服务。应使用部署方式对应的命令:

ceph orch ps --daemon_type osd
ceph orch ps --daemon_type osd --daemon_id 7
cephadm ls --no-detail
cephadm logs --name osd.7

不同 Ceph 版本的参数可能略有差异,先使用 ceph orch ps --help 或 cephadm --help 核对。容器化环境中,ps、配置文件和数据目录可能位于容器命名空间或 Ceph 管理目录内,不能仅凭宿主机进程列表判断 OSD 是否运行。

以下是常见启动日志的模拟示例及其判断方向:

unable to open OSD superblock: (5) Input/output error

优先回到磁盘、控制器和设备映射检查。

Fatal error: failed to open keyring /etc/ceph/ceph.client.bootstrap-osd.keyring

检查密钥文件是否存在、路径是否正确,以及部署工具是否仍然拥有对应的密钥。

Permission denied: cannot open /var/lib/ceph/osd/ceph-7

检查目录属主、权限、SELinux 或其他安全策略。不要直接对整个 /var/lib/ceph 执行递归 chown,因为不同 OSD、版本和部署方式可能使用不同目录结构。

bind: Address already in use

检查端口被哪个进程占用,以及是否有旧的 OSD 进程、重复启动的容器或配置错误。不要在未确认占用者的情况下直接终止进程。

Killed process ... (ceph-osd)
Memory cgroup out of memory

优先检查主机内存、容器内存限制和内核 OOM 记录,而不是反复重启 OSD。

第四层:OSD应用、权限和配置是否匹配

当设备可见、网络正常、服务单元也存在时,再检查 OSD 自身使用的目录、密钥和配置。可从 systemd 单元或部署工具中确认实际参数:

systemctl cat ceph-osd@7
systemctl show ceph-osd@7 -p FragmentPath,Environment,ExecStart

旧式部署中可能看到类似 /var/lib/ceph/osd/ceph-7 的目录,但不能假定所有版本和部署方式都使用这一位置。确认目录后,再查看路径各级权限:

namei -l /var/lib/ceph/osd/ceph-7
stat /var/lib/ceph/osd/ceph-7

重点核对:

  • OSD ID 与目录或 LVM 标签是否对应;
  • OSD FSID 是否与监视器记录一致;
  • ceph.conf 中的集群 FSID 是否正确;
  • keyring 是否属于当前集群;
  • 配置文件是否被错误覆盖;
  • 安全策略是否阻止了设备或目录访问;
  • 主机时间是否严重偏移。

可以通过集群侧查看 OSD 元数据:

ceph osd metadata 7
ceph osd find 7
ceph osd dump | grep -E 'osd\.7([[:space:]]|$)'

如果一块曾属于其他集群的磁盘被直接拿到当前主机上启动,可能出现 FSID 不匹配、密钥不匹配或 OSD 身份冲突。此时不能通过修改一个配置项强行“认领”设备,应先记录设备上的 OSD FSID,并与集群中的 OSD 信息进行比对。

时间同步通常不是单个 OSD 启动失败的首要原因,但严重时钟偏差会引发认证、心跳和集群健康问题。可检查:

timedatectl

如果系统使用 chrony,再根据发行版检查对应服务状态。不要为了排查 OSD 而随意修改系统时间,时间调整可能影响其他服务和日志顺序。

从证据定位根因,而不是直接重启

将日志、设备和集群状态对应起来,通常可以形成较明确的根因判断。

例如:

  • systemctl 返回失败,日志指向 Permission denied,设备和网络均正常:优先处理目录、密钥或安全策略权限;
  • 服务完全没有启动记录,但 ceph -s 显示 OSD down:检查服务是否被禁用、容器是否退出,或实际部署方式是否与检查命令不一致;
  • OSD 进程存在、端口也监听,但 MON 仍显示 down:优先查公网/集群网络、绑定地址和防火墙;
  • 日志反复出现 Input/output error,内核同时出现设备重置:按存储故障处理,不要通过重启掩盖问题;
  • 启动后马上被 OOM 杀死:检查内存压力、容器限制和同机其他服务;
  • 多个 OSD 同时出现相同的权限或配置错误:优先检查主机级变更,而不是逐个重建 OSD。

以下命令可以帮助确认进程是否处于崩溃循环:

pgrep -a ceph-osd
ps -eo pid,ppid,user,stat,lstart,cmd | grep '[c]eph-osd'
journalctl -u ceph-osd@7 --since '30 min ago' --no-pager

如果 OSD 进程在运行但 ceph osd tree 仍显示 down,不要立即执行重启。重启只会再次中断进程,无法修复网络、端口或设备问题。应先确认:

  1. 进程使用的 public_addr 和 cluster_addr 是否属于当前主机;
  2. 对应端口是否监听在正确的网卡和地址;
  3. MON 到 OSD 的方向是否可达;
  4. 日志中是否存在心跳超时、认证失败或消息发送错误;
  5. 是否有多个 OSD 争用同一地址或端口。

修复和恢复时的安全边界

证据收集完成后,才进入恢复操作。任何涉及重启、标记 out、重新激活或替换设备的动作,都应先确认集群副本仍足够,并评估当前 PG 是否已经降级。

如果只是临时进程退出,设备、配置和网络均正常,可以在确认该 OSD 可安全停止后进行单个 OSD 的受控重启。较新的 Ceph 版本可能支持:

ceph osd ok-to-stop 7

如果命令不受当前版本支持,应结合 ceph -s、PG 副本状态和业务维护窗口评估,不能把命令报错当成“可以直接重启”。

systemd 部署示例:

systemctl restart ceph-osd@7

cephadm 部署示例:

ceph orch daemon restart osd.7

重启前应保存日志和状态;如果日志已明确出现持续 I/O 错误、设备掉线或数据损坏,不建议反复重启。重启可能增加设备压力,也可能让问题从“单个 down”扩大为恢复流量增加。

如果只是 LVM 或容器启动阶段没有激活 OSD,必须先核对 OSD ID、OSD FSID、VG/LV 和实际设备完全匹配,再使用当前部署版本支持的激活流程。不要因为 ceph-volume lvm list 能看到某个逻辑卷,就把它激活为任意 OSD。激活失败时保留输出和日志,比连续执行多个激活、删除或重建命令更有利于恢复。

如果确认设备故障,应优先保护现有数据和副本状态,安排硬件更换或按版本对应的 OSD 替换流程处理。以下操作都可能造成不可逆影响,不能作为常规试错手段:

  • mkfs、wipefs 或重新分区;
  • ceph-volume lvm zap;
  • 删除 OSD 数据目录或逻辑卷;
  • 直接执行 ceph osd rm 并重新创建;
  • 在副本不足时强制标记状态并扩大恢复范围。

对于权限问题,也应只修正已确认的目标目录、密钥和安全策略,不要对整台主机执行递归权限修改。修复后要重新检查服务启动参数和目录属主,确认没有影响同机其他 OSD。

恢复后如何确认不是“假恢复”

服务显示 active 不代表集群已经恢复。至少需要同时验证进程、端口、OSD 状态和 PG 状态:

systemctl is-active ceph-osd@7
ss -lntp
ceph osd tree
ceph -s
ceph health detail
ceph pg stat

容器化部署则使用对应的 ceph orch ps 或 cephadm logs 检查。

可按以下顺序判断:

  1. OSD 进程持续运行,没有新的崩溃循环;
  2. OSD 对应的 Messenger 端口处于监听状态;
  3. ceph osd tree 中状态恢复为 up,并确认是否仍为 out;
  4. 受影响 PG 从 degraded、peering 或 undersized 逐步恢复;
  5. ceph health detail 中没有新增的设备、心跳或认证错误;
  6. 恢复和回填完成后,再确认业务读写延迟回到可接受范围。

如果 OSD 已经 up,但仍处于 out,不要未经评估直接执行 ceph osd in。先确认设备稳定、PG 副本数量满足要求、集群容量足够,并明确此前被标记为 out 的原因。强制放回可能触发大量数据回填,进而影响其他 OSD 和业务延迟。

让下一次 down 更容易定位

建议为每个 OSD 建立稳定的资产对应关系,至少记录 OSD ID、OSD FSID、主机名、设备或 LV、block.db/WAL 设备、部署方式和当前 Ceph 版本。这样在设备路径变化或主机更换后,可以快速判断是设备身份问题还是服务配置问题。

监控上不要只设置一个“OSD down”告警,还应覆盖以下信号:

  • osd up 与 osd in 状态变化;
  • 同一主机短时间内多个 OSD 同时 down;
  • OSD 服务反复重启或 systemd 进入 failed;
  • BlueStore、I/O、设备重置和内核只读错误;
  • 磁盘 SMART、NVMe 健康度和控制器超时;
  • 主机内存不足、OOM、文件系统空间和 inode 使用率;
  • MON quorum、OSD 心跳延迟和网络丢包;
  • PG degraded、undersized、incomplete、stale 及恢复时间。

如果使用 Ceph Manager 的 Prometheus 导出器,指标名称和标签可能随 Ceph 版本变化,应以当前版本实际暴露的指标为准。对持续 I/O 错误设置自动重启通常并不安全;更合适的策略是先告警、保留日志和设备状态,再由运维人员判断是否隔离、迁移或更换。

Ceph OSD 的稳定运行离不开主机、磁盘与网络资源的协同。A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 NVMe 固态存储和大容量机械硬盘方案,可为不同规模的数据存储与集群部署提供硬件基础;多地区服务器及各自对应的线路选择,也能匹配不同业务的部署区域和网络需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6600.html

相关推荐