存储服务器Ceph OSD显示down,如何从进程、磁盘和集群状态定位?
Ceph 中的 OSD 显示 down,首先说明监视器在规定时间内没有收到该 OSD 的有效心跳,但这并不等同于“磁盘已经损坏”或“OSD 进程一定没有运行”。进程崩溃、数据盘未挂载、BlueStore 设备不可读、端口无法通信、权限或密钥错误,都可能最终表现为同一个 down 状态。
排查时应同时观察三类信息:集群认为 OSD 处于什么状态,主机上是否存在对应进程和监听端口,以及 OSD 使用的磁盘、LVM、目录和配置是否正常。建议先保留状态和日志,再决定是否重启、激活或替换 OSD,避免在根因未明确时执行删除、重建或格式化操作。
先确认 down 的范围和含义
在能够访问 Ceph 管理接口的节点上,先执行只读检查:
ceph -s
ceph health detail
ceph osd stat
ceph osd tree
ceph pg stat
如果管理节点未安装 Ceph 客户端,需要通过部署方式对应的环境执行,例如使用 cephadm shell -- ceph -s。不要因为宿主机上没有 ceph 命令,就直接判断集群不可用。
重点记录以下内容:
- 是单个 OSD
down,还是同一台主机上的多个 OSD 同时down; - OSD 是否同时显示为
out; - 是否出现
degraded、undersized、peering、incomplete或stalePG; - MON 是否保持 quorum;
- 故障发生前是否有重启、内核升级、磁盘更换、网络调整或配置变更。
up/down 和 in/out 代表不同含义。up 表示监视器认为 OSD 守护进程正在工作,down 表示没有收到有效心跳;in/out 则表示该 OSD 是否仍参与数据放置。一个 OSD 可能已经 down,但暂时仍显示 in;也可能因故障时间较长或自动故障处理而变成 out。
| 观察结果 | 优先怀疑方向 | 下一步 |
|---|---|---|
| 单个 OSD down,其他 OSD 正常 | 进程、设备、权限或单端口问题 | 查该 OSD 的服务状态、日志和设备映射 |
| 同一主机多个 OSD down | 主机网络、供电、磁盘控制器、内存或系统资源 | 查主机内核日志、网络和多个 OSD 的共同错误 |
| 多台主机的 OSD 同时 down | MON、网络、交换设备或集群级配置 | 先确认 MON quorum、公网和集群网络 |
| OSD 进程存在但集群仍显示 down | 心跳网络、监听地址、端口或防火墙 | 查 ss、路由、地址绑定和 OSD 日志 |
| 服务启动后立即退出 | 设备、配置、权限、依赖或数据损坏 | 查退出码和本次启动的完整日志 |
| OSD up,但 PG 长时间不恢复 | 副本数、恢复限制、网络或其他 OSD 故障 | 查 PG 状态、恢复队列和集群容量 |
不要只根据 ceph -s 中的一行 osd: N osds: M up, K in 直接归因。该信息只能说明集群视角,不能替代主机侧的进程和磁盘检查。
建立 OSD down 的原因树
可以把问题按“集群网络—主机系统—服务依赖—OSD应用”四层拆分。每层都要有明确的观察依据和分支判断。

第一层:集群和网络是否还能看到 OSD
先确认 MON 自身是否正常:
ceph mon stat
ceph quorum_status --format json-pretty
ceph health detail
如果 MON 没有 quorum,或者管理命令本身频繁超时,先不要把问题限定为某块 OSD 磁盘。MON 与 OSD 之间无法通信时,大量 OSD 可能同时变成 down。
在 OSD 所在主机检查地址、路由和监听端口:
ip addr
ip route
ss -lntp
Ceph MON 常见会使用 3300 或 6789 端口,但具体端口以集群配置为准。OSD 的 Messenger 端口通常从 6800 附近开始,并可能在一个连续范围内动态分配,不能只检查某一个固定端口。可进一步查看相关配置:
ceph config get osd.7 ms_bind_port
ceph config dump | grep -E 'ms_bind|public_addr|cluster_addr|public_network|cluster_network'
上面的 7 仅是示例 OSD ID,不代表目标环境一定是 osd.7。
如果进程存在但没有监听预期地址,常见原因包括:
public_addr或cluster_addr指向了已经不存在的网卡地址;- 主机更换网卡后,网络接口名称或地址发生变化;
- 公网和集群网络路由错误;
- 端口被其他程序占用;
- 防火墙规则只允许部分网段;
- 容器网络与宿主机网络配置不一致。
可以从 OSD 主机测试到 MON 的 TCP 连通性:
nc -vz <MON_IP> 3300
nc -vz <MON_IP> 6789
端口未必同时启用,测试失败只能说明该地址和端口当前不可达,不能单独证明 Ceph 配置错误。还应结合 ceph mon dump、路由表、防火墙规则和 OSD 日志判断。
例如,以下日志属于典型的网络或地址绑定线索,内容为模拟示例:
bind: Cannot assign requested address
unable to bind to public address 10.10.20.17:6800
connect to 10.10.10.11:3300 failed: Connection refused
heartbeat_check: no reply from osd.7
其中,“无法绑定地址”优先检查本机网卡和配置地址;“Connection refused”更偏向目标端口没有服务监听或被主动拒绝;如果只是心跳超时,则还要检查双向路径、防火墙丢包和网络拥塞。
第二层:系统和磁盘是否提供了可用设备
服务启动失败时,磁盘问题不一定表现为“磁盘完全消失”。更常见的情况是设备短暂掉线、块设备变成只读、LVM 激活失败、BlueStore 的 block 或 block.db 设备不可用,或者内核已经记录了 I/O 错误。
先查看块设备、文件系统和挂载情况:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,ROTA,RO
findmnt
df -hT
df -ih
如果采用 LVM 或 ceph-volume 管理 OSD,再检查设备映射:
ceph-volume lvm list
pvs
vgs
lvs -a -o lv_name,vg_name,lv_attr,lv_size,devices
BlueStore 的主数据设备通常是原始块设备或逻辑卷,不应把它当作普通文件系统挂载。df -hT 看不到原始 BlueStore 数据区的可用空间是正常现象;该命令主要用于检查系统分区、日志分区和可能存在的独立文件系统是否已满。
检查内核和设备错误:
dmesg -T | egrep -i 'I/O error|blk_update|reset|timeout|read-only|nvme|scsi|ata|xfs|ext4'
journalctl -k -b --no-pager -n 300
必要时读取硬盘健康信息:
smartctl -H /dev/sdX
smartctl -a /dev/sdX
nvme smart-log /dev/nvme0
设备路径必须根据 lsblk 和 OSD 映射确认,不能把示例中的 /dev/sdX 直接执行。部分云盘、硬件 RAID 或虚拟磁盘不支持完整 SMART 信息,命令失败不等于设备必然损坏。
常见判断关系如下:
| 观察到的现象 | 更可能的原因 | 处理边界 |
|---|---|---|
lsblk 中设备消失 | 磁盘、控制器、虚拟化设备或连接问题 | 先查硬件和内核日志,不要重建 OSD |
| LVM 逻辑卷存在但无法打开 | LVM 激活、底层设备或元数据异常 | 核对 OSD FSID 和设备链路 |
出现 Input/output error | 设备或控制器读写异常 | 保留日志,评估副本后再决定迁移或替换 |
| 设备被标记为只读 | 内核保护、存储故障或文件系统错误 | 不要强行改回可写后继续写入 |
| 系统盘或日志盘 100% | 日志、转储或系统资源不足 | 清理前先保留故障日志,并确认清理对象 |
| 只有 OSD 数据设备正常,但服务仍退出 | 配置、权限、密钥或服务依赖问题 | 转入服务和应用层排查 |
如果 OSD 使用的是传统 Filestore 文件系统,文件系统修复也必须在 OSD 停止、数据状态明确并完成备份或快照评估后进行。对于 BlueStore 原始设备,不要直接执行 fsck、mkfs、wipefs 或格式化操作。ceph-volume lvm zap、删除逻辑卷和重新创建 OSD 都属于破坏性操作,不能作为“尝试修复”的第一步。
第三层:服务进程和启动依赖是否正常
非容器化、由 systemd 管理的部署,通常可以使用以下命令。仍以 7 作为示例 ID:
ID=7
systemctl status "ceph-osd@${ID}" --no-pager
systemctl show "ceph-osd@${ID}" \
-p ActiveState,SubState,Result,ExecMainCode,ExecMainStatus,MainPID
journalctl -u "ceph-osd@${ID}" -b --no-pager -n 300
journalctl -u "ceph-osd@${ID}" -b -1 --no-pager -n 200
systemctl list-dependencies "ceph-osd@${ID}"
需要关注的不是只有 active 或 failed,还包括:
ExecMainStatus返回码;- 是否在几秒内反复启动和退出;
- 是否存在 systemd 超时;
- 依赖的设备、网络或挂载单元是否失败;
- 当前启动失败前后是否出现新的错误,而不是只看历史日志。
如果是 cephadm 或其他容器化部署,宿主机上可能看不到传统的 ceph-osd@ID 服务。应使用部署方式对应的命令:
ceph orch ps --daemon_type osd
ceph orch ps --daemon_type osd --daemon_id 7
cephadm ls --no-detail
cephadm logs --name osd.7
不同 Ceph 版本的参数可能略有差异,先使用 ceph orch ps --help 或 cephadm --help 核对。容器化环境中,ps、配置文件和数据目录可能位于容器命名空间或 Ceph 管理目录内,不能仅凭宿主机进程列表判断 OSD 是否运行。
以下是常见启动日志的模拟示例及其判断方向:
unable to open OSD superblock: (5) Input/output error
优先回到磁盘、控制器和设备映射检查。
Fatal error: failed to open keyring /etc/ceph/ceph.client.bootstrap-osd.keyring
检查密钥文件是否存在、路径是否正确,以及部署工具是否仍然拥有对应的密钥。
Permission denied: cannot open /var/lib/ceph/osd/ceph-7
检查目录属主、权限、SELinux 或其他安全策略。不要直接对整个 /var/lib/ceph 执行递归 chown,因为不同 OSD、版本和部署方式可能使用不同目录结构。
bind: Address already in use
检查端口被哪个进程占用,以及是否有旧的 OSD 进程、重复启动的容器或配置错误。不要在未确认占用者的情况下直接终止进程。
Killed process ... (ceph-osd)
Memory cgroup out of memory
优先检查主机内存、容器内存限制和内核 OOM 记录,而不是反复重启 OSD。
第四层:OSD应用、权限和配置是否匹配
当设备可见、网络正常、服务单元也存在时,再检查 OSD 自身使用的目录、密钥和配置。可从 systemd 单元或部署工具中确认实际参数:
systemctl cat ceph-osd@7
systemctl show ceph-osd@7 -p FragmentPath,Environment,ExecStart
旧式部署中可能看到类似 /var/lib/ceph/osd/ceph-7 的目录,但不能假定所有版本和部署方式都使用这一位置。确认目录后,再查看路径各级权限:
namei -l /var/lib/ceph/osd/ceph-7
stat /var/lib/ceph/osd/ceph-7
重点核对:
- OSD ID 与目录或 LVM 标签是否对应;
- OSD FSID 是否与监视器记录一致;
ceph.conf中的集群 FSID 是否正确;- keyring 是否属于当前集群;
- 配置文件是否被错误覆盖;
- 安全策略是否阻止了设备或目录访问;
- 主机时间是否严重偏移。
可以通过集群侧查看 OSD 元数据:
ceph osd metadata 7
ceph osd find 7
ceph osd dump | grep -E 'osd\.7([[:space:]]|$)'
如果一块曾属于其他集群的磁盘被直接拿到当前主机上启动,可能出现 FSID 不匹配、密钥不匹配或 OSD 身份冲突。此时不能通过修改一个配置项强行“认领”设备,应先记录设备上的 OSD FSID,并与集群中的 OSD 信息进行比对。
时间同步通常不是单个 OSD 启动失败的首要原因,但严重时钟偏差会引发认证、心跳和集群健康问题。可检查:
timedatectl
如果系统使用 chrony,再根据发行版检查对应服务状态。不要为了排查 OSD 而随意修改系统时间,时间调整可能影响其他服务和日志顺序。
从证据定位根因,而不是直接重启
将日志、设备和集群状态对应起来,通常可以形成较明确的根因判断。
例如:
systemctl返回失败,日志指向Permission denied,设备和网络均正常:优先处理目录、密钥或安全策略权限;- 服务完全没有启动记录,但
ceph -s显示 OSD down:检查服务是否被禁用、容器是否退出,或实际部署方式是否与检查命令不一致; - OSD 进程存在、端口也监听,但 MON 仍显示 down:优先查公网/集群网络、绑定地址和防火墙;
- 日志反复出现
Input/output error,内核同时出现设备重置:按存储故障处理,不要通过重启掩盖问题; - 启动后马上被 OOM 杀死:检查内存压力、容器限制和同机其他服务;
- 多个 OSD 同时出现相同的权限或配置错误:优先检查主机级变更,而不是逐个重建 OSD。
以下命令可以帮助确认进程是否处于崩溃循环:
pgrep -a ceph-osd
ps -eo pid,ppid,user,stat,lstart,cmd | grep '[c]eph-osd'
journalctl -u ceph-osd@7 --since '30 min ago' --no-pager
如果 OSD 进程在运行但 ceph osd tree 仍显示 down,不要立即执行重启。重启只会再次中断进程,无法修复网络、端口或设备问题。应先确认:
- 进程使用的
public_addr和cluster_addr是否属于当前主机; - 对应端口是否监听在正确的网卡和地址;
- MON 到 OSD 的方向是否可达;
- 日志中是否存在心跳超时、认证失败或消息发送错误;
- 是否有多个 OSD 争用同一地址或端口。
修复和恢复时的安全边界
证据收集完成后,才进入恢复操作。任何涉及重启、标记 out、重新激活或替换设备的动作,都应先确认集群副本仍足够,并评估当前 PG 是否已经降级。
如果只是临时进程退出,设备、配置和网络均正常,可以在确认该 OSD 可安全停止后进行单个 OSD 的受控重启。较新的 Ceph 版本可能支持:
ceph osd ok-to-stop 7
如果命令不受当前版本支持,应结合 ceph -s、PG 副本状态和业务维护窗口评估,不能把命令报错当成“可以直接重启”。
systemd 部署示例:
systemctl restart ceph-osd@7
cephadm 部署示例:
ceph orch daemon restart osd.7
重启前应保存日志和状态;如果日志已明确出现持续 I/O 错误、设备掉线或数据损坏,不建议反复重启。重启可能增加设备压力,也可能让问题从“单个 down”扩大为恢复流量增加。
如果只是 LVM 或容器启动阶段没有激活 OSD,必须先核对 OSD ID、OSD FSID、VG/LV 和实际设备完全匹配,再使用当前部署版本支持的激活流程。不要因为 ceph-volume lvm list 能看到某个逻辑卷,就把它激活为任意 OSD。激活失败时保留输出和日志,比连续执行多个激活、删除或重建命令更有利于恢复。
如果确认设备故障,应优先保护现有数据和副本状态,安排硬件更换或按版本对应的 OSD 替换流程处理。以下操作都可能造成不可逆影响,不能作为常规试错手段:
mkfs、wipefs或重新分区;ceph-volume lvm zap;- 删除 OSD 数据目录或逻辑卷;
- 直接执行
ceph osd rm并重新创建; - 在副本不足时强制标记状态并扩大恢复范围。
对于权限问题,也应只修正已确认的目标目录、密钥和安全策略,不要对整台主机执行递归权限修改。修复后要重新检查服务启动参数和目录属主,确认没有影响同机其他 OSD。
恢复后如何确认不是“假恢复”
服务显示 active 不代表集群已经恢复。至少需要同时验证进程、端口、OSD 状态和 PG 状态:
systemctl is-active ceph-osd@7
ss -lntp
ceph osd tree
ceph -s
ceph health detail
ceph pg stat
容器化部署则使用对应的 ceph orch ps 或 cephadm logs 检查。
可按以下顺序判断:
- OSD 进程持续运行,没有新的崩溃循环;
- OSD 对应的 Messenger 端口处于监听状态;
ceph osd tree中状态恢复为up,并确认是否仍为out;- 受影响 PG 从
degraded、peering或undersized逐步恢复; ceph health detail中没有新增的设备、心跳或认证错误;- 恢复和回填完成后,再确认业务读写延迟回到可接受范围。
如果 OSD 已经 up,但仍处于 out,不要未经评估直接执行 ceph osd in。先确认设备稳定、PG 副本数量满足要求、集群容量足够,并明确此前被标记为 out 的原因。强制放回可能触发大量数据回填,进而影响其他 OSD 和业务延迟。
让下一次 down 更容易定位
建议为每个 OSD 建立稳定的资产对应关系,至少记录 OSD ID、OSD FSID、主机名、设备或 LV、block.db/WAL 设备、部署方式和当前 Ceph 版本。这样在设备路径变化或主机更换后,可以快速判断是设备身份问题还是服务配置问题。
监控上不要只设置一个“OSD down”告警,还应覆盖以下信号:
osd up与osd in状态变化;- 同一主机短时间内多个 OSD 同时 down;
- OSD 服务反复重启或 systemd 进入 failed;
- BlueStore、I/O、设备重置和内核只读错误;
- 磁盘 SMART、NVMe 健康度和控制器超时;
- 主机内存不足、OOM、文件系统空间和 inode 使用率;
- MON quorum、OSD 心跳延迟和网络丢包;
- PG degraded、undersized、incomplete、stale 及恢复时间。
如果使用 Ceph Manager 的 Prometheus 导出器,指标名称和标签可能随 Ceph 版本变化,应以当前版本实际暴露的指标为准。对持续 I/O 错误设置自动重启通常并不安全;更合适的策略是先告警、保留日志和设备状态,再由运维人员判断是否隔离、迁移或更换。
Ceph OSD 的稳定运行离不开主机、磁盘与网络资源的协同。A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 NVMe 固态存储和大容量机械硬盘方案,可为不同规模的数据存储与集群部署提供硬件基础;多地区服务器及各自对应的线路选择,也能匹配不同业务的部署区域和网络需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6600.html
