Linux dm-multipath多路径如何工作?怎样验证路径冗余和故障切换是否生效
不少主机同时出现 /dev/sdb、/dev/sdc、/dev/sdd 等磁盘设备,并不代表已经实现了多路径冗余:这些设备可能只是同一个存储 LUN 的不同访问路径,也可能是多个不同 LUN。反过来,应用只看到一个 /dev/mapper/mpatha,也不代表后端只有一条链路。
Linux dm-multipath 的实际作用,是把指向同一个 LUN 的多个 SCSI 路径识别出来,交给 device-mapper 创建一个统一的逻辑块设备。正常情况下,I/O 由可用路径承载;某一条路径、HBA、交换机端口或控制器访问链路失效后,multipathd 将其标记为不可用,内核再把后续 I/O 转移到其他路径。验证是否生效,不能只看“有没有 multipath 设备”,还要同时确认路径数量、路径拓扑、单路径故障时的 I/O 连续性,以及路径恢复后的状态变化。
先划清 dm-multipath 的边界
一个 LUN、多个路径、一个映射设备
以双控制器存储为例,主机可能通过两块 HBA、两台 SAN 交换机连接到存储阵列。对于同一个 LUN,操作系统可能枚举出多个块设备:
/dev/sdb
/dev/sdc
/dev/sdd
/dev/sde
这些设备通常不是四份数据,而是同一份 LUN 的四条访问路径。dm-multipath 会根据 LUN 的 WWID、厂商标识和设备规则识别它们,并创建类似下面的逻辑设备:
/dev/mapper/mpatha
文件系统、LVM 或数据库应当使用 multipath 映射设备,而不是直接使用某一个 /dev/sdX 路径。直接挂载 /dev/sdb 会绕开多路径层,导致路径故障时应用无法自动切换;在部分场景下,还可能因为重复识别同一文件系统而产生数据风险。
路径冗余不等于数据复制
dm-multipath 解决的是“主机如何访问存储”的冗余问题,不负责复制数据,也不等同于 RAID、存储阵列双活或异步复制。
以下几类故障需要分别理解:
| 故障或能力 | dm-multipath 能否直接处理 | 说明 |
|---|---|---|
| 一条 SCSI 路径中断 | 通常可以 | 只要仍有其他可用路径 |
| 一块 HBA 故障 | 可能可以 | 其他 HBA 必须连接到同一 LUN |
| 一台 SAN 交换机故障 | 可能可以 | 连接拓扑不能共用同一台交换机 |
| 存储控制器切换 | 取决于阵列和 ALUA 支持 | 主机和阵列必须正确协商路径组 |
| 存储阵列整体故障 | 不能单独解决 | 需要阵列级高可用或复制机制 |
| LUN 内部数据损坏 | 不能解决 | 需要备份、RAID、校验或复制方案 |
因此,看到“四条路径”并不意味着存在四个完全独立的故障域。如果四条路径都经过同一块 HBA、同一台交换机或同一个存储控制器端口,实际冗余能力会低于路径数量。
A5idc数据面向数据库、业务文件和备份归档等需求,提供不同存储配置的物理服务器。香港、美国的部分方案配备NVMe存储,可作为数据库和应用读写的硬件基础;香港存储系列采用多块企业级硬盘,日本CTG系列也有大容量HDD方案,为文件存放与备份归档提供容量资源。
dm-multipath 是怎样工作的
1. 操作系统先发现独立路径
FC、iSCSI 或 SAS 设备通过各自的传输层向 Linux 注册 SCSI 设备。内核会为每条发现到的路径创建一个块设备,例如:

sdb -> HBA 1 -> SAN 交换机 A -> 存储控制器 1 -> LUN 10
sdc -> HBA 2 -> SAN 交换机 B -> 存储控制器 1 -> LUN 10
sdd -> HBA 1 -> SAN 交换机 A -> 存储控制器 2 -> LUN 10
sde -> HBA 2 -> SAN 交换机 B -> 存储控制器 2 -> LUN 10
在这一步,Linux 只知道发现了多个块设备,并不知道它们是否指向同一个 LUN。多路径软件需要进一步读取设备标识并进行聚合。
2. multipathd 识别同一个 LUN
multipathd 是持续运行的用户空间守护进程,负责监听设备变化、检查路径状态、维护路径组,并与 device-mapper 协作。
识别同一 LUN 时,常见依据包括:
- LUN 的 WWID 或全球唯一标识;
- 存储厂商和产品型号;
- SCSI 查询结果;
multipath.conf中的设备规则;- 存储阵列返回的 ALUA 或路径优先级信息。
如果多个 /dev/sdX 设备的标识指向同一个 LUN,multipathd 会将它们放入同一个 multipath map。这个 map 由 device-mapper 在内核中呈现为一个逻辑块设备。
可以把它理解为一个“总入口”:
应用或文件系统
|
/dev/mapper/mpatha
|
device-mapper multipath target
|
+-------+-------+-------+
| | | |
sdb sdc sdd sde
应用只需要访问上层的 map,具体使用哪条底层路径由多路径层决定。
3. 路径组决定哪些路径承担 I/O
多路径并不一定让所有路径同时承载 I/O。路径如何使用,取决于存储阵列能力和多路径策略。
常见情况包括:
- 主动-主动:多个路径都可以处理 I/O,策略可能按轮询、服务时间或队列情况分配请求。
- 主动-被动:一组路径处于活动状态,另一组路径等待控制器切换。
- ALUA 模式:路径分为优化路径和非优化路径,优先使用访问当前 LUN 控制器的优化路径。
- 按优先级分组:不同控制器或不同链路对应不同
prio,优先级高的路径组先承担 I/O。
因此,multipath -ll 中显示多条 active ready running,并不必然表示每条路径都在均匀传输数据。它首先表示这些路径当前可用;是否实际分担流量,还要结合路径策略、控制器状态和 I/O 统计判断。
4. 路径检查器发现故障
multipathd 会通过路径检查器定期判断路径是否可用。检查方式可能包括普通 SCSI 查询、读写测试、存储厂商专用检查或 ALUA 状态判断。
当某条路径出现以下情况时,可能被标记为不可用:
- SCSI 设备返回错误;
- 目标端口不可达;
- iSCSI 会话断开;
- FC 链路或目标端口失效;
- 存储控制器不再接受该路径上的请求;
- 路径状态变为非优化、故障或禁止使用。
路径状态变化后,multipathd 会更新 device-mapper 的路径组。只要仍有可用路径,映射设备通常保持在线,新的 I/O 会转向其他路径。
需要注意,故障检测不是瞬间完成的。传输层超时、SCSI 重试、路径检查间隔和存储响应时间都会影响切换时延。因此,“支持故障切换”不等于“业务完全感知不到任何延迟”。
5. 所有路径都失效时,队列策略决定表现
如果同一个 LUN 的所有路径都不可用,系统表现取决于配置。
一种策略是让 I/O 快速返回错误,上层应用自行处理;另一种策略是暂时把 I/O 排队,等待路径恢复。queue_if_no_path 或 no_path_retry 等配置会影响这一行为。
排队可以避免短暂链路抖动立即向应用返回错误,但如果路径长期不可用,应用可能表现为请求卡住、数据库连接超时或进程无法退出。对数据库、虚拟化平台和集群文件系统而言,队列策略必须结合应用自身的超时机制评估,不能只看“设备没有报错”。
哪些因素会影响冗余和切换结果
路径数量要和物理拓扑一起看
可以用下面的方式理解路径冗余:
路径数量 = 主机到同一 LUN 的逻辑访问路径数量
独立冗余能力 = 不共用关键组件的访问路径数量
例如,四条路径都通过同一块 HBA,HBA 故障时可能四条路径同时消失。四条路径如果分别跨越两块 HBA、两台交换机和两个存储控制器,故障覆盖范围会更好。

ALUA 和存储设备规则
支持 ALUA 的阵列会向主机报告路径的优化状态。主机可能看到:
prio=50:当前优先级较高的路径组;prio=10:可用但非优化的路径组;- 一个 active group 和一个 enabled group。
如果阵列厂商规则没有被正确识别,主机可能把非优化路径当成普通活动路径使用,表现为性能下降、控制器间出现额外转发,甚至在控制器切换时无法按预期迁移。
因此,路径数量正确只是第一步,还要确认路径组和优先级符合该阵列的设计。
配置项会改变“切换”与“恢复”的表现
不同发行版和 multipath-tools 版本的默认值可能不同,具体配置应以主机上的 multipath.conf 和帮助文档为准。常见影响项如下:
| 配置或机制 | 影响 |
|---|---|
path_grouping_policy | 决定如何组织路径组 |
path_selector | 决定活动路径组内如何选择路径 |
failback | 冗余路径恢复后是否自动回到优选路径 |
no_path_retry | 所有路径暂时失效时的重试或排队行为 |
features "1 queue_if_no_path" | 无可用路径时是否继续排队 |
path_checker | 以何种方式判断路径可用 |
find_multipaths | 何时将设备纳入多路径映射 |
| 厂商设备规则 | 识别 ALUA、控制器模式和特殊命令 |
例如,failback=manual 时,原优选路径恢复后不一定立即切回;这通常是为了避免链路反复抖动造成 I/O 在路径组之间来回迁移。因此,恢复后仍然使用备用路径,不应直接判定为故障切换失败。
multipathd 本身必须正常运行
即使内核中已经存在一个 dm 设备,multipathd 停止后,路径状态更新、故障检测和新设备纳管都可能受到影响。检查服务状态:
systemctl is-active multipathd
systemctl status multipathd --no-pager
查看当前配置经过解析后的结果:
multipath -t
如果配置文件包含厂商专用规则,不要直接套用其他阵列的示例。设备标识、路径优先级和控制器模式不匹配时,错误配置可能造成路径误用。
怎样验证路径冗余确实生效
验证应当分为“静态确认”和“动态故障测试”。静态确认只能证明系统看到了多条路径,动态测试才能证明单条路径失效后业务仍能通过其他路径继续访问。
第一步:确认业务使用的是多路径设备
先查看块设备、挂载点和设备类型:
lsblk -o NAME,TYPE,SIZE,WWN,HCTL,MODEL,SERIAL,MOUNTPOINTS
不同发行版的 lsblk 可用列可能略有差异,可以先执行:
lsblk --help
再确认实际挂载来源。以下以 /data 为示例,请替换为实际挂载点:
findmnt -no SOURCE,TARGET,FSTYPE /data
理想情况下,挂载源应类似:
/dev/mapper/mpatha /data xfs
或者使用明确的 multipath 设备标识。若输出是 /dev/sdb、/dev/sdc 等单一路径,应先停止验证并核对挂载、LVM 或虚拟化配置。不要在生产环境中直接卸载或改挂载源,涉及变更时应先备份数据、确认业务停机窗口和回滚方式。
第二步:查看 map 和路径数量
执行:
multipath -ll
下面是一个用于说明的模拟输出:
mpatha (3600508b400105e210000900000490000) dm-2 DGC,VRAID
size=500G features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='service-time 0' prio=50 status=active
|- 6:0:0:1 sdb 8:16 active ready running
|- 7:0:0:1 sdc 8:32 active ready running
|- 8:0:0:1 sdd 8:48 active ready running
`- 9:0:0:1 sde 8:64 active ready running
重点核对以下内容:
- 同一个 WWID 下是否只有一个 map。
- map 下是否至少有两条路径。
- 路径是否来自不同 HBA、不同目标端口或不同传输链路。
- 是否存在
faulty、shaky、failed等异常状态。 prio和路径组是否符合存储阵列的主动/被动或 ALUA 设计。features中的无路径策略是否符合应用的超时要求。
active ready running 表示该路径当前被判定为可用,但不等于每条路径都在同时传输数据。路径组的 status=active 表示当前组可承担 I/O;其他组可能处于 enabled、待切换或非优化状态。
也可以从 device-mapper 侧确认映射关系:
dmsetup ls --tree
查看 dm 设备下挂接的底层路径:
for d in /sys/block/dm-*; do
[ -d "$d" ] || continue
echo "== $d =="
cat "$d/dm/name" 2>/dev/null
ls -1 "$d/slaves" 2>/dev/null
done
如果 multipath map 只包含一条底层路径,那么“存在 multipath 设备”本身不能证明冗余已经建立。
第三步:确认路径来自独立链路
查看 SCSI 设备和传输拓扑:
lsscsi -t
再结合 HBA、iSCSI 会话、交换机端口或存储阵列端口记录,建立类似下面的对应关系:
| 主机路径 | 主机侧组件 | 网络或总线 | 存储侧端口 | 是否与其他路径独立 |
|---|---|---|---|---|
sdb | HBA 1 | SAN 交换机 A | 控制器 1 | 是 |
sdc | HBA 2 | SAN 交换机 B | 控制器 1 | 是 |
sdd | HBA 1 | SAN 交换机 A | 控制器 2 | 部分独立 |
sde | HBA 2 | SAN 交换机 B | 控制器 2 | 是 |
这里的“独立”需要结合实际布线判断,不能只凭 /dev/sdX 名称推断。设备名变化也不代表路径变化,WWID、HCTL、目标端口和实际拓扑更有参考价值。
第四步:进行一次受控的单路径故障测试
故障测试应当一次只影响一条路径,并提前确认:

- 已完成数据备份或快照,且快照本身不会替代备份;
- 测试 LUN 与生产关键 LUN 的范围已经明确;
- 业务、数据库或虚拟化平台允许短暂链路抖动;
- 测试人员知道哪一个 HBA、交换机端口或存储会话对应目标路径;
- 不会误操作承载其他业务的共享网卡、HBA 或交换机端口;
- 已准备恢复路径和回滚方案。
建议通过 SAN 交换机端口维护、存储侧单端口隔离或明确的单条 iSCSI 会话维护来制造故障。不要在无法确认影响范围时直接执行 ip link set down、关闭整块 HBA 或注销全部存储会话,因为这些操作可能同时切断多个 LUN。不要使用 multipath -F 清空所有映射,也不要对承载文件系统的底层 /dev/sdX 执行删除或格式化操作。
测试期间分别观察三类信息:
watch -n 1 'multipath -ll'
iostat -xm 1
journalctl -u multipathd -f
必要时另开窗口观察内核日志:
journalctl -kf
单路径故障时,典型的合格表现是:
- multipath map 仍然存在;
- 受影响路径变为
faulty、failed或其他不可用状态; - 其余路径仍保持可用;
iostat中其他路径开始出现 I/O;- 业务 I/O 可能有短暂暂停,但不会因为一条路径故障而长期卡死;
- 文件系统和应用仍然访问同一个 multipath 设备。
可以用下面的判定表记录结果:
| 观察项 | 通过条件 | 不能据此判定的内容 |
|---|---|---|
| map 状态 | map 仍处于活动状态 | 不代表所有物理链路都独立 |
| 故障路径 | 仅目标路径变为不可用 | 不代表阵列控制器切换也已测试 |
| 其他路径 | 至少一条路径继续可用并承载 I/O | 不代表 I/O 会平均分配 |
| 应用访问 | 业务能继续完成读写 | 不代表没有短暂延迟 |
| 日志 | 能看到路径变化且无持续错误 | 不代表所有超时参数都合适 |
第五步:恢复路径并验证回切
恢复被隔离的端口、会话或控制器路径后,继续执行:
multipath -ll
路径通常会从故障状态回到 ready running,但恢复顺序和回切时间取决于路径检查间隔、存储响应以及 failback 设置。
以下情况都可能是正常的:
- 路径恢复后短时间内仍显示不可用;
- 路径已经恢复,但 I/O 仍暂时使用原备用组;
failback=manual时不会自动回到原优选路径;- ALUA 重新协商期间,路径优先级短暂变化。
如果路径长时间不恢复,应进一步检查传输层会话、HBA 日志、交换机端口状态和存储控制器事件,而不是反复刷新 multipath -ll。恢复后还应再次确认业务挂载源仍然是 multipath map,没有因故障处理脚本而切换到某个单独的 /dev/sdX。
适用限制与最终判断边界
dm-multipath 适合用于主机到共享块存储之间存在多条访问链路的场景,常见于 FC、iSCSI、SAS 和部分支持多路径的企业存储设备。它不适合把多块独立本地盘简单合并成一个“高可用磁盘”,也不能替代文件系统集群、存储复制、备份或灾难恢复。
最终判断路径冗余是否生效,至少需要同时满足以下条件:
- 同一个 LUN 被识别为一个 multipath map,而不是多个独立挂载设备。
- map 下存在两条或更多真实路径。
- 路径没有全部共享同一个不可替代的 HBA、交换机或控制器端口。
- 单独使一条路径失效时,map 仍保持可访问,其他路径承担后续 I/O。
- 路径恢复后能够重新进入可用状态,回切行为符合
failback设计。 - 应用使用的是
/dev/mapper/...或稳定的 multipath 标识,而不是单一路径设备。 - 所有路径同时失效时,队列、超时和应用行为符合业务要求。
如果只执行了 multipath -ll,最多证明系统当前看到了多路径状态;如果只看到多个 /dev/sdX,甚至还不能证明这些设备属于同一个 LUN。只有“路径拓扑确认 + map 状态检查 + 单路径受控故障 + 业务读写观察”四项结果一致,才能对冗余和故障切换做出可靠判断。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6900.html



