部署Ceph存储集群前,香港服务器的内网互通与磁盘条件如何检查?

发布人:A5数据发布时间:2026-10-11 15:53阅读量:127

服务器已经交付、Ceph开始初始化后,才发现节点之间只能通过公网通信,或者所谓“独立数据盘”实际挂载着业务目录,往往意味着重新调整网络、迁移数据甚至更换资源。部署前验收的重点,不是确认服务器能登录、磁盘容量够大,而是确认:所有计划参与集群的节点具备符合设计的内网通信路径,所有计划交给OSD的设备都具备明确、独占且可验证的使用条件。

对于香港服务器,应分别检查内网归属与带宽边界、节点间双向通信、链路质量,以及磁盘映射、占用状态和健康情况。“同在香港”“都有内网IP”“标配SSD”都不能单独作为通过依据。下面按照交付验收对象列出核对项;示例命令以常见Linux环境为基础,执行前应替换网卡名、地址和设备名。

一、内网交付对象:先确认连接的是同一张可用网络

核对项:服务器之间是否真正具备私网互通条件

香港服务器可能位于不同机房、不同网络分区,或者属于不同租户网络。即使地址都落在私有地址段,也不代表彼此可达,更不代表通信不会经过公网。

验收前应取得节点与网络对应表,至少包含:

交付对象需要确认的内容判断依据
每台集群节点主机名、内网IP、掩码、网关、所在网络分区地址唯一,分配关系清楚
内网连接同一二层网络,还是通过三层路由互通与实际地址、路由和交付说明一致
内网隔离是否与其他租户隔离,节点间是否有访问控制明确隔离范围及允许的通信范围
内网带宽网卡速率、实例限速、端口限速、共享上联不把网卡标称速率当成端到端保证带宽
网络交付范围是否跨机房、跨网络分区,有无额外限制或费用得到明确的书面说明
管理权限是否可查看路由、接口及防火墙规则能完成核验,或由交付方提供对应结果

向A5IDC或其他交付方确认配置时,应把“节点之间的内网互通和可用带宽”单独列为交付项,不要用公网带宽参数代替。服务器面向互联网的线路类型,不能直接证明Ceph内部复制链路的性能。

核对项:Ceph的两类网络是否有明确规划

Ceph中的网络用途需要分清:

  • Public network:主要承载客户端访问和集群服务通信,MON通常位于此网络。
  • Cluster network:可选,用于OSD之间的复制、恢复、回填等流量。

这里的“public”是Ceph的网络命名,不等于必须使用互联网公网地址。它完全可以部署在受控的私网中。

验收时有两种合理结果:

一、内网交付对象:先确认连接的是同一张可用网络配图

网络方案可以通过的条件需要注意的边界
共用一张私网客户端访问、OSD复制与恢复所需带宽均已考虑故障恢复可能与正常业务争用链路
分离public与cluster网络两侧地址、路由、访问规则和带宽分别核验仅划分两个VLAN但共用同一瓶颈上联,不等于获得独立容量

不要为了形式上的“双网”强行增加复杂度。但如果设计已经采用双网,就不能只检查管理地址互通后宣布网络验收通过。

二、节点地址与通信路径:按节点对检查,而不是只测网关

核对项:源地址、路由和返回路径是否正确

在每台节点上查看接口及到其他节点的路由:

ip -br addr
ip route
ip route get 10.20.0.12

其中10.20.0.12是另一台节点的示例内网地址。重点检查:

  • 目标地址是否通过计划中的内网接口到达。
  • src显示的源地址是否属于预期网络。
  • 是否意外走了公网默认路由或其他管理网络。
  • 多网卡、多子网环境中,返回方向是否同样可达。

如果设计采用三层私网,经过私网网关并不意味着异常;判断依据是路径是否符合交付方案,而不是机械要求所有节点都处于同一网段。

建议建立节点对核验表。三台节点至少检查A—B、A—C、B—C,并确认每一对都能双向通信。仅从一台管理机连接所有节点,无法证明节点之间可以相互访问。

核对项:基础连通、MTU和必要端口是否匹配

先做轻量连通测试:

ping -c 20 -I 10.20.0.11 10.20.0.12

-I后的地址为本机计划使用的内网地址。没有收到回复时,需要区分ICMP被限制和实际链路不通,不能直接把两者等同。

MTU应按实际路径核验。对于IPv4、MTU为1500的路径,可使用以下测试:

ping -c 5 -M do -s 1472 -I 10.20.0.11 10.20.0.12

这里1472字节负载,加上通常的20字节IPv4头和8字节ICMP头,对应1500字节IP报文。只有端到端已经配置MTU 9000时,才适合进一步测试8972字节负载。

巨帧不是Ceph部署的必选条件,端到端一致且稳定的MTU比盲目提高数值更重要。 某一段不支持巨帧,或者中间路径不能正确处理相关报文,都可能造成小包正常、大包异常。不能只看服务器网卡上的MTU配置。

Ceph端口应根据所选版本及最终配置确认,常见核对范围如下:

通信对象常见端口验收重点
MONTCP 3300、6789是否启用对应协议,以及客户端和节点能否访问
OSD等守护进程常见为TCP 6800—7568范围核对版本默认值及是否调整过端口范围
临时吞吐测试iperf3默认TCP 5201仅在授权测试范围内临时使用

端口核验不是让所有接口对所有来源开放。规则应限定集群地址及实际客户端来源;双网方案还要分别确认public侧和cluster侧需要的通信。

守护进程尚未启动时,端口没有监听是正常现象。 部署前可以核对规则、开展授权的临时监听测试,但不能把“连接被拒绝”直接认定为防火墙阻断。实际Ceph端口的端到端验证,需要在服务启动后补做。

三、内网链路质量:验证可用吞吐,而不只看“万兆网卡”

核对项:空闲时延、丢包和异常波动

同一机房内的私网通常应表现出较低且稳定的时延。如果空闲状态下就反复出现丢包、明显抖动或偶发高延迟,应先查清原因,再进入部署阶段。

这里不宜给所有香港服务器套用同一个时延门槛:同机架、跨交换机和跨机房路径的基线不同。合理的判断方式是:

  1. 对同一交付范围内的所有节点对使用一致的测试方法。
  2. 比较平均时延、峰值及丢包情况,识别明显偏离其他节点对的链路。
  3. 对异常结果在不同时段复测,并结合交换机端口和主机网卡计数确认原因。

有限样本中没有观察到丢包,不等于链路永远不会丢包;但持续测试中反复出现丢包,不能以“偶尔能ping通”作为通过依据。

核对项:单向、反向及并发条件下的吞吐

可用iperf3做部署前的网络吞吐验证。以下示例要求相关工具已经安装,并且测试地址与端口已获授权。

在接收端启动:

iperf3 -s -B 10.20.0.12

在另一台节点测试:

iperf3 -c 10.20.0.12 -B 10.20.0.11 -t 60
iperf3 -c 10.20.0.12 -B 10.20.0.11 -t 60 -R
iperf3 -c 10.20.0.12 -B 10.20.0.11 -t 60 -P 4

分别观察正常方向、反向和多连接吞吐。测试会占用真实带宽,应安排在无业务或批准的窗口内,控制并发数量;结束后通过Ctrl+C停止临时服务,不应长期保留测试监听。

验收结果至少应区分:

测试结果可以说明什么不能直接说明什么
单连接吞吐正常该节点对的单流传输能力符合预期整个集群同时传输时仍有同等能力
多连接吞吐提高多流下能利用更多链路能力单个业务请求一定达到同样速率
双向结果接近未发现明显方向性差异多节点共享上联不存在瓶颈
多节点同时测试正常指定并发场景下未出现明显争用Ceph最终业务性能已经通过验收

吞吐测试还会受到CPU、虚拟化调度和测试进程本身影响。如果结果偏低,先区分服务器侧限制与网络侧限制,不宜直接归因于机房线路。

带宽判断需要与恢复要求联系起来。例如,10Gbps按十进制换算,理论上限为1.25GB/s。仅将1TB数据通过一条这样的链路传输,理想下限就是:

1000GB × 8 ÷ 10Gbps = 800秒,约13.3分钟。

实际还存在协议开销、业务争用、磁盘读写和恢复调度,因此完成时间会更长。这个估算只是单条链路的传输下限,不代表Ceph恢复承诺。如果交付要求在较短时间内恢复大量数据,就必须同时核对共享上联和磁盘吞吐,不能只验收网卡型号。

围绕香港Ceph集群的节点资源需求,A5数据提供Xeon Gold、AMD EPYC等物理服务器,涵盖不同核心规模、内存容量及SSD、NVMe存储配置,为存储服务与计算任务提供硬件基础。香港存储系列另有配备四块14TB企业级机械硬盘的机型,面向大容量文件、备份与归档场景,形成从计算型节点到容量型存储的资源选择。

四、OSD候选磁盘:确认身份、独占和可用状态

核对项:交付的磁盘是否与系统识别结果一致

验收时应按“物理或虚拟设备—系统设备路径—计划用途”逐一对应,而不是只核对磁盘总容量。

lsblk -o NAME,PATH,SIZE,TYPE,ROTA,FSTYPE,MOUNTPOINT,MODEL,SERIAL
findmnt

建议为每块OSD候选盘记录以下信息:

磁盘属性需要核对的内容判断依据
身份型号、序列号、稳定设备标识能与交付清单及后续运维记录对应
容量单盘容量、设备数量单位口径一致,不只比较界面上的数字
介质HDD、SATA/SAS SSD、NVMe或虚拟磁盘不能只凭ROTA字段判定真实底层介质
控制器直通、HBA、硬件RAID或虚拟控制器能解释设备呈现方式及缓存策略
用途系统盘、数据盘、DB/WAL设备不与系统或其他业务混用
稳定路径/dev/disk/by-id/等设备标识避免重启后仅凭/dev/sdX误认设备

例如,标称1TB的磁盘通常对应约931GiB,这是十进制与二进制口径不同,不应直接判定为容量不足。但如果交付说有多块独立磁盘,系统中却只看到一个RAID逻辑卷,就需要进一步确认呈现方式。

Ceph通常更适合直接管理独立设备。已经存在硬件RAID时,不能把它当作透明直通:RAID层可能隐藏单盘健康状态、改变故障表现,并引入缓存策略。是否接受,应结合具体控制器、故障域设计和运维能力决定。

四、OSD候选磁盘:确认身份、独占和可用状态配图

核对项:磁盘是否已被占用或包含残留数据

对于计划以“空闲整盘”方式交给新OSD的设备,应确认它没有被挂载、没有承载系统目录、没有属于现有LVM或其他存储业务。

在已安装对应工具的环境中,可补充查看:

sudo pvs
sudo lvs -a -o +devices
sudo wipefs -n /dev/sdb

其中/dev/sdb必须替换为已核对身份的候选设备。wipefs -n仅查看签名、不执行擦除,但它不能单独证明磁盘中没有业务数据,需要与挂载、分区和卷管理信息一起判断。

如果所选Ceph版本的工具已经就绪,还可以查看:

sudo ceph-volume inventory --format json

重点看设备是否可用,以及被拒绝的原因。工具显示可用,只说明它满足相关技术检查,不等于已经取得数据清除授权。

发现旧文件系统、LVM元数据或历史Ceph签名时,应标记为“待确认”,不能为了让验收通过直接清盘。 清理属于下一阶段操作,需要先确认数据归属、备份与恢复方式,并审批影响范围;未解决前,不应把该盘交给自动化部署流程。

五、磁盘健康与写入条件:识别能使用但不适合交付的设备

核对项:设备能否提供可信的健康信息

磁盘能被识别,并不代表适合承担持续写入和恢复负载。应按设备类型查看健康数据:

sudo smartctl -x /dev/sdb
sudo nvme smart-log /dev/nvme0

前者适用于相应工具能够访问的磁盘;后者适用于已安装nvme-cli且实际存在的NVMe控制器设备。硬件RAID后面的磁盘可能需要控制器特定参数,不能将“读取失败”直接等同于磁盘故障。

不同介质的判断重点应分别对应:

设备类型重点核对项需要追问或复核的情况
HDD重映射、待处理及不可校正扇区,错误记录存在待处理扇区、不可校正错误,或相关计数持续增长
SATA/SAS SSD剩余寿命、介质错误、累计写入及厂商属性健康度下降、错误增长,或属性含义无法确认
NVMe SSDCritical Warning、Available Spare、Percentage Used、介质与数据完整性错误出现严重告警、备用空间不足,或错误持续增加
RAID逻辑盘成员盘状态、阵列降级、控制器缓存保护阵列降级、成员异常、写缓存保护失效
虚拟磁盘后端介质、共享方式、IOPS及吞吐限制无法确认持久性、限速规则或故障域

不能只看一行“PASSED”就通过验收。部分指标依赖厂商定义,历史错误也需要结合当前状态和增量解释。

对于云服务器,客户往往无法直接读取物理盘SMART。此时应改为核对云盘交付规格、后端冗余说明和性能限制,而不是把“读不到SMART”直接判为不合格;同时也不能把多块虚拟盘视为多个独立物理故障域。

核对项:写入耐久、缓存保护与共享关系是否符合用途

Ceph OSD使用BlueStore时,既涉及数据写入,也涉及元数据相关操作。部署前需要确认:

五、磁盘健康与写入条件:识别能使用但不适合交付的设备配图

  • SSD写入耐久是否适合预期负载,而不是仅比较容量。
  • 设备写缓存及控制器缓存如何处理掉电风险。
  • 计划放置DB/WAL的设备是否具备足够容量与性能。
  • 多个OSD是否共享同一块DB/WAL设备,以及该设备故障会影响多少OSD。
  • 虚拟磁盘是否存在突发额度耗尽后的性能下降。

没有掉电保护并不自动意味着不能部署,但不能把它与具备相应保护能力的设备视为同等交付条件。系统、控制器和设备也必须正确兑现持久化语义,不能以忽略同步写要求换取测试成绩。

磁盘性能测试应区分空盘验收与带数据设备复核。空盘测试也需先确认设备身份和清除授权;带数据设备不应直接运行裸盘写入测试。已有文件系统上的文件测试,只能反映该路径下的表现,不能替代计划中OSD设备路径的验证。

如果实际只有低性能共享云盘,即使Ceph可以启动,也不应据此认定磁盘条件满足生产要求。

六、验收判定:哪些条件允许进入初始化,哪些必须先处理

部署前检查不必证明未来所有性能指标,但必须排除会导致选错网络、误用磁盘或形成明显故障隐患的问题。

验收对象可以进入下一阶段的条件应暂缓部署的情况
内网归属网络范围、路由和带宽边界明确仅有内网IP,无法确认节点间实际路径
节点互通所有必要节点对双向可达部分节点只能单向访问或依赖公网绕行
MTU与链路MTU与路径一致,无未解释的持续丢包小包正常、大包异常,或明显波动未解决
通信规则规则范围与所选Ceph版本及拓扑对应必要通信被阻断,或只能依赖过度开放
OSD设备身份清楚、用途独占、占用状态已确认系统盘混用、数据归属不明、残留签名待处理
磁盘健康无未处理的严重告警,耐久和缓存条件明确介质错误、阵列降级、持久性条件不清
故障域主机、磁盘及共享组件关系已确认多台虚拟机或多块虚拟盘被误当作独立物理资源

留证不需要堆积大量截图。保存节点地址表、必要节点对的连通与吞吐结果、磁盘序列号及用途表、健康检查摘要,通常就能支撑交付复核。记录中应注明测试时间、源和目标、测试方向及并发条件,避免拿不同条件下的结果直接比较。

通过这些检查后,再进入Ceph初始化。服务启动后补做实际端口访问、OSD设备映射及恢复流量验证;如果发现网络路径、设备身份或共享故障域与交付记录不一致,应先停止扩大部署范围。内网条件决定节点能否按设计协同,磁盘条件决定数据能否被正确接管,两者都确认后,集群初始化才有可靠的起点。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3179.html

相关推荐