在Linux服务器部署Kubernetes集群前,要确认哪些节点与网络条件?

发布人:A5数据发布时间:2026-11-03 13:54阅读量:133

生产环境部署 Kubernetes 前,先确认节点能否长期承担控制面或工作负载、节点间网络是否满足所选 CNI 的通信要求,以及地址、端口、时间和资源是否与现有业务冲突。部署风险通常不在某条安装命令,而在节点身份或网段规划错误、网络策略遗漏、资源预留不足等前置条件;这些问题可能在集群初始化后才暴露,届时修正成本更高。

变更负责人应先盘点现状、确认影响范围并准备恢复方案,再按小批次实施和观察。以下核对适用于以 Linux 服务器部署 Kubernetes 的生产变更;具体资源要求、系统参数和网络端口,仍应以选定的 Kubernetes 版本、容器运行时和 CNI 方案为准。

现状核对:确认节点角色、资源与基础状态

建立节点清单并固定身份

为每台服务器记录主机名、管理地址、预计角色、操作系统版本、CPU、内存、磁盘和网卡。控制面节点、工作节点及可能使用的 etcd 节点应分别标明,避免后续配置时依赖临时 IP 或含义不清的主机名。

需要重点确认:

  • 节点管理地址稳定,重启后不会因 DHCP 地址变化而改变;多网卡服务器应明确 Kubernetes 使用哪张网卡及对应地址。
  • 主机名在集群内唯一,正向解析和反向解析(如环境要求)结果一致;节点间不能依赖短期有效的本地解析配置。
  • 操作系统版本、内核及架构处于所选 Kubernetes 版本和容器运行时的支持范围内。不要只凭“Linux”判断兼容性。
  • 节点间时间同步正常。时间偏差会影响证书有效期判断、日志排序和控制面组件协作。
  • 系统盘、容器数据盘和日志盘的容量及挂载点明确。磁盘使用率接近告警线时,不宜直接把节点纳入集群。

可先用只读命令收集基础信息,不会修改系统配置:

hostnamectl
ip -br address
ip route
timedatectl
df -hT
free -h
nproc
uname -r

若命令输出显示多张网卡、多个默认路由或时间同步未启用,应先与网络和系统负责人确认预期状态,不要在部署过程中临时猜测出口网卡或路由。

资源要按角色评估,而不是只看最低门槛

控制面节点需要为 API Server、调度器、控制器及 etcd 留出持续运行的资源;工作节点则要根据业务 Pod 的请求量、峰值和系统守护进程预留容量。仅满足安装组件的最低启动条件,并不等于适合生产负载。

可将以下数字作为规划参考,而非硬性门槛:小型、低负载环境的控制面节点通常从 2~4 个 vCPU、4~8 GiB 内存起步;生产环境应结合 API 请求量、对象规模、etcd 数据增长及高可用要求评估,不能把这个范围直接当作容量保证。工作节点按业务资源请求和峰值留量规划,同时为操作系统、容器运行时、日志与监控留出空间。若控制面和工作负载共用服务器,必须把业务高峰可能挤占控制面资源的风险纳入评审。

检查磁盘时要分别关注可用空间、inode、文件系统类型和 I/O 状况。etcd 对稳定磁盘延迟较敏感;如果控制面节点与工作负载争用同一块繁忙磁盘,容量看似充足也可能出现写入延迟。需要高可用时,还要确认控制面节点数量、故障域和恢复策略满足组织要求;增加节点并不会自动消除单机架、单电源或单网络出口造成的共同故障风险。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖不同CPU、内存、NVMe或大容量存储及网络线路方案,可为 Kubernetes 控制面、工作节点和业务服务提供多地区的硬件资源基础。针对数据库、接口服务与多任务容器负载,香港和美国的AMD EPYC系列提供不同配置选择;日本等地区也有Xeon Gold、AMD EPYC及多种存储方案,便于匹配不同部署区域与业务资源需求。

核实 Linux 与容器运行时条件

确认目标系统的 cgroup 版本及容器运行时配置一致。常见运行时需要与 kubelet 使用兼容的 cgroup 驱动;若两者不一致,节点可能无法稳定注册,或出现资源限制行为异常。具体选项随 Kubernetes、运行时和发行版版本而变化,应查对应版本文档并记录计划值,不能直接套用旧环境配置。

还需核对:

  • 是否启用了交换分区,以及目标 Kubernetes 版本和 kubelet 配置如何处理 swap。不同版本和配置的行为可能不同,变更前要确认兼容要求。
  • 内核模块、网络转发和桥接流量处理是否满足所选 CNI 的要求。
  • 防火墙、主机安全软件和云平台安全组是否会拦截节点通信。
  • 是否存在旧版容器运行时、已有 Kubernetes 组件或遗留网络规则,避免新旧配置相互影响。
  • 系统更新、重启和自动清理任务是否会在变更窗口内干扰部署。

变更准备:先锁定网段、端口和恢复边界

明确三类地址范围

部署前应同时确定节点地址、Pod CIDR 和 Service CIDR,并与现有办公网、业务网、云 VPC、数据中心路由及其他集群网段比对。三者不能发生非预期重叠,否则可能导致路由选择错误、服务访问异常或跨网段通信不可达。还要确认这些地址范围是否会被企业网络发布或用于对外路由;具体路由方式由所选 CNI 和网络架构决定。

如果计划让多个集群互通,或需要从集群外访问 Pod 地址,应提前与网络团队确定路由边界、地址发布方式和访问控制。不能因为当前集群内部测试可通,就推断跨网络访问也会成立。

按组件和方向核对防火墙规则

端口开放应遵循“按角色、按来源、按方向”核对,不建议为了省事关闭整机防火墙。下表列出常见 kubeadm 集群组件涉及的端口,实际部署仍需依版本、网络插件和配置复核。

组件或用途常见端口典型通信方向核对重点
Kubernetes API ServerTCP 6443管理端、工作节点到控制面仅允许集群管理网络和所需节点访问
etcd 客户端与节点通信TCP 2379、2380控制面节点之间及控制面组件到 etcd仅在使用对应 etcd 拓扑时开放,限制来源
kubelet APITCP 10250控制面组件到各节点不应对不可信网络开放
controller-manager、schedulerTCP 10257、10259通常为本机或控制面内部访问依部署配置限制访问范围
NodePort 服务TCP/UDP 30000–32767外部客户端到工作节点(仅使用时)可按实际服务缩小范围,不必默认全开
DNS、时间同步UDP/TCP 53、UDP 123节点到指定 DNS、NTP 服务按企业 DNS 与时间源策略配置
CNI 数据面由插件与模式决定节点之间及节点到 Pod 网络核对封装、路由或其他数据面所需协议

表中并未覆盖所有 CNI 端口。不同插件及其路由、封装模式可能使用不同协议和端口;应以最终选定的网络方案为准,逐条核对安全组、主机防火墙、上游 ACL 和路由策略。修改防火墙前,应备份现有规则、记录管理通道和回退方式,并避免在远程会话中一次性替换整套规则。

备份配置并划定影响范围

变更前保存节点清单、现有防火墙规则、路由与 DNS 配置、系统参数、运行时配置及关键业务的网络依赖。若服务器已有容器或业务进程,先确认它们是否使用计划中的地址段、端口、内核模块或运行时资源。对共享节点实施变更时,应与业务负责人确认可接受的影响范围和维护窗口。

另外,提前准备集群管理入口与证书规划。若控制面有高可用入口,应确认负载均衡地址稳定、健康检查目标明确,并在证书 SAN 中包含实际访问的 API 地址或域名。证书、DNS 和负载均衡若依赖变更窗口内尚未就绪的外部服务,不应直接进入初始化阶段。

分步实施:小批次推进,不把所有节点一次性改完配图

分步实施:小批次推进,不把所有节点一次性改完

  1. 冻结变更清单。 确认节点角色、地址规划、Kubernetes 版本、容器运行时、CNI、API 入口和端口规则均已评审。将待变更主机与暂不变更主机区分,避免误操作到生产业务节点。
  2. 先完成基础条件。 在维护窗口内处理系统版本、时间同步、磁盘挂载、运行时和必要内核网络参数。涉及重启的改动先安排单台验证,不在多个节点上并行执行。
  3. 验证控制面依赖。 从预定管理网络确认 API 入口解析与连通性;如果是高可用入口,检查后端节点健康状态。确认控制面节点之间所需的 etcd 通信不被拦截。
  4. 以少量节点试运行。 先选择一台可承受试点风险的控制面或工作节点,按既定方案接入并观察。不要同时更改全体节点的防火墙、网卡配置和运行时参数,以便出现问题时能定位变更来源。
  5. 逐批扩展。 只有试点节点通过节点注册、网络连通和资源检查后,才按故障域或业务批次继续推进。每批保留足够的可用节点容量,避免维护过程使业务失去调度余量。

变更记录至少包含执行时间、操作者、节点范围、配置差异、验证结果和未解决风险。若变更涉及网络路由或防火墙,应同时记录规则变更前后的差异,而不是只保存最终配置。

验证观察:从节点状态检查到真实通信

集群组件安装完成并不代表网络条件合格。验证应覆盖控制面可用性、节点状态、DNS、Pod 间通信、服务访问及节点重启后的配置持久性。

可以先进行只读检查:

kubectl get nodes -o wide
kubectl get pods -A -o wide
kubectl get events -A --sort-by=.lastTimestamp

重点查看节点是否持续为 Ready、Pod 是否存在反复重启或长时间未就绪、事件中是否出现网络插件未就绪、镜像拉取失败、证书错误或资源不足。事件信息可能随时间清理,应结合系统日志和集群监控保存关键记录。

网络验证应按路径拆分:节点到 API 入口、控制面节点之间、节点到 DNS、不同节点上的 Pod 互通,以及 Pod 到 ClusterIP 服务。若某一层失败,先区分是名称解析、路由、端口策略、CNI 数据面还是应用自身监听问题。不要只用节点间 ping 成功作为网络验收,因为它不能证明 Pod 网络、服务转发和 DNS 均正常。

验证观察:从节点状态检查到真实通信配图

观察指标至少包括:

  • 节点 Ready 状态、CPU 与内存余量、磁盘空间及 inode。
  • 控制面 API 请求错误率和延迟;使用 etcd 的环境还应关注健康状态、磁盘延迟和数据增长。
  • CNI 组件是否在所有目标节点正常运行,网络错误或丢包是否较基线增加。
  • DNS 查询成功率、服务发现延迟,以及业务关键服务的连接成功率。
  • 节点重启后地址、路由、时间同步、运行时和网络配置是否按预期恢复。

观察窗口应覆盖至少一个业务高峰或完整的关键业务周期;低负载环境可先安排数小时的初步观察,再根据业务周期延长。窗口长度应由业务风险和监控覆盖决定,不能仅凭短时间内 Pod 全部为 Running 就结束变更。

回滚条件:何时停止扩展、如何恢复

出现以下情况时,应暂停后续批次并评估回滚:控制面入口持续不可达或错误率明显升高;节点反复失去 Ready;Pod 网络或集群 DNS 在多个节点上持续失败;etcd 健康状态异常、磁盘延迟显著恶化;业务连接、延迟或错误率超过既定变更阈值;或者发现地址重叠、错误路由和防火墙规则误伤现网服务。

回滚方式取决于变更阶段。尚未初始化集群时,优先恢复已修改的系统参数、路由和防火墙规则,并将节点恢复到变更前状态。集群已初始化或已有业务工作负载后,不要直接删除数据目录、清空规则或批量重置节点;这类操作可能破坏 etcd、Pod 网络和业务数据。应先停止扩展,保留日志与配置差异,由集群和业务负责人确认恢复顺序;涉及控制面或持久化数据时,按预先验证过的备份与恢复方案执行。

变更结束的标准不是“命令返回成功”,而是关键节点状态稳定、网络路径验证通过、业务指标处于可接受范围,并在约定观察窗口内没有触发回滚阈值。窗口内若出现持续性异常,应按预案恢复到最近一个已验证状态,而不是继续叠加修复操作。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7394.html

相关推荐