Linux服务器部署Kubernetes集群要准备什么?节点角色、网络与资源隔离如何规划

发布人:A5数据发布时间:2026-10-23 09:41阅读量:111

首次部署 Kubernetes 集群时,Linux 服务器的数量并不是唯一准备项。需要同时确定控制平面与工作节点的角色、节点之间的可达关系、Pod 与 Service 使用的地址段、容器运行时、系统资源预留以及后续的隔离方式。规划不完整时,集群可能能够初始化,但节点长期处于 NotReady、Pod 无法跨节点通信,或者业务 Pod 挤占控制组件资源。

下面以 Ubuntu 22.04 LTS、containerd、kubeadm 和 Kubernetes v1.30 为示例,说明从零准备到首次验证的实施流程。命令中的 IP、域名、网卡名和版本号需要按实际环境替换;示例输出用于说明正常结果,不代表已经在某台服务器上执行。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,可作为 Kubernetes 控制平面与工作节点的硬件基础。不同产品覆盖 Xeon Gold、AMD EPYC、NVMe、 大容量存储、多 IP 及差异化带宽线路,能够承载网站、业务后台、数据库、容器服务和多任务计算等集群场景,并为跨地区部署提供相应的服务器资源。

一、先确定节点角色和基础拓扑

1. 控制平面与工作节点

Kubernetes 集群至少包含两类节点:

节点角色主要组件主要职责首次部署建议
控制平面节点kube-apiserver、kube-scheduler、kube-controller-manager、etcd保存集群状态,提供 API,负责调度与控制测试环境可使用 1 台,生产环境通常规划 3 台
工作节点kubelet、kube-proxy、容器运行时运行 Deployment、StatefulSet、Job 等业务 Pod至少 2 台,便于验证调度和节点故障转移

单控制平面结构配置简单,但控制平面服务器故障时,已有容器可能继续运行,集群管理和调度能力会受到影响。需要高可用时,建议使用 3 台控制平面节点,并为 API Server 准备一个稳定的负载均衡地址,例如:

k8s-api.example.com:6443

所有控制平面节点和工作节点都应通过这个地址访问 Kubernetes API。不要在初始化后随意更换 controlPlaneEndpoint,否则可能需要重新生成证书或重建集群。

一个适合首次测试的拓扑如下:

一、先确定节点角色和基础拓扑配图

cp01       10.10.10.11    控制平面、etcd
worker01   10.10.10.21    工作节点
worker02   10.10.10.22    工作节点

生产环境可以扩展为:

cp01       10.10.10.11    控制平面、etcd
cp02       10.10.10.12    控制平面、etcd
cp03       10.10.10.13    控制平面、etcd
worker01   10.10.10.21    工作节点
worker02   10.10.10.22    工作节点
worker03   10.10.10.23    工作节点

2. 资源参考

资源需要同时覆盖操作系统、Kubernetes 组件、日志、镜像缓存和业务容器。下面是首次部署时可以采用的起步规格:

节点类型vCPU内存系统盘额外规划
单控制平面测试节点2~4 核4~8 GiB50 GiB 以上etcd 数据需要稳定磁盘
高可用控制平面节点4 核以上8 GiB 以上80 GiB 以上3 台规格尽量接近
普通工作节点4 核以上8~16 GiB80 GiB 以上根据镜像和日志量增加数据盘
有状态业务节点4 核以上16 GiB 以上80 GiB 以上单独评估存储 IOPS 和容量

这些是部署起点,不是业务容量承诺。节点的可分配资源会小于物理资源,系统守护进程、kubelet、容器运行时和日志组件通常需要预留 10%~20%。例如,4 vCPU、8 GiB 内存的工作节点不能简单地按 4 vCPU、8 GiB 全量分配给业务 Pod。

二、规划网络、端口和资源边界

1. 区分三类地址段

Kubernetes 部署前至少需要区分以下三类网络:

二、规划网络、端口和资源边界配图

网络对象示例地址段用途规划要求
节点网络10.10.10.0/24服务器 SSH、节点间通信、访问 API节点之间应稳定互通
Pod 网络192.168.0.0/16Pod 的虚拟地址不能与节点网、办公网或其他互联网络重叠
Service 网络10.96.0.0/12ClusterIP 服务地址不能与节点网络和 Pod 网络重叠

Pod CIDR 和 Service CIDR 并不要求在物理交换机上单独创建对应 VLAN,但必须由 CNI 插件正确处理。选定地址段后,初始化参数、CNI 配置和后续排障都要保持一致。

如果现有企业网络已经使用 192.168.0.0/16,就不要直接照搬该 Pod 网段。例如可以将 Pod 网段改为 172.20.0.0/16,并在初始化时使用同一个值:

kubeadm init \
  --pod-network-cidr=172.20.0.0/16 \
  --service-cidr=10.96.0.0/12

使用多网卡服务器时,还要明确 Kubernetes 使用哪张网卡。节点 IP 应能够被其他节点访问,不能选择只在本机有效的回环地址或管理专用地址。

2. 准备必要端口

下表列出常见基础端口。CNI 的额外端口取决于其封装模式,不能仅根据下表配置所有防火墙规则。

方向端口用途
节点访问控制平面TCP 6443Kubernetes API Server
控制平面之间TCP 2379~2380etcd 客户端和节点通信
控制平面与工作节点TCP 10250kubelet API
节点之间TCP 10256kube-proxy 相关通信
外部访问节点服务TCP/UDP 30000~32767仅在使用 NodePort 时开放
CNI 节点之间由 CNI 决定可能使用 VXLAN、BGP 或其他网络模式

防火墙调整前应记录现有规则,并确保管理终端的 SSH 来源地址已经放行。直接启用防火墙或修改默认策略可能导致 SSH 中断,建议通过云平台控制台、带外管理或已验证的维护窗口操作。

三、逐台准备 Linux 系统

以下命令在所有控制平面和工作节点执行。示例以 root 用户为前提:

sudo -i

apt-get update
apt-get install -y ca-certificates curl gpg apt-transport-https \
  containerd chrony conntrack socat

systemctl enable --now chrony
systemctl enable --now containerd

先检查主机名、地址和时间:

hostnamectl
ip -br addr
timedatectl
swapon --show

正常情况下,所有节点应有唯一主机名,节点之间可以通过节点 IP 互相访问,timedatectl 显示系统时间同步正常。时间偏差较大时,etcd、证书和节点状态都可能出现误判。

1. 设置主机名和名称解析

以控制平面节点为例:

hostnamectl set-hostname cp01

如果环境没有可用的内部 DNS,可以在所有节点的 /etc/hosts 中加入固定解析。修改前建议保留备份:

cp -a /etc/hosts /etc/hosts.bak.$(date +%F-%H%M%S)

cat >> /etc/hosts <<'EOF'
10.10.10.11 cp01
10.10.10.21 worker01
10.10.10.22 worker02
EOF

验证:

getent hosts cp01 worker01 worker02
ping -c 2 worker01

ping 可能被防火墙禁止,因此还应使用端口测试验证实际通信,例如在控制平面节点测试 kubelet 端口:

nc -vz worker01 10250

2. 关闭交换分区并设置内核参数

kubelet 默认要求关闭 swap,先确认当前状态:

swapon --show

如果存在交换分区,以下操作会立即停用它,并修改 /etc/fstab 使重启后不再自动启用。该操作会改变主机的内存回收策略,执行前应确认业务不依赖 swap,并保留配置备份:

cp -a /etc/fstab /etc/fstab.bak.$(date +%F-%H%M%S)
swapoff -a
sed -ri '/\sswap\s/s/^/#/' /etc/fstab

加载 Kubernetes 常用内核模块和转发参数:

cat > /etc/modules-load.d/k8s.conf <<'EOF'
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter

cat > /etc/sysctl.d/99-kubernetes-cri.conf <<'EOF'
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

验证结果:

lsmod | grep -E 'overlay|br_netfilter'
sysctl net.ipv4.ip_forward
sysctl net.bridge.bridge-nf-call-iptables

预期 net.ipv4.ip_forward = 1,两个 bridge 参数也应返回 1。

3. 配置 containerd

生成默认配置并启用 systemd cgroup:

mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -ri 's/SystemdCgroup = false/SystemdCgroup = true/' \
  /etc/containerd/config.toml

systemctl restart containerd
systemctl enable containerd
systemctl --no-pager --full status containerd

检查配置是否生效:

grep -n "SystemdCgroup" /etc/containerd/config.toml
ctr version

应看到:

SystemdCgroup = true

如果镜像需要从内部仓库拉取,还需要在 containerd 中配置仓库证书、认证或镜像地址。不要在生产环境中为了绕过证书问题直接关闭 TLS 校验,应该先确认仓库 CA 和访问权限。

4. 安装 kubeadm、kubelet 和 kubectl

下面使用 Kubernetes v1.30 软件源示例。所有节点应使用相同的 Kubernetes 小版本,实际升级时再按版本兼容关系调整:

K8S_MINOR=v1.30

mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/${K8S_MINOR}/deb/Release.key \
  | gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] \
https://pkgs.k8s.io/core:/stable:/${K8S_MINOR}/deb/ /" \
  > /etc/apt/sources.list.d/kubernetes.list

apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
systemctl enable kubelet

验证:

kubeadm version
kubectl version --client
containerd --version

如果软件源无法访问,应优先配置企业内部软件镜像或在具备审批的情况下准备离线安装包,不要混用不同发行版或不同 Kubernetes 小版本的软件包。

四、初始化第一个控制平面

1. 执行 kubeadm init

单控制平面测试环境可以使用控制平面节点 IP 作为 API 地址。下面假设 cp01 的节点地址为 10.10.10.11:

kubeadm init \
  --apiserver-advertise-address=10.10.10.11 \
  --control-plane-endpoint=10.10.10.11:6443 \
  --pod-network-cidr=192.168.0.0/16 \
  --service-cidr=10.96.0.0/12

如果采用高可用结构,应将 --control-plane-endpoint 替换为负载均衡器或稳定 DNS 地址,例如:

kubeadm init \
  --apiserver-advertise-address=10.10.10.11 \
  --control-plane-endpoint=k8s-api.example.com:6443 \
  --pod-network-cidr=192.168.0.0/16 \
  --service-cidr=10.96.0.0/12 \
  --upload-certs

命令完成后会输出管理员 kubeconfig 配置方法以及工作节点加入命令。应将实际输出保存到受控位置,不要把包含 token 或证书密钥的内容发布到工单、群聊或公开代码仓库。

配置当前用户的 kubeconfig:

mkdir -p "$HOME/.kube"
cp -i /etc/kubernetes/admin.conf "$HOME/.kube/config"
chown "$(id -u)":"$(id -g)" "$HOME/.kube/config"

初步验证:

kubectl get nodes -o wide
kubectl get pods -A

此时控制平面节点显示 NotReady 并不一定是初始化失败,通常是因为还没有安装 CNI 网络插件。控制平面 Pod 应能在 kube-system 命名空间中看到,若 API Server 无法响应,则应先检查 kubelet 和容器运行时。

2. 安装 CNI 网络插件

下面以 Calico 示例清单为例,示例版本需要与所选 Kubernetes 版本及企业环境进行兼容性确认:

kubectl apply -f \
  https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/calico.yaml

如果前面使用的不是 192.168.0.0/16,需要在 CNI 清单中将 IP 池改为实际的 Pod 网段,不能让 kubeadm init 与 CNI 使用不同地址。

观察安装状态:

kubectl get pods -n kube-system -w

当网络插件就绪后,再检查节点:

kubectl get nodes

正常结果类似:

NAME       STATUS   ROLES           AGE   VERSION
cp01       Ready    control-plane   8m    v1.30.x

如果一直是 NotReady,先查看节点事件和网络插件日志,不要立即执行重置:

kubectl describe node cp01
kubectl get pods -n kube-system -o wide
kubectl logs -n kube-system -l k8s-app=calico-node --tail=100

3. 加入工作节点

在每台工作节点上执行控制平面初始化时输出的实际加入命令,格式通常如下:

kubeadm join 10.10.10.11:6443 \
  --token <实际-token> \
  --discovery-token-ca-cert-hash sha256:<实际哈希>

加入后,在控制平面节点检查:

kubectl get nodes -o wide

工作节点先显示 NotReady,随后应在 CNI Pod 启动完成后转为 Ready。如果 token 过期,可以在控制平面生成新的加入命令:

kubeadm token create --print-join-command

高可用控制平面节点不能使用普通 worker 加入命令,需要使用带 --control-plane 和证书密钥的控制平面加入命令。证书密钥应通过受控方式传递,并在暴露后及时轮换。

五、建立节点角色与资源隔离

1. 控制平面不承载普通业务

通过 kubeadm 初始化的控制平面通常带有 NoSchedule 污点。先检查:

kubectl describe node cp01 | grep -i Taints

如果输出中存在类似内容:

node-role.kubernetes.io/control-plane:NoSchedule

普通业务 Pod 不会被调度到该节点。不要为了“提高利用率”直接删除这个污点,除非是明确的单节点测试环境,并且已经接受控制平面与业务互相争抢 CPU、内存和磁盘的风险。

工作节点可以添加用途标签:

kubectl label node worker01 workload=general --overwrite
kubectl label node worker02 workload=general --overwrite

如果要建立专用计算节点,可以设置污点:

kubectl taint nodes worker02 workload=compute:NoSchedule

只有配置对应 toleration 的业务 Pod 才能调度到该节点。回滚该污点时:

kubectl taint nodes worker02 workload=compute:NoSchedule-

2. 使用 requests、limits 和命名空间配额

资源隔离不能只依靠节点数量。业务 Pod 应明确 CPU、内存请求值和上限,命名空间再使用 ResourceQuota 限制总量。示例:

五、建立节点角色与资源隔离配图

apiVersion: v1
kind: Namespace
meta
  name: team-a
---
apiVersion: v1
kind: ResourceQuota
meta
  name: team-a-quota
  namespace: team-a
spec:
  hard:
    requests.cpu: "4"
    requests.memory: 8Gi
    limits.cpu: "8"
    limits.memory: 16Gi
    pods: "50"
---
apiVersion: v1
kind: LimitRange
meta
  name: team-a-defaults
  namespace: team-a
spec:
  limits:
    - type: Container
      defaultRequest:
        cpu: 100m
        memory: 128Mi
      default:
        cpu: 500m
        memory: 512Mi

应用并验证:

kubectl apply -f team-a-resource.yaml
kubectl describe resourcequota -n team-a
kubectl describe limitrange -n team-a

资源请求值影响调度,限制值影响运行时上限。内存超出 limits.memory 可能触发 OOMKill,不能把内存上限简单设置得很小来“防止占用”。应结合应用启动峰值、缓存和并发量逐步调整。

3. 为业务指定节点范围

需要将业务固定到特定节点时,可以使用 nodeSelector 或 nodeAffinity:

apiVersion: apps/v1
kind: Deployment
meta
  name: web-demo
  namespace: team-a
spec:
  replicas: 2
  selector:
    matchLabels:
      app: web-demo
  template:
    meta
      labels:
        app: web-demo
    spec:
      nodeSelector:
        workload: general
      containers:
        - name: nginx
          image: nginx:1.27
          resources:
            requests:
              cpu: 100m
              memory: 128Mi
            limits:
              cpu: 500m
              memory: 512Mi
          ports:
            - containerPort: 80

验证调度位置:

kubectl apply -f web-demo.yaml
kubectl get pods -n team-a -o wide

如果 Pod 处于 Pending,应检查节点标签、污点、剩余可分配资源和配额,而不是直接删除 requests 或污点。

六、首次运行后的结果检查

建议按“节点—系统组件—网络—业务调度”的顺序验收。

1. 节点和系统组件

kubectl get nodes -o wide
kubectl get pods -A
kubectl get events -A --sort-by=.lastTimestamp | tail -n 30

检查重点:

  • 所有预期节点为 Ready。
  • kube-system 下的 CoreDNS、kube-proxy、CNI Pod 处于 Running 或正常完成状态。
  • 没有持续增长的 FailedMount、NetworkPluginNotReady、CrashLoopBackOff 事件。
  • 节点 INTERNAL-IP 使用的是可互通的节点地址。

2. 服务发现与跨节点网络

创建一个临时测试 Pod,验证集群 DNS:

kubectl run dns-test \
  --image=busybox:1.36 \
  --restart=Never \
  --rm -it \
  -- nslookup kubernetes.default.svc.cluster.local

正常时应返回 kubernetes.default.svc.cluster.local 对应的 Service 地址。若镜像拉取失败,先确认节点是否能访问镜像仓库,或改用企业内部镜像。

验证业务副本是否分散到多个节点:

kubectl get pods -n team-a -o wide

如果两个副本都被调度到同一节点,说明当前只有资源约束,没有设置反亲和或拓扑分布规则。这不代表集群异常,但不满足节点故障隔离目标时,还需要配置 topologySpreadConstraints 或 Pod 反亲和策略。

3. 服务访问范围

ClusterIP 默认只在集群内部访问。可以创建 Service 后检查端点:

kubectl expose deployment web-demo \
  --name=web-demo \
  --port=80 \
  --target-port=80 \
  -n team-a

kubectl get svc,endpoints -n team-a

如果需要从集群外访问,需明确使用 Ingress、负载均衡器或 NodePort,并单独审核端口暴露范围。不要为了测试长期开放全部 NodePort 端口。

七、常见失败处理顺序

节点一直为 NotReady

先看节点条件和 kubelet 日志:

七、常见失败处理顺序配图

kubectl describe node worker01
journalctl -u kubelet -n 100 --no-pager
systemctl status containerd

常见原因包括 swap 未关闭、containerd 未运行、cgroup 配置不一致、节点时间异常或 CNI 尚未就绪。先修复主机和运行时,再重新观察节点状态。

CoreDNS 一直 Pending

执行:

kubectl describe pod -n kube-system -l k8s-app=kube-dns
kubectl get nodes

如果所有节点都不可调度,检查控制平面污点、工作节点状态和资源配额。如果 CoreDNS 已调度但启动失败,则继续查看其日志和 CNI 状态。

Pod 显示网络未就绪

检查 Pod 网段是否在 kubeadm init、CNI 配置和现有网络中保持一致:

kubectl get pods -n kube-system -o wide
kubectl get ippools.crd.projectcalico.org -o yaml
ip route

如果 Pod 网段与节点网络重叠,通常不建议在线强行修改,应在保留配置和业务数据后按回滚流程重建网络或集群。

工作节点无法加入

从工作节点测试 API Server:

nc -vz 10.10.10.11 6443
curl -k https://10.10.10.11:6443/healthz

若端口不通,优先检查路由、防火墙和控制平面监听地址;若端口可通但加入失败,检查 token 是否过期、CA 哈希是否正确,以及节点上的 kubeadm、kubelet、containerd 版本是否一致。

八、验收与回滚检查项

验收时至少记录以下内容:

  • 节点主机名、节点 IP、角色标签和 Kubernetes 版本。
  • 控制平面 API 地址、Pod CIDR、Service CIDR 和 CNI 版本。
  • kubectl get nodes 中所有节点均为 Ready。
  • CoreDNS、kube-proxy、CNI 组件状态正常。
  • DNS 查询成功,跨节点 Pod 通信成功。
  • 控制平面污点符合预期,普通业务不会误调度到控制平面。
  • 业务命名空间已设置 requests、limits、ResourceQuota 和 LimitRange。
  • 防火墙只开放必要端口,SSH 管理来源已保留。
  • /etc/kubernetes、/var/lib/etcd 以及业务清单和持久化数据已有备份或明确不需要保留。

首次部署失败时,不要直接在未知状态下反复执行 kubeadm init。如果集群没有需要保留的业务数据,可在确认影响范围后执行回滚;该操作会移除节点上的 kubeadm 管理状态,不能替代 etcd 或业务数据备份:

kubeadm reset -f
systemctl stop kubelet
systemctl restart containerd

仅在该节点不再承载其他容器网络时,才考虑清理 CNI 残留配置,例如 /etc/cni/net.d 和 /var/lib/cni。控制平面节点回滚前,应先保存 /etc/kubernetes、etcd 数据及初始化参数;工作节点回滚前,应先将业务 Pod 驱逐到其他节点:

kubectl drain worker01 \
  --ignore-daemonsets \
  --delete-emptydir-data

drain 会影响该节点上的业务调度,--delete-emptydir-data 可能删除临时目录数据,执行前必须确认业务不依赖这些数据。完成重建或放弃该节点后,再解除不可调度状态:

kubectl uncordon worker01

如果只是单个工作节点加入失败,优先重置并重新加入该节点;如果是 Pod 网段、Service 网段或控制平面地址规划错误,则应保存诊断信息和数据后整体按规划重建,避免在地址冲突的基础上继续叠加配置。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5218.html

相关推荐