Linux服务器部署Kubernetes集群要准备什么?节点角色、网络与资源隔离如何规划
首次部署 Kubernetes 集群时,Linux 服务器的数量并不是唯一准备项。需要同时确定控制平面与工作节点的角色、节点之间的可达关系、Pod 与 Service 使用的地址段、容器运行时、系统资源预留以及后续的隔离方式。规划不完整时,集群可能能够初始化,但节点长期处于 NotReady、Pod 无法跨节点通信,或者业务 Pod 挤占控制组件资源。
下面以 Ubuntu 22.04 LTS、containerd、kubeadm 和 Kubernetes v1.30 为示例,说明从零准备到首次验证的实施流程。命令中的 IP、域名、网卡名和版本号需要按实际环境替换;示例输出用于说明正常结果,不代表已经在某台服务器上执行。
A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,可作为 Kubernetes 控制平面与工作节点的硬件基础。不同产品覆盖 Xeon Gold、AMD EPYC、NVMe、 大容量存储、多 IP 及差异化带宽线路,能够承载网站、业务后台、数据库、容器服务和多任务计算等集群场景,并为跨地区部署提供相应的服务器资源。
一、先确定节点角色和基础拓扑
1. 控制平面与工作节点
Kubernetes 集群至少包含两类节点:
| 节点角色 | 主要组件 | 主要职责 | 首次部署建议 |
|---|---|---|---|
| 控制平面节点 | kube-apiserver、kube-scheduler、kube-controller-manager、etcd | 保存集群状态,提供 API,负责调度与控制 | 测试环境可使用 1 台,生产环境通常规划 3 台 |
| 工作节点 | kubelet、kube-proxy、容器运行时 | 运行 Deployment、StatefulSet、Job 等业务 Pod | 至少 2 台,便于验证调度和节点故障转移 |
单控制平面结构配置简单,但控制平面服务器故障时,已有容器可能继续运行,集群管理和调度能力会受到影响。需要高可用时,建议使用 3 台控制平面节点,并为 API Server 准备一个稳定的负载均衡地址,例如:
k8s-api.example.com:6443
所有控制平面节点和工作节点都应通过这个地址访问 Kubernetes API。不要在初始化后随意更换 controlPlaneEndpoint,否则可能需要重新生成证书或重建集群。
一个适合首次测试的拓扑如下:

cp01 10.10.10.11 控制平面、etcd
worker01 10.10.10.21 工作节点
worker02 10.10.10.22 工作节点
生产环境可以扩展为:
cp01 10.10.10.11 控制平面、etcd
cp02 10.10.10.12 控制平面、etcd
cp03 10.10.10.13 控制平面、etcd
worker01 10.10.10.21 工作节点
worker02 10.10.10.22 工作节点
worker03 10.10.10.23 工作节点
2. 资源参考
资源需要同时覆盖操作系统、Kubernetes 组件、日志、镜像缓存和业务容器。下面是首次部署时可以采用的起步规格:
| 节点类型 | vCPU | 内存 | 系统盘 | 额外规划 |
|---|---|---|---|---|
| 单控制平面测试节点 | 2~4 核 | 4~8 GiB | 50 GiB 以上 | etcd 数据需要稳定磁盘 |
| 高可用控制平面节点 | 4 核以上 | 8 GiB 以上 | 80 GiB 以上 | 3 台规格尽量接近 |
| 普通工作节点 | 4 核以上 | 8~16 GiB | 80 GiB 以上 | 根据镜像和日志量增加数据盘 |
| 有状态业务节点 | 4 核以上 | 16 GiB 以上 | 80 GiB 以上 | 单独评估存储 IOPS 和容量 |
这些是部署起点,不是业务容量承诺。节点的可分配资源会小于物理资源,系统守护进程、kubelet、容器运行时和日志组件通常需要预留 10%~20%。例如,4 vCPU、8 GiB 内存的工作节点不能简单地按 4 vCPU、8 GiB 全量分配给业务 Pod。
二、规划网络、端口和资源边界
1. 区分三类地址段
Kubernetes 部署前至少需要区分以下三类网络:

| 网络对象 | 示例地址段 | 用途 | 规划要求 |
|---|---|---|---|
| 节点网络 | 10.10.10.0/24 | 服务器 SSH、节点间通信、访问 API | 节点之间应稳定互通 |
| Pod 网络 | 192.168.0.0/16 | Pod 的虚拟地址 | 不能与节点网、办公网或其他互联网络重叠 |
| Service 网络 | 10.96.0.0/12 | ClusterIP 服务地址 | 不能与节点网络和 Pod 网络重叠 |
Pod CIDR 和 Service CIDR 并不要求在物理交换机上单独创建对应 VLAN,但必须由 CNI 插件正确处理。选定地址段后,初始化参数、CNI 配置和后续排障都要保持一致。
如果现有企业网络已经使用 192.168.0.0/16,就不要直接照搬该 Pod 网段。例如可以将 Pod 网段改为 172.20.0.0/16,并在初始化时使用同一个值:
kubeadm init \
--pod-network-cidr=172.20.0.0/16 \
--service-cidr=10.96.0.0/12
使用多网卡服务器时,还要明确 Kubernetes 使用哪张网卡。节点 IP 应能够被其他节点访问,不能选择只在本机有效的回环地址或管理专用地址。
2. 准备必要端口
下表列出常见基础端口。CNI 的额外端口取决于其封装模式,不能仅根据下表配置所有防火墙规则。
| 方向 | 端口 | 用途 |
|---|---|---|
| 节点访问控制平面 | TCP 6443 | Kubernetes API Server |
| 控制平面之间 | TCP 2379~2380 | etcd 客户端和节点通信 |
| 控制平面与工作节点 | TCP 10250 | kubelet API |
| 节点之间 | TCP 10256 | kube-proxy 相关通信 |
| 外部访问节点服务 | TCP/UDP 30000~32767 | 仅在使用 NodePort 时开放 |
| CNI 节点之间 | 由 CNI 决定 | 可能使用 VXLAN、BGP 或其他网络模式 |
防火墙调整前应记录现有规则,并确保管理终端的 SSH 来源地址已经放行。直接启用防火墙或修改默认策略可能导致 SSH 中断,建议通过云平台控制台、带外管理或已验证的维护窗口操作。
三、逐台准备 Linux 系统
以下命令在所有控制平面和工作节点执行。示例以 root 用户为前提:
sudo -i
apt-get update
apt-get install -y ca-certificates curl gpg apt-transport-https \
containerd chrony conntrack socat
systemctl enable --now chrony
systemctl enable --now containerd
先检查主机名、地址和时间:
hostnamectl
ip -br addr
timedatectl
swapon --show
正常情况下,所有节点应有唯一主机名,节点之间可以通过节点 IP 互相访问,timedatectl 显示系统时间同步正常。时间偏差较大时,etcd、证书和节点状态都可能出现误判。
1. 设置主机名和名称解析
以控制平面节点为例:
hostnamectl set-hostname cp01
如果环境没有可用的内部 DNS,可以在所有节点的 /etc/hosts 中加入固定解析。修改前建议保留备份:
cp -a /etc/hosts /etc/hosts.bak.$(date +%F-%H%M%S)
cat >> /etc/hosts <<'EOF'
10.10.10.11 cp01
10.10.10.21 worker01
10.10.10.22 worker02
EOF
验证:
getent hosts cp01 worker01 worker02
ping -c 2 worker01
ping 可能被防火墙禁止,因此还应使用端口测试验证实际通信,例如在控制平面节点测试 kubelet 端口:
nc -vz worker01 10250
2. 关闭交换分区并设置内核参数
kubelet 默认要求关闭 swap,先确认当前状态:
swapon --show
如果存在交换分区,以下操作会立即停用它,并修改 /etc/fstab 使重启后不再自动启用。该操作会改变主机的内存回收策略,执行前应确认业务不依赖 swap,并保留配置备份:
cp -a /etc/fstab /etc/fstab.bak.$(date +%F-%H%M%S)
swapoff -a
sed -ri '/\sswap\s/s/^/#/' /etc/fstab
加载 Kubernetes 常用内核模块和转发参数:
cat > /etc/modules-load.d/k8s.conf <<'EOF'
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
cat > /etc/sysctl.d/99-kubernetes-cri.conf <<'EOF'
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
验证结果:
lsmod | grep -E 'overlay|br_netfilter'
sysctl net.ipv4.ip_forward
sysctl net.bridge.bridge-nf-call-iptables
预期 net.ipv4.ip_forward = 1,两个 bridge 参数也应返回 1。
3. 配置 containerd
生成默认配置并启用 systemd cgroup:
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -ri 's/SystemdCgroup = false/SystemdCgroup = true/' \
/etc/containerd/config.toml
systemctl restart containerd
systemctl enable containerd
systemctl --no-pager --full status containerd
检查配置是否生效:
grep -n "SystemdCgroup" /etc/containerd/config.toml
ctr version
应看到:
SystemdCgroup = true
如果镜像需要从内部仓库拉取,还需要在 containerd 中配置仓库证书、认证或镜像地址。不要在生产环境中为了绕过证书问题直接关闭 TLS 校验,应该先确认仓库 CA 和访问权限。
4. 安装 kubeadm、kubelet 和 kubectl
下面使用 Kubernetes v1.30 软件源示例。所有节点应使用相同的 Kubernetes 小版本,实际升级时再按版本兼容关系调整:
K8S_MINOR=v1.30
mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/${K8S_MINOR}/deb/Release.key \
| gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] \
https://pkgs.k8s.io/core:/stable:/${K8S_MINOR}/deb/ /" \
> /etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
systemctl enable kubelet
验证:
kubeadm version
kubectl version --client
containerd --version
如果软件源无法访问,应优先配置企业内部软件镜像或在具备审批的情况下准备离线安装包,不要混用不同发行版或不同 Kubernetes 小版本的软件包。
四、初始化第一个控制平面
1. 执行 kubeadm init
单控制平面测试环境可以使用控制平面节点 IP 作为 API 地址。下面假设 cp01 的节点地址为 10.10.10.11:
kubeadm init \
--apiserver-advertise-address=10.10.10.11 \
--control-plane-endpoint=10.10.10.11:6443 \
--pod-network-cidr=192.168.0.0/16 \
--service-cidr=10.96.0.0/12
如果采用高可用结构,应将 --control-plane-endpoint 替换为负载均衡器或稳定 DNS 地址,例如:
kubeadm init \
--apiserver-advertise-address=10.10.10.11 \
--control-plane-endpoint=k8s-api.example.com:6443 \
--pod-network-cidr=192.168.0.0/16 \
--service-cidr=10.96.0.0/12 \
--upload-certs
命令完成后会输出管理员 kubeconfig 配置方法以及工作节点加入命令。应将实际输出保存到受控位置,不要把包含 token 或证书密钥的内容发布到工单、群聊或公开代码仓库。
配置当前用户的 kubeconfig:
mkdir -p "$HOME/.kube"
cp -i /etc/kubernetes/admin.conf "$HOME/.kube/config"
chown "$(id -u)":"$(id -g)" "$HOME/.kube/config"
初步验证:
kubectl get nodes -o wide
kubectl get pods -A
此时控制平面节点显示 NotReady 并不一定是初始化失败,通常是因为还没有安装 CNI 网络插件。控制平面 Pod 应能在 kube-system 命名空间中看到,若 API Server 无法响应,则应先检查 kubelet 和容器运行时。
2. 安装 CNI 网络插件
下面以 Calico 示例清单为例,示例版本需要与所选 Kubernetes 版本及企业环境进行兼容性确认:
kubectl apply -f \
https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/calico.yaml
如果前面使用的不是 192.168.0.0/16,需要在 CNI 清单中将 IP 池改为实际的 Pod 网段,不能让 kubeadm init 与 CNI 使用不同地址。
观察安装状态:
kubectl get pods -n kube-system -w
当网络插件就绪后,再检查节点:
kubectl get nodes
正常结果类似:
NAME STATUS ROLES AGE VERSION
cp01 Ready control-plane 8m v1.30.x
如果一直是 NotReady,先查看节点事件和网络插件日志,不要立即执行重置:
kubectl describe node cp01
kubectl get pods -n kube-system -o wide
kubectl logs -n kube-system -l k8s-app=calico-node --tail=100
3. 加入工作节点
在每台工作节点上执行控制平面初始化时输出的实际加入命令,格式通常如下:
kubeadm join 10.10.10.11:6443 \
--token <实际-token> \
--discovery-token-ca-cert-hash sha256:<实际哈希>
加入后,在控制平面节点检查:
kubectl get nodes -o wide
工作节点先显示 NotReady,随后应在 CNI Pod 启动完成后转为 Ready。如果 token 过期,可以在控制平面生成新的加入命令:
kubeadm token create --print-join-command
高可用控制平面节点不能使用普通 worker 加入命令,需要使用带 --control-plane 和证书密钥的控制平面加入命令。证书密钥应通过受控方式传递,并在暴露后及时轮换。
五、建立节点角色与资源隔离
1. 控制平面不承载普通业务
通过 kubeadm 初始化的控制平面通常带有 NoSchedule 污点。先检查:
kubectl describe node cp01 | grep -i Taints
如果输出中存在类似内容:
node-role.kubernetes.io/control-plane:NoSchedule
普通业务 Pod 不会被调度到该节点。不要为了“提高利用率”直接删除这个污点,除非是明确的单节点测试环境,并且已经接受控制平面与业务互相争抢 CPU、内存和磁盘的风险。
工作节点可以添加用途标签:
kubectl label node worker01 workload=general --overwrite
kubectl label node worker02 workload=general --overwrite
如果要建立专用计算节点,可以设置污点:
kubectl taint nodes worker02 workload=compute:NoSchedule
只有配置对应 toleration 的业务 Pod 才能调度到该节点。回滚该污点时:
kubectl taint nodes worker02 workload=compute:NoSchedule-
2. 使用 requests、limits 和命名空间配额
资源隔离不能只依靠节点数量。业务 Pod 应明确 CPU、内存请求值和上限,命名空间再使用 ResourceQuota 限制总量。示例:

apiVersion: v1
kind: Namespace
meta
name: team-a
---
apiVersion: v1
kind: ResourceQuota
meta
name: team-a-quota
namespace: team-a
spec:
hard:
requests.cpu: "4"
requests.memory: 8Gi
limits.cpu: "8"
limits.memory: 16Gi
pods: "50"
---
apiVersion: v1
kind: LimitRange
meta
name: team-a-defaults
namespace: team-a
spec:
limits:
- type: Container
defaultRequest:
cpu: 100m
memory: 128Mi
default:
cpu: 500m
memory: 512Mi
应用并验证:
kubectl apply -f team-a-resource.yaml
kubectl describe resourcequota -n team-a
kubectl describe limitrange -n team-a
资源请求值影响调度,限制值影响运行时上限。内存超出 limits.memory 可能触发 OOMKill,不能把内存上限简单设置得很小来“防止占用”。应结合应用启动峰值、缓存和并发量逐步调整。
3. 为业务指定节点范围
需要将业务固定到特定节点时,可以使用 nodeSelector 或 nodeAffinity:
apiVersion: apps/v1
kind: Deployment
meta
name: web-demo
namespace: team-a
spec:
replicas: 2
selector:
matchLabels:
app: web-demo
template:
meta
labels:
app: web-demo
spec:
nodeSelector:
workload: general
containers:
- name: nginx
image: nginx:1.27
resources:
requests:
cpu: 100m
memory: 128Mi
limits:
cpu: 500m
memory: 512Mi
ports:
- containerPort: 80
验证调度位置:
kubectl apply -f web-demo.yaml
kubectl get pods -n team-a -o wide
如果 Pod 处于 Pending,应检查节点标签、污点、剩余可分配资源和配额,而不是直接删除 requests 或污点。
六、首次运行后的结果检查
建议按“节点—系统组件—网络—业务调度”的顺序验收。
1. 节点和系统组件
kubectl get nodes -o wide
kubectl get pods -A
kubectl get events -A --sort-by=.lastTimestamp | tail -n 30
检查重点:
- 所有预期节点为
Ready。 kube-system下的 CoreDNS、kube-proxy、CNI Pod 处于Running或正常完成状态。- 没有持续增长的
FailedMount、NetworkPluginNotReady、CrashLoopBackOff事件。 - 节点
INTERNAL-IP使用的是可互通的节点地址。
2. 服务发现与跨节点网络
创建一个临时测试 Pod,验证集群 DNS:
kubectl run dns-test \
--image=busybox:1.36 \
--restart=Never \
--rm -it \
-- nslookup kubernetes.default.svc.cluster.local
正常时应返回 kubernetes.default.svc.cluster.local 对应的 Service 地址。若镜像拉取失败,先确认节点是否能访问镜像仓库,或改用企业内部镜像。
验证业务副本是否分散到多个节点:
kubectl get pods -n team-a -o wide
如果两个副本都被调度到同一节点,说明当前只有资源约束,没有设置反亲和或拓扑分布规则。这不代表集群异常,但不满足节点故障隔离目标时,还需要配置 topologySpreadConstraints 或 Pod 反亲和策略。
3. 服务访问范围
ClusterIP 默认只在集群内部访问。可以创建 Service 后检查端点:
kubectl expose deployment web-demo \
--name=web-demo \
--port=80 \
--target-port=80 \
-n team-a
kubectl get svc,endpoints -n team-a
如果需要从集群外访问,需明确使用 Ingress、负载均衡器或 NodePort,并单独审核端口暴露范围。不要为了测试长期开放全部 NodePort 端口。
七、常见失败处理顺序
节点一直为 NotReady
先看节点条件和 kubelet 日志:

kubectl describe node worker01
journalctl -u kubelet -n 100 --no-pager
systemctl status containerd
常见原因包括 swap 未关闭、containerd 未运行、cgroup 配置不一致、节点时间异常或 CNI 尚未就绪。先修复主机和运行时,再重新观察节点状态。
CoreDNS 一直 Pending
执行:
kubectl describe pod -n kube-system -l k8s-app=kube-dns
kubectl get nodes
如果所有节点都不可调度,检查控制平面污点、工作节点状态和资源配额。如果 CoreDNS 已调度但启动失败,则继续查看其日志和 CNI 状态。
Pod 显示网络未就绪
检查 Pod 网段是否在 kubeadm init、CNI 配置和现有网络中保持一致:
kubectl get pods -n kube-system -o wide
kubectl get ippools.crd.projectcalico.org -o yaml
ip route
如果 Pod 网段与节点网络重叠,通常不建议在线强行修改,应在保留配置和业务数据后按回滚流程重建网络或集群。
工作节点无法加入
从工作节点测试 API Server:
nc -vz 10.10.10.11 6443
curl -k https://10.10.10.11:6443/healthz
若端口不通,优先检查路由、防火墙和控制平面监听地址;若端口可通但加入失败,检查 token 是否过期、CA 哈希是否正确,以及节点上的 kubeadm、kubelet、containerd 版本是否一致。
八、验收与回滚检查项
验收时至少记录以下内容:
- 节点主机名、节点 IP、角色标签和 Kubernetes 版本。
- 控制平面 API 地址、Pod CIDR、Service CIDR 和 CNI 版本。
kubectl get nodes中所有节点均为Ready。- CoreDNS、kube-proxy、CNI 组件状态正常。
- DNS 查询成功,跨节点 Pod 通信成功。
- 控制平面污点符合预期,普通业务不会误调度到控制平面。
- 业务命名空间已设置 requests、limits、ResourceQuota 和 LimitRange。
- 防火墙只开放必要端口,SSH 管理来源已保留。
/etc/kubernetes、/var/lib/etcd以及业务清单和持久化数据已有备份或明确不需要保留。
首次部署失败时,不要直接在未知状态下反复执行 kubeadm init。如果集群没有需要保留的业务数据,可在确认影响范围后执行回滚;该操作会移除节点上的 kubeadm 管理状态,不能替代 etcd 或业务数据备份:
kubeadm reset -f
systemctl stop kubelet
systemctl restart containerd
仅在该节点不再承载其他容器网络时,才考虑清理 CNI 残留配置,例如 /etc/cni/net.d 和 /var/lib/cni。控制平面节点回滚前,应先保存 /etc/kubernetes、etcd 数据及初始化参数;工作节点回滚前,应先将业务 Pod 驱逐到其他节点:
kubectl drain worker01 \
--ignore-daemonsets \
--delete-emptydir-data
drain 会影响该节点上的业务调度,--delete-emptydir-data 可能删除临时目录数据,执行前必须确认业务不依赖这些数据。完成重建或放弃该节点后,再解除不可调度状态:
kubectl uncordon worker01
如果只是单个工作节点加入失败,优先重置并重新加入该节点;如果是 Pod 网段、Service 网段或控制平面地址规划错误,则应保存诊断信息和数据后整体按规划重建,避免在地址冲突的基础上继续叠加配置。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5218.html



