过去五年里一直在东南亚地区参与企业级数据中心部署工作，2025年年初，我被指派到马来西亚吉隆坡，为一家跨国制造企业部署一个混合架构平台：底层采用裸金属服务器承载核心数据库与实时计算任务，上层以 Kubernetes（K8s）编排微服务、API 网关与分析模块。这个架构需要同时满足高性能、弹性伸缩和运维友好性。
项目刚开始时，我以为这不过是又一个“装系统、跑容器”的标准活儿。直到第一次部署失败，我们才发现：裸金属 + K8s 在马来西亚部署的挑战，远远超过了传统的虚拟化堆栈。网络稳定性、电源冗余、冷却负载、供应链延迟、以及对混合资源调度的需求，每一个都不容小觑。
以下是我在项目中碰到的关键技术挑战、硬件选型、部署方法及踩坑经验的详细记录。
一、基础设施规划与服务器选型
1.1 裸金属服务器硬件配置
裸金属用于承载核心数据库与流式数据处理，要求极高的 IOPS 与内存带宽。我们最终选择了 Dell PowerEdge R760xa，配置如下：
CPU：2 x Intel Xeon Gold 6448Y（32C/64T，2.0GHz base，3.7GHz turbo）
内存：768GB DDR5 ECC（12 x 64GB，4800MT/s）
存储：
- 2 x 3.84TB NVMe U.2 SSD（RAID 1，系统盘）
- 4 x 7.68TB NVMe U.2 SSD（RAID 10，数据盘）
网卡：2 x 100GbE QSFP28（Mellanox ConnectX-6）
电源冗余：2 x 2400W Platinum PSU
BMC 接口：支持 iDRAC 9 Enterprise，远程调度方便
这些机器主要用于部署 PostgreSQL（带 TimescaleDB 扩展）和 Apache Flink。我们在裸金属层禁用超线程、启用 NUMA 绑定，确保高并发读写场景下的稳定性。
1.2 K8s 节点服务器配置
K8s 节点采用相对轻量的服务器，部署微服务、API、前端和数据处理模块。我们使用了 HPE ProLiant DL360 Gen11：
- CPU：1 x Intel Xeon Silver 4410Y（12C/24T）
- 内存：128GB DDR5 ECC
- 存储：1 x 960GB NVMe SSD（系统盘），1 x 3.84TB SATA SSD（数据卷）
- 网络：1 x 25GbE SFP28
- GPU（可选）：部分节点配备 NVIDIA A10 用于 AI 推理服务
K8s 使用 containerd 作为 runtime，部署在 Ubuntu 22.04 LTS 上，使用 kubeadm 初始化集群，支持高可用（etcd 节点分布在三台裸金属主机上）。
二、混合架构部署的关键挑战与解决方案
2.1 裸金属与容器网络打通
问题：裸金属主机运行数据库和流处理框架，需要与 K8s 内的 Pod 实时通信，K8s 默认的 CNI 插件（如 Flannel 或 Calico）无法自动路由外部网络访问。
解决方案：
- 部署 MetalLB 提供 LoadBalancer 类型服务，将裸金属应用以公网 VIP 暴露；
- 使用 BGP 模式 配置 MetalLB，裸金属交换机（Arista 7280R）启用 ECMP 路由；
- 在裸金属端配置 iptables DNAT 规则，将容器内流量反向映射至服务端口。
2.2 裸金属与 K8s 调度分离策略
为防止关键数据库服务被调度影响，我们做了以下配置：
- 禁用裸金属服务器上的 Kubelet，仅部署系统服务；
- 将 PostgreSQL/Flink 与容器调度彻底隔离；
- 在 K8s 中使用 NodeAffinity 和 Taints/Tolerations 限定工作负载运行位置；
- 使用 Prometheus + Grafana 监控两类系统资源分别独立采集，避免噪声干扰。
2.3 数据一致性与共享卷策略
挑战：裸金属写入的数据需供 K8s 消费（如模型训练结果、分析报告）。
技术实现：
- 在裸金属上部署 NFS 服务器，采用 RAID 10 加 LVM 提供统一卷；
- 在 K8s 中以 PersistentVolume + PersistentVolumeClaim 形式挂载；
- 对热点数据使用 CephFS（共三节点，部署在 K8s 里），实现高可用与弹性扩容；
- 设置定时同步脚本（rsync + cron）用于冷数据备份与一致性检查。
三、部署工具与自动化脚本
为避免手工配置导致环境漂移，我们使用了如下工具：
- Ansible： 初始化裸金属、装系统、配置 RAID、启用 SSH/BMC
- Terraform： 自动配置 VPC、路由、IP 绑定、DNS 接入（配合 Cloudflare）
- kubeadm： 初始化高可用 K8s 集群
- Helm： 部署常用组件如 ingress-nginx、prometheus、cert-manager
- ArgoCD： 管理 GitOps 工作流
脚本示例（裸金属自动分区 + RAID 配置）：
- name: Setup RAID 10 and format
shell: |
mdadm --create --verbose /dev/md0 --level=10 --raid-devices=4 /dev/nvme[1-4]n1
mkfs.xfs /dev/md0
mkdir -p /data
echo '/dev/md0 /data xfs defaults 0 0' >> /etc/fstab
mount -a
四、现场环境与外部因素影响
4.1 电力与冷却
由于部署地在吉隆坡近郊工业园，UPS 冗余为 N+1，但机房散热设计略显保守。我们引入了如下方案：
- 所有裸金属机架采用封闭冷热通道隔离；
- 添加 InRow 制冷单元提升局部风冷效率；
- 使用 IPMI + Prometheus exporter 实时监控 CPU/内存温度曲线。
4.2 网络抖动与 BGP 延迟
本地 ISP 对跨境链路 QoS 不稳定，裸金属接入 BGP 节点部署在不同机房，造成高峰期 RT 增加至 80ms。
对策：
- 为核心服务引入 Cloudflare Tunnel 缓解访问路径；
- 在每个 PoP 设置 local cache 节点用于结果缓存；
- 对入站流量使用 Anycast 配合 DNS 权重调度策略。
五、A5IDC的建议如下：
- 提前规划裸金属与容器的调度边界；
- 网络方案必须兼容容器动态性与裸金属静态性；
- 所有部署步骤需自动化，避免人为错误；
- 跨团队协作要以 GitOps + 监控仪表为核心接口；
- 本地机房运维需建立强弱电联动机制，不能只靠远程。
马来西亚在基础设施与供应链上仍存在一定挑战，但通过精细化设计与自动化手段，混合架构的部署是完全可行的。裸金属提供了数据库与实时计算所需的原生性能，K8s 带来弹性与灵活性，两者结合后可以构建一个既“稳定如山”又“敏捷如水”的企业级平台。
