如何在香港高性能服务器上使用Prometheus与Grafana实现Kubernetes集群的监控与资源优化？

发布人：Minchunlin 发布时间：2025-07-17 09:37 阅读量：621

在过去几个月，我负责为一家跨境SaaS平台构建基于香港高性能裸金属服务器的Kubernetes集群监控与资源优化体系。随着业务量增长，容器资源使用的可见性逐渐成为运维与性能调优的瓶颈。我们采用了 Prometheus + Grafana 方案对K8s集群进行全面监控，并结合 Alertmanager 与资源限额策略，逐步实现了集群级别的自动化资源优化。在本文中，我将分享这一方案的完整实操路径，重点聚焦在香港本地高性能服务器部署环境下的特殊考量。

一、架构概览与部署目标

1.1 背景环境

地点：香港荃湾数据中心
节点配置：3 台物理节点，搭载 Intel Xeon Gold 6338 CPU、256GB DDR4 ECC内存、Intel D7-P5520 NVMe SSD
Kubernetes版本：v1.29.2
容器运行时：containerd
网络插件：Calico + BGP for 内外网互通

1.2 监控目标

采集集群层级与节点资源（CPU、Memory、Disk、Network）实时指标
跟踪Pod层资源使用、重启、状态变化
实现多维度可视化图表与自定义告警
建立资源优化建议（如HPA调参、QoS重构等）基础数据体系

二、Prometheus + Grafana 栈部署实操

2.1 选型与部署策略

我们采用以下组件：

组件	作用说明
Prometheus	指标采集与时序数据存储
node-exporter	采集主机硬件资源指标
kube-state-metrics	提供K8s资源对象状态指标
cadvisor	采集Pod容器层级指标
Grafana	数据可视化与Dashboard管理
Alertmanager	告警触发与通知

部署方式采用 Helm v3 配合 kube-prometheus-stack：

2.2 使用 Helm 安装监控栈

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

helm install k8s-monitor prometheus-community/kube-prometheus-stack \
  --namespace monitoring --create-namespace \
  --set prometheus.prometheusSpec.retention="15d" \
  --set grafana.adminPassword='SecurePass2024' \
  --set prometheus.prometheusSpec.storageSpec.volumeClaimTemplate.spec.resources.requests.storage=300Gi

说明：

设置数据保留为 15 天，避免SSD过载
使用香港本地Ceph RBD后端持久化Prometheus数据
Grafana默认绑定3000端口，可通过Nginx Ingress暴露

三、香港服务器优化指标采集与性能调校

3.1 节点级优化指标配置

编辑 node-exporter DaemonSet 增加以下启动参数：

- --collector.cpu
- --collector.meminfo
- --collector.filesystem
- --collector.netdev
- --collector.hwmon
- --collector.interrupts

这些指标对识别 NUMA/内存瓶颈、磁盘I/O阻塞非常关键，尤其适用于裸金属服务器环境。

3.2 容器资源指标调优（cadvisor）

Kubernetes默认集成cadvisor，但采集粒度不足。我们通过Prometheus配置如下：

scrape_configs:
- job_name: 'kubelet-cadvisor'
  scheme: https
  tls_config:
    insecure_skip_verify: true
  kubernetes_sd_configs:
  - role: node
  metrics_path: /metrics/cadvisor
  relabel_configs:
  - action: labelmap
    regex: __meta_kubernetes_node_label_(.+)

这允许我们获取 Pod 级别 CPU Throttling、Memory Working Set 等数据。

四、Grafana 可视化实战

4.1 导入官方 Dashboard

Grafana 提供一套社区维护的 Dashboard：

Node Exporter Full（ID: 1860）
Kubernetes Cluster Monitoring（ID: 315）
Pod Resource Usage（ID: 6417）

通过 Grafana Web UI → Import → 输入 Dashboard ID 即可快速部署。

4.2 自定义仪表盘关键项

我们结合香港节点特征，自定义以下指标：

香港节点 CPU NUMA不均衡警告

(rate(node_cpu_seconds_total{mode="user"}[1m]) by (instance, cpu)) > 0.8

SSD 磁盘IO延迟

rate(node_disk_io_time_seconds_total{device=~"nvme.*"}[1m]) > 0.05

Pod频繁重启告警

increase(kube_pod_container_status_restarts_total[5m]) > 3

五、资源优化建议与自动化策略

5.1 弹性伸缩策略基于Prometheus指标

结合HPA（Horizontal Pod Autoscaler）和自定义Prometheus指标：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: webapp-hpa
spec:
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Pods
    pods:
      metric:
        name: container_cpu_usage_seconds_total
      target:
        type: AverageValue
        averageValue: "0.4"

使用 Prometheus Adapter 将自定义指标接入K8s HPA控制器。

5.2 节点资源再分配与QoS策略

通过 kube-state-metrics + Prometheus 分析低利用率Pod并手动重构：

将长期CPU利用率低于10%的Deployment标记为 BestEffort
使用 LimitRange 强制开发团队设定资源上限
建立 namespace-based dashboard 分析资源倾斜

六、Alertmanager告警与通知整合

6.1 告警配置

通过 ConfigMap 配置如：

groups:
- name: instance_down
  rules:
  - alert: InstanceDown
    expr: up == 0
    for: 2m
    labels:
      severity: critical
    annotations:
      summary: "{{ $labels.instance }} 宕机"
      description: "{{ $labels.job }} 任务不可用"

6.2 通知通道

配置以下告警通知：