我们的跨境电商平台主要面向东南亚和北美用户，香港节点既是全球 CDN 的中转缓存层，也是核心 API 服务的集群所在。随着订单请求量不断增长，我们发现传统 Zabbix 系统在高并发指标写入和灵活报警场景上捉襟见肘。于是我在香港物理机上部署了一套基于 Prometheus + Grafana 的实时性能监控和告警系统，目的是在秒级时间内定位延迟、负载、流量突变等异常，保障业务连续性。

以下是我完整的部署过程与调优方案。

一、系统架构概览

1. 目标架构图

[跨境电商服务节点]      [数据库/Nginx/Redis/MQ]
         |                        |
      [Node Exporter等 Exporter] |
         |                        |
      [香港 Prometheus Server] <--[Blackbox Exporter]
         |
   [Alertmanager + Webhook]
         |
     [Grafana Dashboard]

2. 核心组成组件

二、Prometheus 核心配置部署

1. 在香港服务器上安装 Prometheus

useradd --no-create-home --shell /bin/false prometheus
wget https://github.com/prometheus/prometheus/releases/download/v2.51.2/prometheus-2.51.2.linux-amd64.tar.gz
tar -xzf prometheus-2.51.2.linux-amd64.tar.gz
mv prometheus-2.51.2.linux-amd64 /opt/prometheus

2. 采集配置文件 `prometheus.yml`

global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'node_exporter'
    static_configs:
      - targets: ['10.0.0.11:9100', '10.0.0.12:9100']

  - job_name: 'nginx'
    metrics_path: /metrics
    static_configs:
      - targets: ['10.0.0.13:9145']

  - job_name: 'mysql'
    static_configs:
      - targets: ['10.0.0.14:9104']

  - job_name: 'blackbox_ping'
    metrics_path: /probe
    params:
      module: [icmp]
    static_configs:
      - targets: ['8.8.8.8', '1.1.1.1']
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: localhost:9115

三、部署各类 Exporter

1. Node Exporter（物理机与KVM监控）

wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
tar -xzvf node_exporter.tar.gz
cp node_exporter/node_exporter /usr/local/bin/

systemd 配置：

[Unit]
Description=Node Exporter
After=network.target

[Service]
User=nobody
ExecStart=/usr/local/bin/node_exporter

[Install]
WantedBy=default.target

2. MySQL Exporter

安装并配置 `.my.cnf`：

[client]
user=exporter
password=监控用账号的密码

配置监控账号权限：

GRANT PROCESS, REPLICATION CLIENT, SELECT ON .TO 'exporter'@'localhost';

3. Redis Exporter / Nginx Exporter / 自定义接口 Exporter

根据各自协议部署对应 exporter 并开放 metrics 端口。

四、Grafana 可视化看板配置

1. 安装与服务配置

wget https://dl.grafana.com/oss/release/grafana-11.0.0.linux-amd64.tar.gz
tar -xzf grafana-11.0.0.linux-amd64.tar.gz
cd grafana-11.0.0/
./bin/grafana-server web

也可以用 Docker：

docker run -d -p 3000:3000 \
  -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
  grafana/grafana

2. 引入官方模板

通过 Grafana → Import Dashboard → 输入以下 IDs：

• Node Exporter Full: `1860`
• MySQL Overview: `7362`
• Redis Dashboard: `11835`
• Blackbox Exporter Latency Map: `7587`

这些模板让我快速搭建了跨境请求延迟、数据库 TPS、CPU 饱和度等看板。

五、告警规则与 Alertmanager 配置

1. Prometheus 告警规则示例（`rules.yml`）

groups:
- name: node_alerts
  rules:
  - alert: HighCPUUsage
    expr: avg(rate(node_cpu_seconds_total{mode="user"}[1m])) by (instance) > 0.85
    for: 2m
    labels:
      severity: critical
    annotations:
      summary: "高 CPU 使用率"
      description: "{{$labels.instance}} CPU 使用率超过 85%"

2. Alertmanager 配置（`alertmanager.yml`）

route:
  receiver: 'webhook'
receivers:
  - name: 'webhook'
    webhook_configs:
      - url: 'http://10.0.0.5:5001/alert'

我在本地部署了一个 Python Flask 服务，接收 Prometheus 告警并转发到飞书/短信：

from flask import Flask, request
import requests

app = Flask(__name__)

@app.route('/alert', methods=['POST'])
def alert():
    data = request.json
    for alert in data['alerts']:
        msg = f"{alert['labels']['severity']}: {alert['annotations']['summary']}"
        requests.post('https://open.feishu.cn/webhook/xxx', json={"msg_type": "text", "content": {"text": msg}})
    return "ok"

六、跨境链路质量监控：Blackbox Exporter 的实战应用

为了及时发现美洲或东南亚 CDN 出现链路质量下降，我启用了 ICMP 与 HTTPS 探测模块：

modules:
  icmp:
    prober: icmp
  http_2xx:
    prober: http
    timeout: 5s
    http:
      method: GET

Grafana 中绘制了延迟图、丢包率热力图，并设置报警规则：

- alert: HighPingLatency
  expr: probe_duration_seconds > 0.3
  for: 1m

七、部署建议与调优实践

1. 采集频率建议

• 系统核心服务（Redis、数据库）：`scrape_interval = 5s`
• 边缘服务或静态链路监控（如 Blackbox）：`scrape_interval = 30s`
• 远程 PushGateway 数据建议带上 `job`+`instance` 标签，便于聚合分析

2. Prometheus 存储优化

• 配置 `--storage.tsdb.retention.time=15d`
• 使用 NVMe SSD 支持大并发写入
• 建议关闭 WAL compression，提高写入速度

3. 报警联动策略

• 使用钉钉、飞书通知非技术同事
• 用 Webhook 启动自动扩容、重启 Redis 或切流量的脚本
• 结合 `Alertmanager Silence` 控制波动性误报

通过这套架构，我成功构建了一个稳定、低延迟的 Prometheus + Grafana 监控体系。香港作为跨境电商的网络中枢节点，所有链路、服务和数据库指标都已实现可观测与秒级告警。从系统故障预警到链路波动定位，这一套方案让我对整个平台的运行状态了如指掌，为业务提供了持续的保障。

下一步我计划结合 Thanos 或 VictoriaMetrics 实现跨区域指标归档与多集群联邦查询。对于跨境业务而言，监控系统本身的高可用也不可忽视。