凌晨两点，我蹲在沙田机房的过道里，背靠着一台2U的机器，风扇像飞机起飞。大陆侧的业务刚过高峰，跨境链路的抖动却把我们的 ETL 吞吐打成“心电图”。同事在微信里丢来一句：“要不先把数据落本地盘，等网络稳定再推？”我盯着那几块发烫的 NVMe——何不就让 NVMe+HDFS 把这事先抗起来？

下面这篇是我那一夜到天亮的配置、调优与复盘。希望无论你是新手还是老手，都能从这些“坑里爬出来”的细节里拿到有用的答案。

1. 目标与架构蓝图

目标：

• 在 RHEL（Red Hat Enterprise Linux） 上构建一套以 HDFS 为底座、NVMe 为本地高速存储的分析平台；
• 处理 跨境 ETL（内地 → 香港）数据同步与清洗；
• 在链路波动时保证 可用性与稳定吞吐，在链路顺畅时 吃满带宽；
• 兼顾 合规与审计（加密、审计日志、访问控制）。

高层架构（简述）：

• 计算与存储（香港机房）：HDFS（NameNode/JournalNode/DataNode）、YARN、Spark、Hive Metastore、Airflow（编排）、Kafka（可选）
• 跨境入口：专线/BGP 带宽（可选启用 IPsec/GRE），或云对象存储（OSS/S3）作为中转

数据路径：

• 批处理：内地对象存储 → DistCp/Spark s3a → HDFS（NVMe）→ Hive
• 流式：CDC（Debezium）→ Kafka Mirror → Spark Streaming → HDFS（NVMe）

2. 机房与硬件选择（真实能打）

磁盘规划：

• 系统与日志走独立 SATA SSD；
• NVMe 只给 HDFS DataNode 数据与 Spark 本地目录（spark.local.dir）。
• 每块 NVMe 单独挂载、不做 RAID（HDFS 自身副本容错）。

3. RHEL 基线与内核/网络调优

3.1 基础系统

# RHEL 8/9 常规
sudo dnf update -y
sudo dnf install -y java-11-openjdk-devel chrony tuned irqbalance lvm2 nvme-cli \
  git gcc make numactl htop iotop iftop ethtool iperf3
sudo systemctl enable --now chronyd

# 性能配置
sudo tuned-adm profile latency-performance
# 或：network-throughput（跨境高吞吐更优），二选一看你的负载

3.2 文件系统与挂载（建议 XFS）

# 假设 NVMe 设备为 /dev/nvme0n1 /dev/nvme1n1 ...
for d in /dev/nvme*n1; do
  sudo parted -s $d mklabel gpt
  sudo parted -s $d mkpart primary xfs 1MiB 100%
done

for i in 0 1 2 3; do
  sudo mkfs.xfs -f /dev/nvme${i}n1
  sudo mkdir -p /data/nvme${i}
  echo "/dev/nvme${i}n1 /data/nvme${i} xfs noatime,nodiratime 0 0" | sudo tee -a /etc/fstab
  sudo mount /data/nvme${i}
done

# 定时 TRIM 用 fstrim.timer，避免 mount 时启用 discard 带来的实时开销
sudo systemctl enable --now fstrim.timer

3.3 网络参数（跨境高 BDP 场景）

# /etc/sysctl.d/99-tcp-bbr.conf
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.core.netdev_max_backlog = 250000
net.ipv4.tcp_rmem = 4096 87380 268435456
net.ipv4.tcp_wmem = 4096 65536 268435456
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1

sudo sysctl --system
# NIC 队列与中断亲和（示例，按型号适配）
sudo ethtool -G eth0 rx 4096 tx 4096
sudo systemctl enable --now irqbalance

坑点：某些网卡驱动在大吞吐+BBR 下会出现 CPU 单核打满、丢包。此时关掉 GRO/LRO 或适度调 ring buffer常能缓解：
ethtool -K eth0 gro off lro off

4. Hadoop/HDFS：让 NVMe 发挥价值

4.1 版本与安装

Hadoop 3.x（2.x 也可，但 3.x 在纠删码、存储策略更成熟）

JDK 11（兼容性与性能权衡）

4.2 关键配置（示例）

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://cluster-hk</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/lib/hadoop/tmp</value>
  </property>
  <!-- 跨境访问建议开启传输加密 -->
  <property>
    <name>hadoop.rpc.protection</name>
    <value>privacy</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/meta/nn</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <!-- 多块 NVMe 分开挂载，分别作为 data dir -->
    <value>file:///data/nvme0/hdfs/dn,file:///data/nvme1/hdfs/dn,file:///data/nvme2/hdfs/dn,file:///data/nvme3/hdfs/dn</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value> <!-- 小集群可设2，重要目录单独设3 -->
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>134217728</value> <!-- 128MB，跨境大文件可考虑256MB -->
  </property>
  <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>4096</value>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.client.read.shortcircuit.streams.cache.size</name>
    <value>2048</value>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hdfs-socket</value>
  </property>
  <!-- 盘损容忍，让单盘 NVMe 坏了不至于整机下线 -->
  <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>1</value>
  </property>
</configuration>

说明：HDFS 的 Storage Policy（ALL_SSD/HOT/COLD/ONE_SSD 等）可以在目录层面施加：

hdfs storagepolicies -listPolicies
hdfs storagepolicies -setStoragePolicy -path /warehouse/fact -policy ALL_SSD

只要 DataNode 的数据目录位于 NVMe，策略就会优先将数据落在高速盘上。

YARN & Spark 指向 NVMe 作本地临时：

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nvme0/yarn/local,/data/nvme1/yarn/local,/data/nvme2/yarn/local,/data/nvme3/yarn/local</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/var/log/hadoop-yarn</value>
  </property>
</configuration>

spark-defaults.conf

spark.local.dir                 /data/nvme0/spark,/data/nvme1/spark,/data/nvme2/spark,/data/nvme3/spark
spark.sql.files.maxPartitionBytes 512m
spark.sql.shuffle.partitions    800            # 按集群规模与作业特性调
spark.shuffle.compress          true
spark.shuffle.spill.compress    true
spark.io.compression.codec      lz4
spark.executor.memoryOverhead   1024

坑点：spark.local.dir 和 YARN local 目录不要与系统盘混用；NVMe 超卖会导致延迟暴涨。

5. 跨境链路策略：抖动时“蓄洪”，顺畅时“吃满”

推荐两条路径并存：

• 批量同步（容错型）：内地对象存储（阿里云 OSS、腾讯 COS、私有 MinIO） → 香港 HDFS
• 流式（低延迟）：CDC→Kafka Mirror→Spark Streaming→HDFS（仅关键表）

5.1 批处理：DistCp/Spark s3a

core-site.xml（s3a/oss 相关参数可按服务商替换）

<configuration>
  <property>
    <name>fs.s3a.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
  </property>
  <property>
    <name>fs.s3a.fast.upload</name>
    <value>true</value>
  </property>
  <property>
    <name>fs.s3a.connection.maximum</name>
    <value>200</value>
  </property>
  <property>
    <name>fs.s3a.threads.max</name>
    <value>256</value>
  </property>
  <property>
    <name>fs.s3a.multipart.size</name>
    <value>134217728</value> <!-- 128MB -->
  </property>
</configuration>

高并发 DistCp 示例：

hadoop distcp \
 -D mapreduce.job.maps=256 \
 -D fs.s3a.connection.maximum=400 \
 -D fs.s3a.threads.max=512 \
 -bandwidth 800 \
 s3a://cn-bucket/path/ hdfs:///warehouse/stage/path/

-bandwidth 单位 MB/s，按跨境带宽与业务时段动态调整。夜间窗口可拉大并发，白天控流。

5.2 流式：Kafka Mirror + Spark

内地集群与香港集群分别部署 Kafka，使用 MirrorMaker2 做跨境复制；

在香港侧跑 Spark Structured Streaming，把数据先落 HDFS（NVMe），再做增量聚合。

Spark Streaming 伪代码：

from pyspark.sql import SparkSession
spark = (SparkSession.builder
         .appName("cn2hk-stream")
         .getOrCreate())

df = (spark.readStream.format("kafka")
      .option("kafka.bootstrap.servers", "kafka-hk:9092")
      .option("subscribe", "topic_orders")
      .option("startingOffsets", "latest")
      .load())

# 简单 ETL
from pyspark.sql.functions import col, from_json
schema = "order_id string, ts timestamp, amount double, region string"
clean = (df.selectExpr("CAST(value AS STRING) as v")
         .select(from_json(col("v"), schema).alias("r"))
         .select("r.*")
         .where("amount is not null and region in ('CN','HK')"))

(clean.writeStream
 .format("parquet")
 .option("checkpointLocation", "hdfs:///chk/orders/")
 .option("path", "hdfs:///warehouse/orders/")
 .outputMode("append")
 .start()
 .awaitTermination())

6. 调度：用 Airflow 编排“跨境 ETL 一日游”

DAG 思路：

• 00:10 DistCp 原始增量 → /warehouse/stage/
• 00:40 Spark 批作业清洗 → /warehouse/ods/
• 01:20 Hive 外表归档 → /warehouse/dwd/

失败自动重试，超时降并发，网络抖动时走“蓄洪”策略（先本地落盘，再延迟上游确认）。

Airflow DAG 示例（精简）：

from airflow import DAG
from airflow.providers.apache.spark.operators.spark_submit import SparkSubmitOperator
from airflow.operators.bash import BashOperator
from airflow.utils.dates import days_ago

with DAG(
    dag_id="cn2hk_etl_daily",
    start_date=days_ago(1),
    schedule_interval="10 0 * * *",
    catchup=False,
    default_args={"retries": 2, "retry_delay": timedelta(minutes=10)}
) as dag:

    distcp = BashOperator(
        task_id="distcp_stage",
        bash_command=(
          "hadoop distcp -Dmapreduce.job.maps=256 "
          "-Dfs.s3a.connection.maximum=400 -Dfs.s3a.threads.max=512 "
          "-bandwidth {{ var.value.cn2hk_bandwidth_mb|default(600) }} "
          "s3a://cn-bucket/day={{ ds }}/ hdfs:///warehouse/stage/day={{ ds }}/"
        )
    )

    spark_clean = SparkSubmitOperator(
        task_id="spark_clean_ods",
        application="/opt/jobs/clean_to_ods.py",
        conf={
           "spark.local.dir": "/data/nvme0/spark,/data/nvme1/spark",
           "spark.sql.shuffle.partitions": "800"
        },
        application_args=["--date", "{{ ds }}"]
    )

    hive_msck = BashOperator(
        task_id="hive_msck",
        bash_command="hive -e 'MSCK REPAIR TABLE dwd_orders;'"
    )

    distcp >> spark_clean >> hive_msck

7. Hive 元数据与表设计（分区 + 压缩）

Metastore：MySQL/PostgreSQL，注意 RDS 跨区延迟；建议 Metastore 在香港。
表：Parquet + Snappy/LZ4，按日期/业务分区。

CREATE EXTERNAL TABLE dwd_orders(
  order_id string,
  ts timestamp,
  amount double,
  region string
)
PARTITIONED BY (dt string)
STORED AS PARQUET
LOCATION 'hdfs:///warehouse/dwd/orders/';

坑点：跨境同步可能出现“分区目录先到后到”。用 MSCK REPAIR 或 ALTER TABLE ADD PARTITION IF NOT EXISTS 扫描补齐；
大量小文件会拖垮 NameNode/QPS，用 Spark 做 compaction 定期合并到 256–512MB/文件。

8. 安全与合规（一定要有）

• 传输加密：Hadoop RPC privacy、S3A HTTPS、Kafka TLS；
• 静态加密：HDFS 透明加密（Encryption Zones）或磁盘级加密；
• 访问控制：Ranger/Sentry 做细粒度授权，审计日志归档；
• 跨境合规：对个人敏感数据做脱敏/汇总后再传；本文不构成法律意见，请结合所在行业与地区法规审核流程执行。

9. 基准与实测（真实跑出来的量级参考）

9.1 fio 单盘 NVMe（XFS）

多盘并发近线性提升，但受 CPU/PCIe lane 与 NUMA 影响，实际到 4 盘时约 2.8–3.5 倍。

9.2 HDFS 写入吞吐（4×DataNode，每机 4×NVMe）

9.3 跨境 DistCp（专线 5 Gbps）

10. 现场坑与应对（真·踩坑清单）

NVMe 挂载忘记 noatime → 小文件密集作业时延迟异常

解：统一用 noatime,nodiratime，TRIM 用 fstrim.timer 定时。

NameNode 小文件风暴 → RPC 飙高、FSImage 变胖

解：落地时按 256–512MB 合并；用 HDFS 合并作业 周期跑 compaction。

跨境 BBR + NIC 驱动怪异 → 单核中断拉满

解：关 GRO/LRO、调 ethtool -G，并开 irqbalance 或手动绑核。

Spark 本地目录与 HDFS DataNode 目录混在同一块盘 → 抢 IO

解：物理 NVMe 分区或盘级隔离，Spark 与 HDFS 分不同 NVMe。

DistCp 在高并发下频繁 403/timeout（对象存储限速/限制连接数）

解：合理设置 fs.s3a.connection.maximum/threads.max，并在 Airflow 里做幂等重试与带宽自适应。

Hive 分区延迟 → 下游报“找不到分区”

解：作业尾部加 MSCK REPAIR；流式则写入时同步分区目录。

11. 运维日常与监控

系统：node_exporter + Prometheus + Grafana（CPU、IRQ、NIC 丢包、磁盘延迟 p99）；

HDFS：NameNode RPC、Blocks、UnderReplicated、Datanode Volume Failed；

YARN/Spark：Executor GC 时间、Shuffle Spill、Task Duration p95；

链路：跨境专线利用率、重传率、RTT 抖动；

告警：Datanode 盘温度/SMART、UnderReplicatedBlocks、Kafka lag、DistCp 失败率。

12. 一键复盘清单（你可以照着打勾）

1.  RHEL 更新 & tuned/irqbalance/chrony 就位
2.  NVMe XFS + noatime，fstrim.timer 开启
3.  sysctl：BBR + 缓冲增大 + backlog
4.  Hadoop 3.x & HDFS 多 data dirs 指向 NVMe
5.  YARN/Spark 本地目录指向 NVMe
6.  DistCp/S3A 高并发参数与 Airflow 编排
7.  Kafka Mirror + Spark Streaming（可选）
8.  Hive 分区 + compaction 机制
9.  安全：RPC 加密、TLS、Ranger、审计
10.  监控与限流策略

13. 附：常用命令速查

# HDFS
hdfs dfsadmin -report
hdfs fsck / -blocks -locations -racks
hdfs storagepolicies -listPolicies
hdfs storagepolicies -setStoragePolicy -path /warehouse/fact -policy ALL_SSD

# Spark 作业提交流
spark-submit --class Main \
  --conf spark.local.dir=/data/nvme0/spark,/data/nvme1/spark \
  --conf spark.sql.shuffle.partitions=800 \
  /opt/jobs/job.jar

# 网络压测
iperf3 -c <cn-endpoint> -P 10 -t 60

天亮前，我把最后一条 DAG 的日志翻到“success”。风扇声仍旧大，但监控板上那条吞吐曲线稳稳地贴着我们自己设定的“带宽上限线”，像是被拴住了的野马。NVMe 做“蓄洪池”，HDFS 管副本和恢复，Airflow 盯节奏，BBR 与限流把脾气最不好的跨境链路也“管住了”。
这套东西并不华丽，但它经得起夜里的抖动与白天的流量洪水。下一次你被跨境 ETL 折磨得头痛，不妨先把本地 NVMe + HDFS 的“蓄洪池”搭起来，再去和网络谈理想