如何通过调整香港服务器的I/O调度器与磁盘阵列策略，优化大数据存储与高负载计算环境下的I/O性能？

发布人：Minchunlin 发布时间：2025-08-03 10:25 阅读量：629

记得那是去年在香港葵涌的数据中心，我正坐在机房里盯着监控屏幕。凌晨 2 点，业务峰值刚过，但 Hadoop 和 Spark 的任务队列依旧拥挤，Prometheus 的磁盘 I/O 延迟曲线像心电图一样跳动。客户的大数据分析平台正从海量日志中提取用户行为特征，而我们的 NVMe 与 SAS 混合阵列出现了明显的 I/O 瓶颈。

我登录到几台关键的香港服务器，iostat 的结果让我皱了眉头：平均延迟超过 25ms，队列深度（avgqu-sz）常驻 30+，典型的调度与阵列策略不匹配问题。那一夜，我开始了针对 I/O 调度器和磁盘阵列策略的深度优化实践，这篇文章记录了完整的过程与经验。

1. 诊断与基线分析

在任何优化之前，我的第一步是精准定位瓶颈和建立基线。

使用 iostat 观察 I/O 状态：

iostat -x -d 1 10

重点关注：

r/s 和 w/s：读写请求频率
await：平均 I/O 等待时间
svctm：服务时间
util：磁盘利用率（>80% 基本意味着饱和）

查看 I/O 调度器类型：

cat /sys/block/sdX/queue/scheduler

结果示例：

[mq-deadline] kyber bfq none

[] 表示当前使用的调度器。我们的机器上默认是 mq-deadline。

磁盘阵列与 RAID 策略检查

使用 megacli 或 storcli 查看 RAID 配置和缓存策略：

sudo storcli /c0 show

我发现部分存储池使用 RAID5，写放大明显，且读写缓存策略没有针对大数据场景优化。

2. 调整 I/O 调度器策略

香港机房的服务器大多是高并发 OLAP 与流式计算混合场景，顺序 I/O 与随机 I/O 并存。调度器的选择直接影响延迟。

2.1 对 NVMe SSD 使用 none 或 mq-deadline

NVMe 的并行队列天然适合硬件层调度，软件调度器反而可能增加延迟。

切换调度器示例：

echo none | sudo tee /sys/block/nvme0n1/queue/scheduler

2.2 对 SAS/SATA SSD 或 HDD 使用 mq-deadline 或 bfq

mq-deadline：适合混合负载，保证延迟可控

bfq：在高并发小文件场景下表现更好，但在大数据顺序读写时不一定优于 mq-deadline

切换示例：

echo mq-deadline | sudo tee /sys/block/sdX/queue/scheduler

2.3 调整队列深度和读写合并

echo 128 | sudo tee /sys/block/sdX/queue/nr_requests
echo 0 | sudo tee /sys/block/sdX/queue/add_random

限制队列深度避免过长等待

关闭无用的随机合并优化

3. 磁盘阵列与 RAID 策略优化

在香港机房使用的 Dell 与 HPE 存储阵列上，我做了以下几步调整：

3.1 RAID 选择与条带化

大数据分析任务以顺序读为主，随机写为辅，因此：

RAID10 优于 RAID5，写延迟显著降低

条带大小设置为 256 KB ~ 512 KB 可提升 HDFS 顺序读性能

调整条带大小命令示例（HPE Smart Array）：

hpacucli ctrl slot=0 ld 1 modify stripe=256

3.2 缓存策略

开启 Write Back + Read Ahead：

写入先进入控制器缓存，再批量顺序落盘

适合 Hadoop/Spark 的大块写入模式

示例：

storcli /c0/v0 set cache=wb ra

4. 实测优化效果

在完成调度器和阵列策略优化后，我重新跑了 fio 和实际的 Spark ETL 任务进行验证：

fio 顺序读写测试：

优化前：延迟 ~25ms，IOPS ~18k

优化后：延迟 ~8ms，IOPS ~47k

HDFS 任务日志：

MapReduce Shuffle 阶段的 spill 文件写入延迟下降 60%

Spark SQL 批处理作业整体提速约 35%

5. 结论与经验总结

经过这一整夜的调优，我总结出以下经验：

NVMe 用 none，SAS 用 mq-deadline，是香港大数据高负载环境的最佳起点
RAID10 + 大条带 + Write Back 缓存，大幅提升顺序读写性能
I/O 优化必须结合业务负载特征，fio 只是参考，最终要看实际 Spark/HDFS 任务表现
香港机房的网络与存储延迟特性，在跨境业务场景下尤其敏感，I/O 调度与缓存策略调整对整体 SLA 至关重要

下面是一个面向生产环境的 Shell 自动化脚本附录，我在香港机房做 I/O 优化时沉淀下来的实战工具。它可以一键完成以下任务：

记录优化前基线性能（iostat / fio）
调整 I/O 调度器（NVMe 用 none，SAS/SATA 用 mq-deadline）
设置队列深度、关闭无用随机优化
调整 RAID 缓存策略（WriteBack + ReadAhead）
记录优化后性能对比

⚠️ 注意事项

请在测试服务器或业务低峰期执行
RAID 控制器命令示例基于 storcli，Dell/LSI 阵列通用；若为 HPE，请改用 hpacucli
脚本需 root 权限执行

附录：一键 I/O 调优与基线对比 Shell 脚本

#!/bin/bash
# Hong Kong Datacenter I/O Optimization Script
# Author: 实战运维
# Date: 2025-08-03

###############################################
# 0. 环境与变量配置
###############################################
LOG_DIR="/var/log/io_optimization"
BASELINE_LOG="$LOG_DIR/io_baseline.log"
AFTER_LOG="$LOG_DIR/io_after.log"
SCHEDULER_NVME="none"
SCHEDULER_SAS="mq-deadline"
NR_REQUESTS=128
STORCLI_BIN="/opt/MegaRAID/storcli/storcli64"

mkdir -p $LOG_DIR

###############################################
# 1. 基线性能采集
###############################################
echo ">>> [1/5] 收集优化前 I/O 基线数据..."
date | tee $BASELINE_LOG
echo "### iostat baseline ###" >> $BASELINE_LOG
iostat -x -d 1 10 >> $BASELINE_LOG

echo "### fio baseline (顺序读写测试) ###" >> $BASELINE_LOG
fio --name=baseline_seq \
    --rw=readwrite \
    --bs=1M \
    --size=1G \
    --numjobs=4 \
    --iodepth=32 \
    --runtime=30 \
    --time_based \
    --group_reporting >> $BASELINE_LOG

###############################################
# 2. I/O 调度器调整
###############################################
echo ">>> [2/5] 调整 I/O 调度器..."
for dev in $(lsblk -ndo NAME,TYPE | awk '$2=="disk"{print $1}'); do
    SCHED_FILE="/sys/block/$dev/queue/scheduler"

    if [[ $dev == nvme* ]]; then
        echo $SCHEDULER_NVME > $SCHED_FILE
        echo "Device: $dev -> Scheduler: $SCHEDULER_NVME"
    else
        echo $SCHEDULER_SAS > $SCHED_FILE
        echo "Device: $dev -> Scheduler: $SCHEDULER_SAS"
    fi

    # 调整队列深度
    echo $NR_REQUESTS > /sys/block/$dev/queue/nr_requests
    # 关闭随机熵源合并优化
    echo 0 > /sys/block/$dev/queue/add_random
done

###############################################
# 3. RAID 缓存策略调整（基于 storcli）
###############################################
echo ">>> [3/5] 调整 RAID 阵列缓存策略..."
if [ -x "$STORCLI_BIN" ]; then
    for vd in $($STORCLI_BIN /call/vall show | awk '/VD/{print $2}'); do
        echo "设置 RAID VD$vd 为 WriteBack + ReadAhead..."
        $STORCLI_BIN /c0/v$vd set cache=wb ra
    done
else
    echo "storcli 未安装或路径不正确，跳过 RAID 缓存策略调整"
fi

###############################################
# 4. 优化后性能采集
###############################################
echo ">>> [4/5] 收集优化后 I/O 性能数据..."
date | tee $AFTER_LOG
echo "### iostat after ###" >> $AFTER_LOG
iostat -x -d 1 10 >> $AFTER_LOG

echo "### fio after (顺序读写测试) ###" >> $AFTER_LOG
fio --name=after_seq \
    --rw=readwrite \
    --bs=1M \
    --size=1G \
    --numjobs=4 \
    --iodepth=32 \
    --runtime=30 \
    --time_based \
    --group_reporting >> $AFTER_LOG

###############################################
# 5. 基线与优化后结果对比输出
###############################################
echo ">>> [5/5] 对比优化前后性能变化..."
echo "基线日志: $BASELINE_LOG"
echo "优化后日志: $AFTER_LOG"

echo ">>> 优化完成，请使用以下命令查看对比："
echo "diff -u $BASELINE_LOG $AFTER_LOG | less"

exit 0