在香港机房，我刚刚接手了一台高性能物理服务器的性能优化任务。服务器型号是 Dell PowerEdge R7525，配备了双路 AMD EPYC 7742，总共 128 个逻辑核心。业务是一个高并发的金融行情计算服务，涉及多线程密集型计算，但在运行一段时间后，CPU 使用率并不均衡——有些核心爆满，有些核心几乎闲置，导致整体延迟不稳定。

当时正值凌晨两点，业务方催着第二天早盘前必须完成优化。我决定通过 taskset 精准绑定线程，以及借助 tuned-adm 调整内核调优策略，重新分配多核 CPU 的线程负载，以确保业务最大化利用硬件资源。

一、环境与问题分析

硬件环境：

• 物理服务器：Dell PowerEdge R7525
• CPU：Dual AMD EPYC 7742（64 核 × 2，SMT 2x，共 128 线程）
• 内存：512GB DDR4
• 系统：CentOS 8 Stream

业务特性：

• 核心服务使用多线程计算框架（C++ + OpenMP）
• 线程数固定为 64（历史遗留设置）
• 对单核性能敏感，线程迁移频繁导致 L3 Cache Miss 高

初步诊断：

• 使用 htop 观察线程分布，发现线程在 NUMA 节点间迁移频繁
• numastat 显示内存访问有明显跨 NUMA 节点的情况
• 说明 CPU 线程亲和性没有被合理控制

二、taskset 精准控制线程绑定

taskset 是 Linux 提供的 CPU 亲和性工具，可以将进程或线程绑定到指定 CPU 核心，从而避免线程频繁迁移。

1. 查看 CPU 核心拓扑

首先我通过 lscpu 和 numactl 确认 CPU 编号与 NUMA 拓扑：

lscpu | egrep 'NUMA|CPU(s)'
numactl --hardware

输出类似：

NUMA node0 CPU(s): 0-63
NUMA node1 CPU(s): 64-127

这意味着：

• 0~63 属于 NUMA 节点 0
• 64~127 属于 NUMA 节点 1

线程分配必须考虑 NUMA，否则性能会打折。

2. 使用 taskset 绑定线程

假设我有一个服务二进制 market_engine，启动命令原本是：

./market_engine

为了固定前 32 个线程到 NUMA 节点 0，我用十六进制掩码：

# 将进程绑定到 CPU0-31
taskset -c 0-31 ./market_engine

或者先启动后绑定：

pid=$(pgrep market_engine)
taskset -cp 0-31 $pid

实测结果：

• 原本平均 CPU 负载 60%，延迟抖动明显
• 绑定后 CPU 利用率更均衡，L3 cache 命中率明显提升（通过 perf stat 验证）

三、tuned-adm 优化系统调优策略

仅仅绑定线程还不够，Linux 默认的调度和节能策略可能会导致 CPU 睡眠、频率波动或线程跨 NUMA 节点迁移。因此我进一步使用 tuned-adm 配置性能模式。

1. 安装并启用 tuned

yum install tuned -y
systemctl enable --now tuned

查看当前可用的 profile：

tuned-adm list

常用性能优化 profile：

• throughput-performance（高吞吐场景）
• latency-performance（低延迟场景）
• cpu-partitioning（CPU 分区/隔离场景）

2. 启用低延迟调优

针对金融行情计算，我选择低延迟模式：

tuned-adm profile latency-performance
tuned-adm active

这会：

• 关闭 CPU C-States 省电功能
• 固定 CPU 频率到最高档
• 减少调度器干扰

3. 高阶：CPU 隔离与 tuned 配合

进一步，我在 /etc/tuned/cpu-partitioning-variables.conf 中配置隔离核心：

isolated_cores=0-31

然后切换 profile：

tuned-adm profile cpu-partitioning

重启后，前 32 个核心完全隔离给我的关键线程使用，避免与系统杂务竞争。

四、完整优化方案总结

线程绑定：

• 使用 taskset 将核心计算线程绑定到 NUMA 本地核心
• 避免频繁迁移导致的缓存失效

内核调优：

• 使用 tuned-adm 切换到 latency-performance 或 cpu-partitioning 模式
• 关闭节能和频率波动，隔离关键 CPU 核心

验证效果：

• 使用 htop 验证线程固定
• 使用 numastat 验证内存本地化
• 使用 perf stat 和 sar 验证 CPU 利用率和缓存命中率

五、实战效果与经验

通过上述方案，最终我在香港机房完成了性能调优：

• 线程抖动延迟降低约 40%
• L3 Cache Miss 从 25% 降到 8%
• CPU 利用率从 60% 提升到 85% 且更加平衡

这一整套方案证明了 taskset 精准控制 + tuned-adm 系统调优 是多核物理服务器性能优化的高效组合。

如果你也在香港或其他机房管理多核物理服务器，遇到线程迁移和 CPU 不均衡的问题，我的实操经验可以直接参考。

六、自动化 CPU 线程分配与调优脚本

下面是我在香港物理服务器实战中整理的，实现了以下功能：

• 自动检测 NUMA 节点与核心分布
• 使用 taskset 将指定服务绑定到特定 CPU 核心
• 使用 tuned-adm 自动切换到低延迟或 CPU 隔离模式
• 可选自动配置 CPU 隔离核心并重启 tuned

我将它命名为 cpu_optimize.sh：

cpu_optimize.sh

#!/bin/bash
# 自动化 CPU 线程分配与 tuned-adm 调优脚本
# 作者: 我的香港机房实战经验

SERVICE_NAME=$1          # 目标服务名，例如 market_engine
CORE_RANGE=$2            # 核心绑定范围，例如 0-31
TUNED_PROFILE=$3         # 调优模式，可选 latency-performance 或 cpu-partitioning

if [[ -z "$SERVICE_NAME" || -z "$CORE_RANGE" ]]; then
    echo "用法: $0 <服务名> <核心范围> [tuned-profile]"
    echo "示例: $0 market_engine 0-31 latency-performance"
    exit 1
fi

if [[ -z "$TUNED_PROFILE" ]]; then
    TUNED_PROFILE="latency-performance"
fi

echo "=============================="
echo "1. 检查 NUMA 和 CPU 拓扑"
echo "=============================="
lscpu | egrep 'NUMA|CPU\(s\)'
numactl --hardware

echo "=============================="
echo "2. 查找服务进程 PID"
echo "=============================="
PID=$(pgrep -f "$SERVICE_NAME")
if [[ -z "$PID" ]]; then
    echo "未找到服务 $SERVICE_NAME，请先启动服务后再运行此脚本"
    exit 1
fi
echo "服务 $SERVICE_NAME 的 PID: $PID"

echo "=============================="
echo "3. 使用 taskset 绑定 CPU 核心"
echo "=============================="
taskset -cp $CORE_RANGE $PID

echo "=============================="
echo "4. 启用 tuned-adm 调优策略: $TUNED_PROFILE"
echo "=============================="
if ! command -v tuned-adm &> /dev/null; then
    echo "安装 tuned..."
    yum install -y tuned
    systemctl enable --now tuned
fi

tuned-adm profile $TUNED_PROFILE
tuned-adm active

# 如果使用 cpu-partitioning，自动配置隔离核心
if [[ "$TUNED_PROFILE" == "cpu-partitioning" ]]; then
    echo "=============================="
    echo "5. 配置 CPU 隔离核心: $CORE_RANGE"
    echo "=============================="
    CONF_FILE="/etc/tuned/cpu-partitioning-variables.conf"
    sed -i "/^isolated_cores=/d" $CONF_FILE
    echo "isolated_cores=$CORE_RANGE" >> $CONF_FILE

    echo "重启 tuned 应用 CPU 隔离..."
    systemctl restart tuned
fi

echo "=============================="
echo "6. 优化完成，验证线程绑定与调优状态"
echo "=============================="
taskset -cp $PID
tuned-adm active

echo "=============================="
echo "完成！请使用 htop 或 numastat 验证效果。"

使用示例

给服务 market_engine 绑定到 0~31 核心并启用低延迟模式：

bash cpu_optimize.sh market_engine 0-31 latency-performance

给服务 market_engine 绑定到 0~31 核心并启用 CPU 隔离模式：

bash cpu_optimize.sh market_engine 0-31 cpu-partitioning

脚本效果

• 自动查找服务进程并绑定 CPU 核心
• 自动切换内核调优策略
• 支持自动 CPU 隔离核心（NUMA 友好）
• 一次执行即可完成优化并输出验证信息