美国洛杉矶服务器搭建Apache Kafka集群,先确认哪些依赖
首次在美国洛杉矶服务器上部署 Apache Kafka 集群,先确认的依赖不只是 Java:还要核实服务器之间的网络、磁盘与内存、集群节点规划,以及客户端访问方式。以下以 Ubuntu 22.04/24.04、Kafka 3.8.1、Java 17 和 KRaft 模式为例,说明三台服务器组成的首次部署流程;KRaft 不需要另装 ZooKeeper。
示例中的私网地址、节点名和目录需替换为实际值。命令用于演示操作与预期结果,不代表已在某组服务器上执行。首次验证建议在服务器私网内进行;Kafka 示例使用明文连接,不应直接暴露到公网。
A5idc数据提供美国物理服务器,涵盖常规 Xeon、AMD EPYC 等配置,可为 Kafka 集群部署提供服务器资源基础。不同方案配有相应的内存、SSD 或 NVMe 存储及网络线路,能够承载消息服务、业务后台和数据库等多种工作负载;美国常规系列也提供 CN2 GIA 线路方案,适用于面向美国用户或跨境业务的部署需求。
部署前需要确认的依赖
服务器、磁盘与系统
三台服务器应位于可互通的网络中,并为 Kafka 规划独立的数据目录。集群能否承载业务取决于消息量、保留时间、分区数和副本策略;作为小规模测试环境的起点,可考虑每台 4 vCPU、8~16 GB 内存和 SSD,再根据实际负载调整。这是参考配置,不是性能保证。
上线前确认以下事项:
- 操作系统为受支持的 64 位 Linux,且三台服务器时间同步正常。
- Kafka 数据目录所在磁盘有足够空间,并确认文件系统、挂载方式和磁盘告警策略。
- 各节点之间可解析对方地址,并可按规划访问 Kafka broker 端口
9092和 KRaft controller 端口9093。 - 防火墙仅允许集群成员访问
9093;9092仅开放给可信客户端网段。不要把示例中的明文监听器直接开放给公网客户端。 - 确认洛杉矶机房与客户端所在区域的网络时延、路由和带宽满足业务要求。跨区域客户端可能遇到更高延迟,网络可达不等于服务端到端延迟符合预期。
检查系统与网络:
cat /etc/os-release
timedatectl status
ip -brief address
df -h
逐台确认地址、磁盘挂载与时间状态。集群节点间可先用 nc -vz <目标私网地址> 9092 或 nc -vz <目标私网地址> 9093 检查端口连通性;服务尚未启动时,连接被拒绝并不能单独说明防火墙配置错误。
Java、安装工具与 Kafka 版本
Kafka 运行依赖 Java。以下示例统一使用 OpenJDK 17,避免节点间 Java 版本不一致。还需要下载和解压工具;Kafka 本身通过 Apache 发布的二进制包安装。
sudo apt-get update
sudo apt-get install -y openjdk-17-jre-headless curl tar
java -version
预期能看到 Java 17 版本信息。若提示找不到 java,先检查安装结果和 PATH;不要在未核对 Kafka 版本兼容要求时,直接用系统中已有的其他 Java 版本替代。
下载 Kafka 前,在 Apache Kafka 发布页核对版本、二进制包和校验信息,再将下例 URL 中的版本替换为准备采用的版本。生产部署应固定版本,不要在不同节点分别下载“最新版”。
cd /tmp
curl -fLO https://archive.apache.org/dist/kafka/3.8.1/kafka_2.13-3.8.1.tgz
校验文件后再解压。可按发布页提供的校验文件或签名验证下载内容;如果校验不通过,不要继续安装。
配置并启动 KRaft 集群
规划节点和监听地址
假设三台服务器的私网地址分别为 10.0.0.11、10.0.0.12 和 10.0.0.13。本例采用三台 broker 同时承担 controller 的 KRaft 模式,每个节点的 node.id 必须不同;controller.quorum.voters 则在所有节点配置中保持一致。

先确认私网地址在三台机器上固定可用,并建立相同的 Kafka 安装目录和数据目录。下面以 /opt/kafka 和 /data/kafka 为例:
sudo mkdir -p /opt/kafka /data/kafka
sudo tar -xzf /tmp/kafka_2.13-3.8.1.tgz \
-C /opt/kafka --strip-components=1
sudo useradd --system --home-dir /opt/kafka --shell /usr/sbin/nologin kafka
sudo chown -R kafka:kafka /opt/kafka /data/kafka
如果 kafka 用户已经存在,跳过创建用户这一步。操作前确认 /opt/kafka 没有需要保留的现有安装;解压和目录变更只应作用于本次规划的路径。
配置每个节点
在每台机器上编辑 /opt/kafka/config/kraft/server.properties。节点 1 使用以下内容;节点 2、3 也使用相同配置,但分别将 node.id 改为 2、3,并将 listeners 中的本机地址换成对应地址。
process.roles=broker,controller
node.id=1
controller.quorum.voters=1@10.0.0.11:9093,2@10.0.0.12:9093,3@10.0.0.13:9093
listeners=PLAINTEXT://10.0.0.11:9092,CONTROLLER://10.0.0.11:9093
advertised.listeners=PLAINTEXT://10.0.0.11:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
inter.broker.listener.name=PLAINTEXT
controller.listener.names=CONTROLLER
log.dirs=/data/kafka
listeners 是本机实际绑定地址,advertised.listeners 是 broker 告诉客户端应连接的地址。本例两者均使用私网地址,只适用于可访问该私网的客户端。若客户端在其他网络,不要简单地将 advertised.listeners 改为公网地址后就开放端口;需要一并规划受控入口、认证加密和防火墙规则,并确保客户端公布的地址确实可达。

检查节点配置差异:
grep -E '^(node.id|controller.quorum.voters|listeners|advertised.listeners|log.dirs)=' \
/opt/kafka/config/kraft/server.properties
预期是三台机器的 node.id 分别为 1、2、3,投票者列表一致,listeners 与本机地址匹配。若地址写错或节点 ID 重复,先修正配置,不要继续格式化存储。
初始化存储并启动
KRaft 集群初始化需要一个集群 ID。只生成一次,并通过受控方式记录下来,在三台机器上使用同一个 ID。不要为每台服务器分别生成集群 ID。
在其中一台机器上执行:
sudo -u kafka /opt/kafka/bin/kafka-storage.sh random-uuid
将输出的 ID 保存为变量示例中的 CLUSTER_ID,再在三台服务器上分别执行存储格式化命令:
CLUSTER_ID='<刚才生成的同一个集群ID>'
sudo -u kafka /opt/kafka/bin/kafka-storage.sh format \
-t "$CLUSTER_ID" \
-c /opt/kafka/config/kraft/server.properties
格式化前确认 /data/kafka 是新建目录且没有要保留的数据。该命令会初始化 Kafka 元数据目录;对已有集群数据执行格式化可能导致数据不可用。若命令提示目录已经格式化,不要为了消除提示而清空目录,应先确认这台机器是否已加入过其他集群。
先在每个节点前台启动,便于观察日志:
sudo -u kafka /opt/kafka/bin/kafka-server-start.sh \
/opt/kafka/config/kraft/server.properties
另开终端观察启动输出。成功时日志应显示 broker 已启动并开始处理请求;若终端退出或反复报错,先按后文的排查顺序处理。三台节点均完成配置和格式化后,才能进行集群级验证。
常见失败处理
按由外到内的顺序检查,避免在网络问题未排除时反复改 Kafka 配置。

| 现象 | 优先检查 | 处理方向 |
|---|---|---|
| Java 命令不存在或版本不符合预期 | java -version、软件包安装状态 | 安装与 Kafka 版本相容的 Java,并确认所有节点一致 |
| 节点无法加入 quorum | 私网地址、DNS、路由及节点间 9093 连通性 | 检查安全组和主机防火墙;确认 controller.quorum.voters 中地址与 node.id 对应 |
| Broker 启动后客户端连接失败 | listeners、advertised.listeners 和客户端所在网络 | 确认客户端使用的是可达地址;公布了不可达地址时,连接可能在初始握手后失败 |
| 报告存储目录权限错误 | /data/kafka 所有者和挂载状态 | 确认 Kafka 用户对规划的数据目录有读写权限,并确认磁盘已挂载 |
| 提示集群 ID 或存储元数据不匹配 | 格式化时使用的集群 ID、数据目录历史状态 | 停止继续初始化,核对节点是否混入旧数据;不要直接删除目录 |
检查服务日志时,优先阅读启动报错前后的完整上下文。不要用清空数据目录或重新格式化来处理尚未确认原因的启动失败。
集群结果检查
所有节点运行后,可从一台服务器查看集群元数据和 broker 状态:
sudo -u kafka /opt/kafka/bin/kafka-metadata-quorum.sh \
--bootstrap-server 10.0.0.11:9092 describe --status
sudo -u kafka /opt/kafka/bin/kafka-broker-api-versions.sh \
--bootstrap-server 10.0.0.11:9092
第一条命令应返回 quorum 状态和集群信息;第二条命令应能列出可访问 broker 的 API 信息。若只看到一个 broker,检查其余节点日志、9092 连通性和每台机器的 node.id,并确认配置文件实际生效。
再创建临时测试主题,验证生产和消费链路:

sudo -u kafka /opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 10.0.0.11:9092 \
--create --topic deploy-check --partitions 3 --replication-factor 3
sudo -u kafka /opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 10.0.0.11:9092 \
--describe --topic deploy-check
三台 broker 都已加入集群时,replication-factor 3 才适用于这个三节点示例。测试主题状态应显示三个分区及各自的副本分配;创建失败时,先确认集群中可用 broker 数量。生产主题的分区数和副本数应按消息吞吐、消费者并行度、故障容忍目标及磁盘容量规划,不能照搬测试值。
测试完成后可发送并读取一条消息。该示例写入的是临时测试数据:
printf 'kafka-check\n' | sudo -u kafka \
/opt/kafka/bin/kafka-console-producer.sh \
--bootstrap-server 10.0.0.11:9092 --topic deploy-check
sudo -u kafka /opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server 10.0.0.11:9092 \
--topic deploy-check --from-beginning --max-messages 1
消费端输出 kafka-check,说明基础生产与消费链路可用。此项验证不能替代客户端认证、加密、业务负载和故障切换测试。
回滚与验收清单
首次部署验收时,逐项确认:
- 三台服务器的 Java 版本一致,Kafka 版本固定,系统时间正常。
node.id唯一,KRaft 投票者列表一致,节点间所需端口仅对受信任来源开放。- quorum 状态正常,三个 broker 均可从集群内访问。
- 测试主题创建成功,生产与消费结果符合预期。
- Kafka 数据目录位于规划的磁盘,客户端公布地址可从实际客户端网络访问。
- 明文示例监听器没有暴露给公网业务客户端;正式接入前已完成适用的认证、加密和访问控制设计。
若需撤销本次部署,先停止三台 Kafka 进程,再确认 /opt/kafka 与 /data/kafka 只包含本次部署内容。保留数据用于后续诊断或迁移时,不要删除数据目录;确认无需保留后,才可移除本次安装文件和数据目录。删除前应备份必要配置与日志,并再次核对路径和影响范围。若服务仍在运行或目录包含已有集群数据,应停止回滚操作并先查明归属。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8298.html



