如何在韩国服务器上部署Kafka并验证消息收发?

发布人:A5数据发布时间:2026-11-14 14:28阅读量:19

在韩国服务器上首次部署 Kafka,可以先采用单机 KRaft 模式:由一个节点同时承担 Broker 和 Controller,创建单分区测试主题,再用控制台生产者与消费者验证消息收发。以下以 Ubuntu 22.04/24.04、Kafka 3.8.1、OpenJDK 17 为例;单机配置适合功能验证或小规模测试,不提供节点故障冗余。

服务器所在地区不会改变 Kafka 的安装方式,但会影响客户端到服务器的网络路径。开始前确认服务器有公网 IP 或可解析的域名、磁盘空间充足,并能通过 SSH 管理。若需从外部客户端连接,还要准备客户端出口 IP,以便限制 Kafka 端口的访问来源。

面向韩国本地业务或需要在首尔部署消息服务的场景,A5idc数据提供韩国首尔物理服务器方案,涵盖不同CPU、存储配置及优化或国际线路选择,可为Kafka Broker运行、消息数据落盘和客户端网络接入提供相应的计算、存储与网络资源基础。韩国节点也可纳入多地区服务器资源规划。

一、准备条件

本例使用 9092 作为客户端连接端口,9093 作为仅限本机访问的 KRaft Controller 端口。不要将 Controller 端口开放到公网。Kafka 示例配置使用明文协议,因此 9092 也不应对所有来源开放;测试远程收发时,应在云平台安全组和服务器防火墙中只允许可信客户端 IP 连接。

建议先核对系统、时间同步状态和当前监听端口:

cat /etc/os-release
timedatectl status
ss -lntp | grep -E ':9092|:9093' || true

预期系统信息显示 Ubuntu 22.04 或 24.04。若 9092 已被其他进程占用,应先查明进程及用途,不要直接终止它。时间保持同步即可,不必为了服务器位于韩国而修改系统时区。

安装 Java 运行环境及下载、解压工具:

sudo apt-get update
sudo apt-get install -y openjdk-17-jre-headless curl tar
java -version

输出中应能看到 Java 17。若包无法安装,先核对系统软件源和发行版,不要继续使用不匹配的 Java 版本启动 Kafka。

二、安装 Kafka

下载 Kafka 3.8.1 二进制发行包并安装到 /opt/kafka。以下操作适用于首次安装;如果该路径或配置已经被其他服务使用,应先检查并备份,不要覆盖现有文件。

cd /tmp
curl -fLO https://archive.apache.org/dist/kafka/3.8.1/kafka_2.13-3.8.1.tgz
tar -xzf kafka_2.13-3.8.1.tgz
sudo mv kafka_2.13-3.8.1 /opt/kafka
/opt/kafka/bin/kafka-topics.sh --version

版本命令应显示 3.8.1。若下载失败,先检查服务器出站网络、DNS 和下载地址;不要把未确认来源的压缩包直接用于安装。

创建专用系统用户和数据目录:

sudo useradd --system --home-dir /opt/kafka --shell /usr/sbin/nologin kafka
sudo install -d -o kafka -g kafka -m 0750 /var/lib/kafka/data

如果提示 kafka 用户已存在,先确认该账户是否属于已有部署,再决定是否沿用,避免影响其他服务。

三、配置单机 KRaft

KRaft 模式不依赖 ZooKeeper。单机部署中,Broker 和 Controller 使用同一个节点 ID;数据目录用于保存 Kafka 的消息和集群元数据。

三、配置单机 KRaft配图

先备份原始配置,再写入本例配置:

sudo cp -a /opt/kafka/config/kraft/server.properties \
  /opt/kafka/config/kraft/server.properties.bak

将下面配置中的 YOUR_SERVER_PUBLIC_IP 替换为服务器公网 IP,或者替换为指向该服务器的域名。填写时不要带 http://、https:// 或端口号。

process.roles=broker,controller
node.id=1

controller.quorum.voters=1@127.0.0.1:9093
controller.listener.names=CONTROLLER

listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://127.0.0.1:9093
advertised.listeners=PLAINTEXT://YOUR_SERVER_PUBLIC_IP:9092
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
inter.broker.listener.name=PLAINTEXT

log.dirs=/var/lib/kafka/data

offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1

例如,服务器公网地址是 203.0.113.25,则对应行应写为:

advertised.listeners=PLAINTEXT://203.0.113.25:9092

listeners 决定服务在哪些本机接口上监听;advertised.listeners 则是 Kafka 返回给客户端、供客户端后续连接使用的地址。远程客户端连接时,广告地址必须能从客户端所在网络访问。只修改服务器本地监听地址、却把广告地址留为 localhost,常会出现客户端能连上初始地址却无法正常收发的情况。

三、配置单机 KRaft配图

写入配置文件:

sudo tee /opt/kafka/config/kraft/server.properties >/dev/null <<'EOF'
process.roles=broker,controller
node.id=1

controller.quorum.voters=1@127.0.0.1:9093
controller.listener.names=CONTROLLER

listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://127.0.0.1:9093
advertised.listeners=PLAINTEXT://YOUR_SERVER_PUBLIC_IP:9092
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
inter.broker.listener.name=PLAINTEXT

log.dirs=/var/lib/kafka/data

offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
EOF

确认占位值已替换,并检查关键配置:

grep -E '^(process.roles|node.id|controller.quorum.voters|listeners|advertised.listeners|log.dirs)=' \
  /opt/kafka/config/kraft/server.properties

输出中的 advertised.listeners 不应再包含 YOUR_SERVER_PUBLIC_IP。如果只在服务器本机测试,可将广告地址设置为 127.0.0.1:9092,同时不开放公网入站端口。

四、初始化数据目录并启动服务

首次启动前,需要为 KRaft 生成集群 ID,并格式化空数据目录。格式化会在目录中创建集群元数据;不要对已有 Kafka 数据目录重复执行。若目录并非空目录,先查明数据归属并做好备份。

sudo install -d -o root -g kafka -m 0750 /etc/kafka
sudo -u kafka /opt/kafka/bin/kafka-storage.sh random-uuid \
  | sudo tee /etc/kafka/cluster.id >/dev/null

CLUSTER_ID=$(sudo cat /etc/kafka/cluster.id)
sudo -u kafka /opt/kafka/bin/kafka-storage.sh format \
  -t "$CLUSTER_ID" \
  -c /opt/kafka/config/kraft/server.properties

格式化完成后应看到成功提示。若提示数据目录非空、集群 ID 不匹配或目录不可写,不要删除目录后盲目重试;先确认是否已有数据,并检查目录权限和配置中的 log.dirs。

创建 systemd 服务:

sudo tee /etc/systemd/system/kafka.service >/dev/null <<'EOF'
[Unit]
Description=Apache Kafka (KRaft)
After=network.target

[Service]
Type=simple
User=kafka
Group=kafka
WorkingDirectory=/opt/kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-failure
RestartSec=5
LimitNOFILE=100000
TimeoutStopSec=180

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now kafka
sudo systemctl status kafka --no-pager

systemctl status 应显示 active (running)。再检查端口绑定:

sudo ss -lntp | grep -E ':9092|:9093'

预期 9092 监听在可接受客户端连接的接口上;9093 应仅绑定 127.0.0.1。如果 9093 出现在公网监听地址上,应先停止服务并修正 listeners 配置,再重新启动。

查看启动日志:

sudo journalctl -u kafka -n 80 --no-pager

如需进一步查看 Kafka 文件日志,可检查 /opt/kafka/logs/。遇到启动失败时,优先依据日志中的具体错误排查,不要把反复重启当作修复方法。

五、限制远程访问并验证网络

如果只在服务器本机验证,不必开放公网端口。远程客户端测试前,应在云平台安全组和操作系统防火墙中,将 TCP 9092 的来源限制为客户端公网出口 IP。不同韩国服务器供应商的安全组管理方式不同,应以该实例实际使用的网络控制台为准。

若服务器正在使用 UFW,且 SSH 管理规则已经确认无误,可以添加单个客户端 IP 的入站规则:

sudo ufw allow from CLIENT_PUBLIC_IP to any port 9092 proto tcp
sudo ufw status numbered

将 CLIENT_PUBLIC_IP 替换为客户端实际出口 IP。不要为完成 Kafka 测试而清空防火墙规则或放开所有来源。若安全组和 UFW 都启用,两处都要检查;9093 不需要为远程客户端开放。

从外部客户端先检查端口是否可达:

nc -vz YOUR_SERVER_PUBLIC_IP 9092

连接成功表示 TCP 路径可达,但不代表 Kafka 配置和消息收发已经通过验证。若超时,检查公网 IP、路由、供应商安全组、UFW 以及客户端出口 IP 是否匹配。若端口可达但 Kafka 命令仍报连接错误,重点检查 advertised.listeners 是否填写了客户端可访问的地址。

六、创建主题并验证消息收发

先在服务器本机创建一个只用于测试的主题。单节点只有一个 Broker,因此副本数设为 1;这里也使用一个分区,便于直接核对消息。

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 127.0.0.1:9092 \
  --create \
  --topic korea-demo \
  --partitions 1 \
  --replication-factor 1

成功时会显示主题创建完成。使用描述命令检查分区和副本:

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 127.0.0.1:9092 \
  --describe \
  --topic korea-demo

示例输出如下,具体分区号和节点信息以实际环境为准:

Topic: korea-demo  PartitionCount: 1  ReplicationFactor: 1
Topic: korea-demo  Partition: 0  Leader: 1  Replicas: 1  Isr: 1

其中 Leader、Replicas 和 Isr 显示节点 1,说明该单机主题当前有可用的分区领导者和副本。它不代表数据已在多个节点间冗余。

打开第一个终端启动消费者:

/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server 127.0.0.1:9092 \
  --topic korea-demo \
  --from-beginning

再打开第二个终端启动生产者:

/opt/kafka/bin/kafka-console-producer.sh \
  --bootstrap-server 127.0.0.1:9092 \
  --topic korea-demo

在生产者提示符后输入一条测试消息并回车,例如:

hello-korea-kafka

消费者终端应出现相同内容。这个结果验证了本机到 Broker 的连接、主题写入和消费者读取。测试结束时,在两个终端分别按 Ctrl+C 退出。

六、创建主题并验证消息收发配图

要验证远程客户端收发,可在客户端安装与服务器兼容的 Kafka 命令行工具,并将 127.0.0.1:9092 替换为服务器公网 IP 或域名:

kafka-topics.sh \
  --bootstrap-server YOUR_SERVER_PUBLIC_IP:9092 \
  --list

若能列出 korea-demo,再用同一地址启动生产者和消费者进行测试。远程连接失败时,应分别检查 TCP 可达性、广告地址和防火墙来源规则;不要为了排除问题而长期开放所有来源。

七、常见失败及处理顺序

服务无法启动。 先检查 Java 版本、服务状态和启动日志:

java -version
sudo systemctl status kafka --no-pager
sudo journalctl -u kafka -n 120 --no-pager

日志若显示找不到 Java,检查 PATH 和 Java 安装;若显示无法读取配置,检查配置文件路径和权限;若提示端口已占用,使用 ss -lntp 找出占用者,并确认能否调整 Kafka 端口。不要直接停止未知进程。

提示数据目录权限不足。 核对配置中的 log.dirs 与实际目录是否一致:

grep '^log.dirs=' /opt/kafka/config/kraft/server.properties
sudo stat -c '%U:%G %a %n' /var/lib/kafka/data

数据目录应由 kafka 用户写入。若目录属于其他服务或包含已有数据,不要直接递归改权限;先确认目录用途并制定备份方案。

本机正常,远程连接失败。 如果本机的主题操作成功,而客户端超时,通常应先检查安全组、防火墙和客户端出口 IP。如果客户端能够连接初始地址,但后续请求失败,检查 advertised.listeners:客户端必须能够访问 Broker 通告的地址。公网 IP 变更或域名解析指向错误,也会导致类似现象。

七、常见失败及处理顺序配图

无法创建主题或内部主题报副本数错误。 单机只有一个 Broker。检查主题创建命令中的 --replication-factor 1,并确认本例单机配置中的内部主题副本参数未被改成大于 1 的值。单机无法满足多副本配置要求,不能靠增加分区数替代多节点副本。

KRaft 提示集群 ID 或元数据不匹配。 这通常表示配置、集群 ID 与数据目录不是同一套状态。先停止服务、备份数据目录和配置,再核对 /etc/kafka/cluster.id、log.dirs 与格式化时使用的配置。不要直接重新格式化已有目录;这可能导致已有消息和元数据无法按预期使用。

八、验收与回滚检查

部署验收至少核对以下项目:

  • java -version 显示 Java 17,Kafka 命令显示预期版本。
  • kafka.service 状态为 active (running),日志中没有持续出现的启动错误。
  • 9092 监听地址符合访问需求,9093 仅对本机开放。
  • 主题描述显示 Leader 和 Isr 正常,测试消息能从消费者终端读到。
  • 若需远程收发,客户端能访问 advertised.listeners 中的地址,入站规则仅允许已确认的客户端来源。

如果需要撤回本次部署,先停止并禁用服务,保留配置和数据目录:

sudo systemctl disable --now kafka
sudo systemctl status kafka --no-pager

需要恢复原始配置时,确认备份文件存在后再恢复,并重新加载 systemd 配置:

sudo test -f /opt/kafka/config/kraft/server.properties.bak
sudo cp -a /opt/kafka/config/kraft/server.properties.bak \
  /opt/kafka/config/kraft/server.properties
sudo systemctl daemon-reload

随后可按需重新启动服务,或保持停止状态。回滚前应先在云平台撤销为本次测试新增的安全组规则,并按实际情况删除 UFW 中对应来源的 9092 规则。数据目录包含 Kafka 消息及集群元数据;如需清理,应先确认不再需要其中数据并完成备份,再对明确的目标目录执行清理,避免误删其他服务文件。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9421.html