在Linux服务器部署Elasticsearch集群,如何配置节点发现?

发布人:A5数据发布时间:2026-10-14 14:24阅读量:176

在 Linux 服务器上部署 Elasticsearch 集群时,节点发现主要依赖传输层端口、discovery.seed_hosts 和首次启动时的 cluster.initial_master_nodes。前者负责节点之间建立连接,第二项提供候选节点地址,第三项只用于集群第一次选举初始主节点。三者配置正确后,节点会通过 9300 端口互相发现并加入同一个集群,而不是通过客户端访问使用的 9200 端口完成发现。

下面以 3 台 Linux 服务器、Elasticsearch 8.x、systemd 管理服务为例,演示从环境准备、网络放行、节点配置、首次启动到验收和回滚的完整过程。示例地址和输出均为演示数据,实际部署时需要替换为本机内网地址、主机名和证书路径。

一、部署目标与示例环境

1. 集群拓扑

示例集群包含 3 个节点,三台服务器同时承担主节点、数据节点和协调节点角色:

主机名内网地址节点名称角色传输端口
es0110.10.20.11es01master、data、ingest9300
es0210.10.20.12es02master、data、ingest9300
es0310.10.20.13es03master、data、ingest9300

客户端访问 Elasticsearch 使用 9200 端口,节点发现和节点间通信使用 9300 端口。防火墙只放行 9200 并不能解决节点无法加入集群的问题。

一、部署目标与示例环境 / 1. 集群拓扑配图

本示例适用于以下环境:

  • Ubuntu 20.04、Ubuntu 22.04、Debian 11/12、Rocky Linux 8/9 或兼容的 systemd Linux;
  • 3 台服务器安装相同的大版本和尽量一致的小版本 Elasticsearch;
  • 服务器之间通过稳定的内网互通;
  • 使用系统包安装并由 elasticsearch.service 管理;
  • 集群名称统一为 a5idc-es。

如果使用 Elasticsearch 7.17,本文中的 discovery.seed_hosts 和 cluster.initial_master_nodes 仍然适用。Elasticsearch 8.x 通常会启用安全功能,生产环境应保留传输层 TLS,不应为了排查发现问题长期关闭安全配置。

2. 节点发现涉及的配置项

节点发现相关配置可以先按以下方式理解:

配置项作用是否长期保留
cluster.name区分不同 Elasticsearch 集群是
node.name标识单个节点,必须唯一是
node.roles指定节点承担的角色是
network.host设置绑定和发布地址是
transport.port节点间通信端口,默认 9300是
discovery.seed_hosts初始发现时访问的候选节点地址是
cluster.initial_master_nodes首次启动时参与初始主节点选举的节点名称集群形成后删除
discovery.type: single-node强制单节点模式多节点集群中不得使用

discovery.seed_hosts 不是固定成员列表。它只用于帮助节点找到集群中的其他节点,节点加入集群后,成员关系由集群状态维护。

cluster.initial_master_nodes 也不是常规的节点白名单。它只用于第一次集群引导。如果集群已经生成集群状态和集群 UUID,仍然保留该配置,后续重新初始化或误启动新数据目录时可能造成错误的集群引导。

二、部署前准备

1. 核对操作系统、版本和服务状态

在每台服务器上执行:

cat /etc/os-release
uname -r
systemctl is-system-running

检查 Elasticsearch 是否已经安装:

dpkg-query -W -f='${Package} ${Version}\n' elasticsearch 2>/dev/null || true
rpm -q elasticsearch 2>/dev/null || true
systemctl status elasticsearch --no-pager 2>/dev/null || true

如果服务器上已经存在 Elasticsearch 集群或业务数据,不要直接覆盖 /etc/elasticsearch/elasticsearch.yml,也不要直接删除 /var/lib/elasticsearch。应当先确认当前集群 UUID、数据目录和配置备份,再决定是扩容现有集群还是新建集群。

检查现有集群 UUID,可以在节点可访问时执行:

curl -s http://127.0.0.1:9200/_cluster/state/metadata?filter_path=cluster_uuid

启用 HTTPS 或身份认证时,应按照当前环境使用 --cacert 和认证参数。

2. 设置主机名和名称解析

节点名称、主机名和 DNS 记录不要求完全相同,但为了降低排障复杂度,建议统一。以 es01 为例:

sudo hostnamectl set-hostname es01
hostnamectl status

三台服务器的 /etc/hosts 可以保持一致:

10.10.20.11 es01
10.10.20.12 es02
10.10.20.13 es03

写入后检查解析结果:

getent hosts es01 es02 es03

预期能够分别返回三台服务器的内网地址。如果使用企业 DNS,优先使用正式 DNS 记录,并确认所有节点都能解析相同结果。

节点发现配置既可以使用 IP,也可以使用主机名。例如:

discovery.seed_hosts: ["es01:9300", "es02:9300", "es03:9300"]

使用主机名时,DNS 或 /etc/hosts 必须稳定。名称解析异常时,Elasticsearch 可能表现为发现超时或反复选主。

3. 检查时间同步和资源

节点时间不一致会影响日志排序、证书校验和运维判断。检查时间状态:

timedatectl status

如果系统没有启用时间同步服务,应根据发行版启用 chronyd 或 systemd-timesyncd。不要在集群已经运行时随意大幅调整系统时间。

检查内存和磁盘:

free -h
df -h /var/lib/elasticsearch /var/log/elasticsearch 2>/dev/null || df -h

示例节点可以从 8 GB 内存、双核或四核 CPU、SSD 数据盘起步,但实际规格应根据索引数量、分片数、查询并发和保留周期评估。堆内存通常需要设置为固定值,并为操作系统文件缓存和 Elasticsearch 其他进程保留空间。不要把整台服务器内存都分配给 JVM。

面向 Elasticsearch 多节点部署,A5数据提供香港、美国、日本等地区的物理服务器资源,涵盖 Xeon、AMD EPYC 平台及大内存、SSD、NVMe 存储配置,为节点运行、索引写入、分片存储和查询处理提供硬件基础。不同地区的产品还配有相应的优化线路或国际带宽方案,可承载面向不同访问区域的搜索服务、日志检索与业务数据分析应用。

4. 设置内核参数和文件限制

Elasticsearch 使用大量内存映射区域,Linux 通常需要将 vm.max_map_count 调整到至少 262144:

sudo tee /etc/sysctl.d/99-elasticsearch.conf >/dev/null <<'EOF'
vm.max_map_count=262144
EOF

sudo sysctl --system
sysctl vm.max_map_count

预期结果类似:

vm.max_map_count = 262144

该设置会影响整个系统,不只影响 Elasticsearch。正式变更前应检查服务器是否有其他依赖该参数的程序。

如果使用 systemd,可以为服务增加内存锁定限制:

sudo install -d -m 0755 /etc/systemd/system/elasticsearch.service.d

sudo tee /etc/systemd/system/elasticsearch.service.d/override.conf >/dev/null <<'EOF'
[Service]
LimitMEMLOCK=infinity
EOF

sudo systemctl daemon-reload

在 Elasticsearch 配置中启用:

bootstrap.memory_lock: true

启动后可以通过日志和进程状态确认是否因为权限或限制配置失败。

5. 配置 JVM 堆内存

以下以 8 GB 堆内存为例。只有当服务器物理内存足够时才使用该数值,且 -Xms 和 -Xmx 必须保持一致:

sudo tee /etc/elasticsearch/jvm.options.d/heap.options >/dev/null <<'EOF'
-Xms4g
-Xmx4g
EOF

如果服务器只有 8 GB 内存,不建议直接设置 4 GB 以上堆内存。修改 JVM 参数需要重启 Elasticsearch,已经承载业务的节点应采用滚动方式逐台变更。

6. 安装相同版本的 Elasticsearch

以下命令假设 Elasticsearch 软件源已经按企业软件源规范配置。没有配置软件源时,应先准备对应版本的软件包,并核对包的签名、版本和来源。

Ubuntu 或 Debian:

sudo apt-get update
sudo apt-get install -y elasticsearch

RHEL、Rocky Linux 或 AlmaLinux:

sudo dnf install -y elasticsearch

核对版本:

/usr/share/elasticsearch/bin/elasticsearch --version

三台服务器的版本应保持一致,例如都为 8.x 的同一小版本。不要让一台节点使用明显不同的小版本后直接加入生产集群。

三、放行节点间通信

1. 先测试网络,不要先启动集群

在每台服务器上测试其他节点的主机名和地址:

getent hosts es01 es02 es03
ping -c 2 10.10.20.12
ping -c 2 10.10.20.13

ping 被禁用不一定代表 TCP 不通,因此还应测试 9300 端口。目标节点尚未启动时,连接被拒绝属于正常现象;至少应确认路由和防火墙策略符合预期。

在目标节点已经启动监听后,从其他节点执行:

nc -vz 10.10.20.11 9300
nc -vz 10.10.20.12 9300
nc -vz 10.10.20.13 9300

预期结果类似:

Connection to 10.10.20.12 9300 port [tcp/*] succeeded!

如果输出为 timeout,优先检查安全组、云防火墙、主机防火墙和路由;如果输出为 refused,通常说明目标服务尚未监听或监听地址不正确。

2. 配置 firewalld

以下命令只允许三台节点互相访问 9300,并示例性允许管理网段访问 9200:

sudo firewall-cmd --permanent \
  --add-rich-rule='rule family="ipv4" source address="10.10.20.11/32" port port="9300" protocol="tcp" accept'

sudo firewall-cmd --permanent \
  --add-rich-rule='rule family="ipv4" source address="10.10.20.12/32" port port="9300" protocol="tcp" accept'

sudo firewall-cmd --permanent \
  --add-rich-rule='rule family="ipv4" source address="10.10.20.13/32" port port="9300" protocol="tcp" accept'

sudo firewall-cmd --permanent \
  --add-rich-rule='rule family="ipv4" source address="10.10.30.0/24" port port="9200" protocol="tcp" accept'

sudo firewall-cmd --reload
sudo firewall-cmd --list-rich-rules

管理网段 10.10.30.0/24 只是示例,应替换为实际运维网段。不要把 9200 或 9300 无条件暴露到公网。

3. 配置 ufw

Ubuntu 使用 ufw 时,可以执行:

sudo ufw allow from 10.10.20.11 to any port 9300 proto tcp
sudo ufw allow from 10.10.20.12 to any port 9300 proto tcp
sudo ufw allow from 10.10.20.13 to any port 9300 proto tcp
sudo ufw allow from 10.10.30.0/24 to any port 9200 proto tcp
sudo ufw status numbered

防火墙规则变更属于系统级操作。执行前应记录现有规则,避免误删远程管理端口。回滚时只能删除本次新增的规则,不要直接执行清空全部规则的命令。

四、配置 Elasticsearch 节点

1. 配置文件备份

在修改前备份配置:

sudo cp -a /etc/elasticsearch/elasticsearch.yml \
  /etc/elasticsearch/elasticsearch.yml.$(date +%F-%H%M%S).bak

同时保存 JVM 和 systemd 配置:

sudo cp -a /etc/elasticsearch/jvm.options.d \
  /etc/elasticsearch/jvm.options.d.$(date +%F-%H%M%S).bak

sudo cp -a /etc/systemd/system/elasticsearch.service.d \
  /etc/systemd/system/elasticsearch.service.d.$(date +%F-%H%M%S).bak 2>/dev/null || true

2. 写入节点发现配置

三台节点的配置大部分相同,只有 node.name、network.host 和证书文件名等节点级参数不同。

四、配置 Elasticsearch 节点 / 2. 写入节点发现配置配图

es01 的示例配置:

cluster.name: a5idc-es
node.name: es01
node.roles: [ master, data, ingest ]

path. /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 10.10.20.11
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - "10.10.20.11:9300"
  - "10.10.20.12:9300"
  - "10.10.20.13:9300"

cluster.initial_master_nodes:
  - "es01"
  - "es02"
  - "es03"

es02 只需要将节点名称和地址替换:

cluster.name: a5idc-es
node.name: es02
node.roles: [ master, data, ingest ]

path. /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 10.10.20.12
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - "10.10.20.11:9300"
  - "10.10.20.12:9300"
  - "10.10.20.13:9300"

cluster.initial_master_nodes:
  - "es01"
  - "es02"
  - "es03"

es03 的配置如下:

cluster.name: a5idc-es
node.name: es03
node.roles: [ master, data, ingest ]

path. /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

bootstrap.memory_lock: true

network.host: 10.10.20.13
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - "10.10.20.11:9300"
  - "10.10.20.12:9300"
  - "10.10.20.13:9300"

cluster.initial_master_nodes:
  - "es01"
  - "es02"
  - "es03"

可以使用 IP,也可以使用主机名:

discovery.seed_hosts: ["es01:9300", "es02:9300", "es03:9300"]

如果服务器有多块网卡,不建议直接使用 network.host: 0.0.0.0。更安全的方式是明确绑定业务内网地址:

network.bind_host: 10.10.20.11
network.publish_host: 10.10.20.11

network.publish_host 必须是其他节点可以访问的地址。如果 Elasticsearch 绑定了管理网卡,却向集群发布了不可达的公网地址,节点可能能够启动,但其他节点会在传输层连接阶段失败。

3. Elasticsearch 8.x 的安全配置

生产集群不建议关闭安全功能。节点发现使用的是传输层通信,启用 TLS 后,每个节点都必须拥有有效的节点证书,并且证书中的 DNS 或 IP 必须覆盖实际连接地址。

如果使用自建证书,配置通常类似以下内容。证书文件需要提前部署到每台服务器,路径和文件名按实际环境替换:

xpack.security.enabled: true

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: full
xpack.security.transport.ssl.certificate_authorities:
  - /etc/elasticsearch/certs/ca.crt
xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/es01.crt
xpack.security.transport.ssl.key: /etc/elasticsearch/certs/es01.key

es02 和 es03 只替换对应的节点证书:

xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/es02.crt
xpack.security.transport.ssl.key: /etc/elasticsearch/certs/es02.key

证书和私钥权限示例:

sudo install -d -o root -g elasticsearch -m 0750 /etc/elasticsearch/certs
sudo chown root:elasticsearch /etc/elasticsearch/certs/es01.crt
sudo chmod 0640 /etc/elasticsearch/certs/es01.crt
sudo chown root:elasticsearch /etc/elasticsearch/certs/es01.key
sudo chmod 0600 /etc/elasticsearch/certs/es01.key

确认节点证书内容:

openssl x509 -in /etc/elasticsearch/certs/es01.crt \
  -noout -subject -issuer -dates -ext subjectAltName

输出中的 subjectAltName 应包含 10.10.20.11 或 es01,具体取决于 discovery.seed_hosts 使用的地址。

如果 Elasticsearch 安装包已经自动生成了 xpack.security.* 配置或使用 enrollment token 加入集群,不要把自动生成的 keystore 配置和 PEM 证书配置混用。应先检查已有配置:

sudo grep -nE 'xpack.security|ssl|keystore|truststore' \
  /etc/elasticsearch/elasticsearch.yml

使用 enrollment token 时,应在已有集群节点上生成节点加入令牌,再在新节点上执行对应的重新配置流程。该方式适合保留安装包自动生成的 TLS 体系,但仍需确保新节点能通过 9300 访问现有节点。

测试环境如果暂时关闭安全功能,只能在隔离内网中使用,并应明确标记为临时配置:

xpack.security.enabled: false

关闭安全功能后,9200 和 9300 端口不能暴露到不受控网络,正式上线前应切换到 TLS 和身份认证配置。

4. 检查配置一致性

在每个节点上执行:

sudo grep -nE '^(cluster.name|node.name|node.roles|network.host|http.port|transport.port|discovery.seed_hosts|cluster.initial_master_nodes)' \
  /etc/elasticsearch/elasticsearch.yml

重点核对:

  • 三台节点的 cluster.name 完全一致;
  • 三台节点的 node.name 互不重复;
  • node.name 与 cluster.initial_master_nodes 中的名称完全一致;
  • discovery.seed_hosts 包含可达的 9300 地址;
  • 每台服务器的 network.host 对应本机内网地址;
  • 没有配置 discovery.type: single-node;
  • 没有继续使用旧版本的 discovery.zen.minimum_master_nodes 等过时配置。

如果配置中出现重复键、缩进错误或拼写错误,服务可能在启动阶段直接退出。应结合 systemd 日志判断,而不是不断重复重启。

五、首次启动和节点发现验证

1. 启动前检查监听地址

新集群第一次启动前,先确认没有旧的 Elasticsearch 进程占用端口:

sudo ss -lntp | grep -E ':(9200|9300)\b' || true
pgrep -a -f elasticsearch || true

如果发现已有进程,不要直接结束进程。先确认它属于哪个集群、使用哪个数据目录,避免误操作已有业务节点。

2. 启动节点

确认三台服务器之间的 9300 访问策略已经生效后,可以在短时间内启动三台节点。单台执行:

sudo systemctl daemon-reload
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

查看状态:

sudo systemctl status elasticsearch --no-pager

实时查看日志:

sudo journalctl -u elasticsearch -f

同时也可以查看文件日志:

sudo tail -f /var/log/elasticsearch/a5idc-es.log

日志文件名可能因发行版和版本不同而变化,可以先列出目录:

sudo ls -lh /var/log/elasticsearch/

初次启动时,先在 es01 上观察服务是否完成启动,再启动 es02 和 es03。更重要的是三台节点必须使用相同的初始主节点列表,并且不能让网络隔离的节点各自形成独立集群。

3. 验证端口监听

每台服务器执行:

sudo ss -lntp | grep -E ':(9200|9300)\b'

正常情况下可以看到类似结果:

LISTEN 0 4096 10.10.20.11:9200 0.0.0.0:* users:(("java",pid=...,fd=...))
LISTEN 0 4096 10.10.20.11:9300 0.0.0.0:* users:(("java",pid=...,fd=...))

如果只监听 127.0.0.1:9200 或 127.0.0.1:9300,说明 network.host 没有生效,或者配置被其他启动参数覆盖。此时其他节点无法通过该地址加入集群。

4. 查询集群节点

启用安全功能时,使用 CA 证书访问 HTTPS。下面命令会交互式提示输入密码:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  https://10.10.20.11:9200/_cat/nodes?v

如果是隔离测试环境且使用 HTTP:

curl -s http://10.10.20.11:9200/_cat/nodes?v

预期会看到 3 行节点记录,示例格式如下:

ip           heap.percent ram.percent cpu load_1m node.role master name
10.10.20.11  28           62          3   0.12    dim        *      es01
10.10.20.12  31           60          2   0.09    dim        -      es02
10.10.20.13  26           61          2   0.08    dim        -      es03

其中 master 列出现一个 * 属于正常现象,表示当前主节点。node.role 的具体缩写可能随 Elasticsearch 版本不同而略有差异。

5. 检查集群健康状态

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cluster/health?pretty'

三节点集群初始没有索引时,可能看到类似结果:

{
  "cluster_name" : "a5idc-es",
  "status" : "green",
  "number_of_nodes" : 3,
  "number_of_data_nodes" : 3,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "unassigned_shards" : 0
}

如果已经创建了只有一个副本的索引,三节点正常运行时也通常可以达到 green。状态为 yellow 往往表示副本分片暂时没有分配,状态为 red 则说明至少有主分片不可用,需要进一步检查分片分配和磁盘状态。

6. 核对集群 UUID

在任意节点查询:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cluster/state/metadata?filter_path=cluster_uuid'

示例输出:

{
  "cluster_uuid" : "m8x3Q2kTRuW-example-uuid"
}

再分别访问 es02 和 es03,返回的 cluster_uuid 必须相同。节点数量为 3 但 UUID 不一致,说明它们并没有加入同一个集群,不能仅通过修改 cluster.name 解决。

六、集群形成后清理首次引导配置

确认以下条件全部满足后,再移除 cluster.initial_master_nodes:

  • _cat/nodes 显示预期的 3 个节点;
  • _cluster/health 的 number_of_nodes 为 3;
  • 三个节点查询到的 cluster_uuid 相同;
  • 当前主节点已经选出;
  • 日志中没有持续出现 master not discovered 或反复选主记录。

先备份配置:

sudo cp -a /etc/elasticsearch/elasticsearch.yml \
  /etc/elasticsearch/elasticsearch.yml.before-initial-master-removal.bak

编辑配置,删除以下部分:

cluster.initial_master_nodes:
  - "es01"
  - "es02"
  - "es03"

然后逐台重启,每次只操作一个节点:

sudo systemctl restart elasticsearch
sudo systemctl is-active elasticsearch

等待该节点重新加入后,再处理下一台。滚动重启期间,应持续检查节点数和集群健康状态:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cluster/health?filter_path=status,number_of_nodes,number_of_data_nodes'

已经形成的集群不需要通过删除数据目录来“应用”删除操作。删除 cluster.initial_master_nodes 只是防止后续错误引导,不会删除索引数据。

七、增加新节点时如何配置

新节点加入已经存在的集群时,配置思路与首次部署不同。

新节点应保留:

cluster.name: a5idc-es
node.name: es04
node.roles: [ data, ingest ]

network.host: 10.10.20.14
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - "10.10.20.11:9300"
  - "10.10.20.12:9300"
  - "10.10.20.13:9300"

不要在新节点上配置:

cluster.initial_master_nodes:
  - "es01"
  - "es02"
  - "es03"

新节点还需要满足以下条件:

  • cluster.name 与现有集群相同;
  • node.name 不与现有节点重复;
  • 9300 能访问至少一个稳定的现有节点;
  • TLS CA 和节点证书匹配现有集群;
  • 数据目录为空,或者确认该节点原本不属于其他集群;
  • 没有配置 discovery.type: single-node。

启动后检查:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cat/nodes?v'

如果需要增加主节点候选,不应只增加一台后就让集群长期处于偶数个主节点的状态。生产集群通常根据故障域和规模规划 3 个或 5 个主节点候选,避免网络分区时出现无法形成多数派的问题。

八、常见异常与处理顺序

1. 服务启动后立即退出

先查看最近日志:

sudo journalctl -u elasticsearch -n 100 --no-pager

常见原因包括:

  • vm.max_map_count 未达到要求;
  • JVM 堆参数超过可用内存;
  • YAML 缩进或配置项拼写错误;
  • 证书文件不存在;
  • Elasticsearch 用户无权读取证书私钥;
  • 数据目录或日志目录权限错误;
  • 端口已被其他进程占用。

检查目录权限:

sudo ls -ld /var/lib/elasticsearch /var/log/elasticsearch
sudo namei -l /etc/elasticsearch/certs/es01.key

如果配置使用 TLS,确认 Elasticsearch 运行用户能够读取证书,但不要为了排障将私钥设置为全局可读。

2. 日志出现 master not discovered

这类问题通常表示节点发现或主节点选举没有完成。按照由外到内的顺序检查:

getent hosts es01 es02 es03
nc -vz 10.10.20.11 9300
nc -vz 10.10.20.12 9300
nc -vz 10.10.20.13 9300

然后核对:

sudo grep -nE 'cluster.name|node.name|network.host|transport.port|discovery.seed_hosts|cluster.initial_master_nodes' \
  /etc/elasticsearch/elasticsearch.yml

不同结果对应的方向如下:

起点“出现 master not discovered”→“检查名称解析与nc 9300”→分支一“timeout”指向“检查防火墙/安全组/路由/云网络策略”

  • nc timeout:优先检查防火墙、安全组、路由和云网络策略;
  • nc refused:目标节点未监听 9300,或服务已退出;
  • TCP 可连接但仍无法加入:检查 TLS 证书、CA、证书 SAN 和节点时间;
  • 节点名称不一致:检查 node.name 和 cluster.initial_master_nodes;
  • 集群名称不一致:检查 cluster.name;
  • 只有一台节点启动:确认其余节点没有被错误配置为单节点模式;
  • 三台节点各自形成不同 UUID:停止继续写入数据,先确认哪个 UUID 是目标集群。

3. 9200 可以访问,但节点仍然无法发现

这是最容易误判的场景。9200 是 HTTP 接口,9300 才是节点传输端口。应分别检查:

curl -kI https://10.10.20.12:9200
nc -vz 10.10.20.12 9300

如果前者成功、后者失败,说明客户端接口可达,但节点间通信仍被防火墙、监听地址或 TLS 配置阻断。

4. 出现证书或 TLS 握手错误

查看日志中的关键词:

sudo journalctl -u elasticsearch --no-pager | \
  grep -Ei 'ssl|tls|certificate|handshake|trust'

检查证书有效期和 SAN:

openssl x509 -in /etc/elasticsearch/certs/es02.crt \
  -noout -dates -issuer -subject -ext subjectAltName

重点核对:

  • 节点证书是否由同一个受信任 CA 签发;
  • 证书是否过期;
  • 访问地址是否出现在 SAN 中;
  • 三台节点上的 certificate_authorities 路径是否正确;
  • 私钥是否与证书匹配;
  • 系统时间是否明显偏差。

不要把 verification_mode 长期改为 none。如果为了定位问题临时调整,必须记录原值并在验证完成后恢复。

5. 出现 cluster already bootstrapped 或类似提示

如果集群已经形成,通常应删除 cluster.initial_master_nodes,而不是删除数据目录。先确认集群 UUID:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cluster/state/metadata?filter_path=cluster_uuid'

如果数据目录属于已有集群,保留该目录并修正发现配置。只有在明确确认是空白测试节点、且数据不需要保留时,才可以按回滚流程重置数据目录。

6. 三台节点数量不稳定或反复离线

查询节点和分片状态:

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cat/nodes?v&h=name,ip,node.role,master,heap.percent,ram.percent'

curl --cacert /etc/elasticsearch/certs/ca.crt \
  --user elastic \
  'https://10.10.20.11:9200/_cluster/health?pretty'

同时检查:

dmesg -T | grep -Ei 'oom|out of memory|killed process'
df -h /var/lib/elasticsearch

内存不足、磁盘达到水位、网络丢包和证书过期都可能造成节点被移出集群。不要只通过反复重启掩盖问题。

九、回滚操作

1. 配置回滚

如果修改配置后服务无法启动,先停止当前服务并保留日志:

sudo systemctl stop elasticsearch
sudo cp -a /var/log/elasticsearch \
  /var/tmp/elasticsearch-logs-$(date +%F-%H%M%S)

恢复备份配置:

sudo cp -a /etc/elasticsearch/elasticsearch.yml.before-initial-master-removal.bak \
  /etc/elasticsearch/elasticsearch.yml

如果需要恢复 JVM 或 systemd 配置,也应逐项恢复,不要覆盖整个 /etc/elasticsearch 目录:

sudo systemctl daemon-reload
sudo systemctl start elasticsearch
sudo systemctl status elasticsearch --no-pager

2. 防火墙和内核参数回滚

回滚前先列出当前规则:

sudo firewall-cmd --list-rich-rules

只删除本次添加的规则:

sudo firewall-cmd --permanent \
  --remove-rich-rule='rule family="ipv4" source address="10.10.20.11/32" port port="9300" protocol="tcp" accept'
sudo firewall-cmd --reload

如果需要恢复 vm.max_map_count,先确认没有其他应用依赖该值:

sudo rm -f /etc/sysctl.d/99-elasticsearch.conf
sudo sysctl --system

系统参数回滚可能影响其他使用内存映射的程序,不能在不了解主机用途时直接执行。

3. 节点未入集群时的回滚

如果节点从未成功加入目标集群,可以:

  1. 停止 Elasticsearch;
  2. 保存配置、证书和日志;
  3. 恢复正确的 elasticsearch.yml;
  4. 修复网络、TLS 或主机名问题;
  5. 重新启动并观察日志。

不要为了重新尝试发现而直接删除 /var/lib/elasticsearch。即使节点当前看似没有业务索引,数据目录中也可能包含集群元数据。

4. 测试环境彻底重置

只有在明确确认是无业务数据的测试环境时,才可以清空数据目录。该操作不可逆,执行前必须再次确认主机、路径和备份:

sudo systemctl stop elasticsearch
sudo cp -a /var/lib/elasticsearch \
  /var/tmp/elasticsearch-data-backup-$(date +%F-%H%M%S)

sudo rm -rf /var/lib/elasticsearch/*
sudo systemctl start elasticsearch

生产环境不应通过删除数据目录解决节点发现问题。若已经形成多个集群 UUID,应先停止误启动的节点,确认目标集群和数据归属,再根据快照、节点数据和业务恢复方案处理。

十、上线验收与回滚检查项

上线前可以按以下清单逐项确认:

  • [ ] 三台服务器 Elasticsearch 版本一致;
  • [ ] cluster.name 完全一致;
  • [ ] node.name 唯一,且与主机和资产记录对应;
  • [ ] 9300 仅对集群节点开放,9200 仅对授权管理网段开放;
  • [ ] network.host 或 network.publish_host 为其他节点可达的内网地址;
  • [ ] discovery.seed_hosts 中的地址和端口真实可达;
  • [ ] 首次启动时 cluster.initial_master_nodes 名称准确;
  • [ ] 集群形成后已删除 cluster.initial_master_nodes;
  • [ ] 未配置 discovery.type: single-node;
  • [ ] 三台节点查询到的 cluster_uuid 相同;
  • [ ] _cat/nodes 显示预期节点数;
  • [ ] _cluster/health 没有持续出现 red;
  • [ ] TLS 证书未过期,SAN 覆盖实际节点地址;
  • [ ] 数据目录、日志目录和证书私钥权限符合要求;
  • [ ] 已保存 Elasticsearch 配置、JVM 配置、防火墙规则和日志备份;
  • [ ] 已明确单节点故障、网络隔离和磁盘不足时的处理方式。

节点发现的核心不是把更多地址填入配置,而是确保节点名称、首次选举参数、9300 传输通道、发布地址和集群安全配置彼此匹配。只有在集群 UUID、节点数量和健康状态都核对通过后,才适合继续创建索引、接入业务流量或扩展更多节点。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3729.html

相关推荐