香港服务器设计网络冗余与故障切换,如何验证切换是否生效?
要验证香港服务器的网络冗余和故障切换是否真正生效,不能只检查备用线路、备用节点或漂移IP是否已经配置完成。有效验证必须主动制造一个可控故障,并从服务器外部同时观察路由、IP归属、端口连接、业务响应、数据同步和告警恢复,确认业务是否在预定时间内恢复,以及恢复期间是否发生数据丢失或会话中断。
实施前应先明确切换对象和验收指标:是单条上联断开、主网关故障、主服务器故障、负载均衡节点故障,还是数据库主节点故障。不同故障对应不同的备用资源和验证方法。下面以香港机房内的双上联、主备网络节点、双服务器和数据副本为例,说明如何设计、执行和验收一次切换演练。
A5数据提供中国香港物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备SSD或NVMe存储及不同内存配置,可为双节点应用、数据库主备和多业务并行运行提供硬件基础。结合CN2与国际带宽选项,以及美国、日本、新加坡等地区的服务器资源,A5数据能够为跨地域部署、网络入口冗余和故障切换架构提供相应的机房与线路选择。
一、先确定可用性目标和故障边界
1. 把RTO、RPO和切换范围写成验收条件
网络冗余解决的是“流量能否继续到达”,服务器主备解决的是“服务节点能否继续响应”,数据副本解决的是“业务数据能否保持可用”。这三者不能混为一个指标。
- RTO(恢复时间目标):从故障发生到业务恢复可用允许经过的最长时间。
- RPO(恢复点目标):故障后允许丢失的最大数据时间窗口。
- 切换范围:本次演练只测试一条链路、一个网络节点、一个应用节点或一个数据节点,避免多个变量同时变化。
- 稳定标准:不能以单次HTTP请求成功作为恢复依据,应要求连续多个检测周期成功,并确认告警、日志和数据状态正常。
可以使用以下示例作为初始验收标准,实际数值应根据业务要求调整:
| 故障对象 | 备用资源 | 主要验收指标 | 示例验收条件 |
|---|---|---|---|
| 主上联或主网卡 | 备用上联、备用网卡 | 路由恢复、外部连接成功 | 外部探测在60秒内恢复 |
| 主网络节点 | 备用网络节点、虚拟IP | VIP漂移、网关可达 | 备用节点接管VIP,业务端口恢复 |
| 主应用服务器 | 备用应用服务器 | HTTP状态、错误率、会话 | 健康检查连续通过,5xx回到正常范围 |
| 主数据库节点 | 备用数据库节点、数据副本 | 复制状态、数据新鲜度 | 备用节点完成提升,数据丢失不超过设定RPO |
| DNS故障切换 | 备用解析记录 | 解析结果、缓存生效 | 以实际递归缓存和业务恢复时间为准 |
例如,业务要求RTO为60秒,并允许最多15秒的数据丢失,那么验收时就不能只记录“主机切换成功”。还要记录故障注入时间、监控发现时间、备用节点接管时间、外部请求恢复时间和最后一条已确认数据的时间点。
2. 区分不同冗余方案能解决什么问题
香港机房中常见的“多线路”“双网卡”“双IP”并不一定代表完整的网络冗余。需要确认备用资源是否跨越了真正的故障域。
| 方案 | 可以规避的故障 | 不能规避的故障 | 适用说明 |
|---|---|---|---|
| 双网卡接入同一交换机 | 单网卡、单端口故障 | 交换机、机柜、上联或机房故障 | 成本较低,不能视为完整双网络 |
| 双交换机或双网络节点 | 单交换机、单网络节点故障 | 两台设备共用同一上联或电源 | 需要确认链路和设备是否物理独立 |
| 双运营商或双上联 | 单一运营商、单一出口故障 | 机房整体、服务器、业务进程故障 | 适合对外访问连续性要求较高的业务 |
| 主备网络节点加虚拟IP | 单个网络节点故障 | 两台节点同时故障、上游路由不通 | 需要二层邻接或服务商支持IP迁移 |
| BGP多出口 | 某个出口或部分路由故障 | 本地应用、数据库、服务器本身故障 | 需要服务商提供路由和地址资源支持 |
| 双应用服务器加负载均衡 | 单应用节点故障 | 负载均衡、数据库、共享存储故障 | 应配置健康检查和连接排空 |
| DNS备用解析 | 某个地址或节点故障 | DNS缓存未过期、长连接未迁移 | 切换速度受TTL和客户端缓存影响 |
| 数据库主备复制 | 主数据库故障 | 应用层配置错误、复制延迟、双主写入 | 必须单独验证复制状态和提升流程 |
在香港服务器方案中,重点不是“有几条线”,而是确认以下关系:
- 两条线路是否来自不同上联设备或不同运营商。
- 两台网络节点是否使用独立电源、独立交换设备和独立管理路径。
- 备用IP是否允许在备用节点上使用,是否需要服务商更新MAC、路由或端口绑定。
- 服务器故障时,业务IP是通过二层漂移、路由收敛、负载均衡,还是DNS变更完成切换。
- 数据副本是否与主节点处于同一故障域,是否存在复制延迟。
如果两台服务器放在同一物理宿主机、同一虚拟交换机或同一上联设备后面,表面上存在两个节点,实际上仍可能存在单点故障。
二、准备测试环境和前置条件
1. 绘制实际连接关系
测试前应把当前网络拓扑记录下来,至少包含以下信息:

外部访问方
│
├── 上联A ── 交换设备A ── 网络节点A ── 应用节点A
│ └── 数据节点A
│
└── 上联B ── 交换设备B ── 网络节点B ── 应用节点B
└── 数据节点B
图中每一条连接都要能够对应到实际端口、网卡名称、IP地址、路由策略和服务名称。不要只记录“主线路”“备用线路”,还要记录:
- 物理或虚拟网卡名称,例如
ens160、eth0。 - 主、备用默认路由及其优先级。
- VIP、业务IP、管理IP和监控IP。
- 网络节点之间的心跳链路。
- 应用节点使用的健康检查地址。
- 数据复制方向、复制账号和复制延迟监控。
- 服务商侧的端口绑定、MAC限制、路由发布或IP迁移要求。
如果只能通过远程SSH管理服务器,不能把“关闭主网卡”作为第一次测试动作。应先确认控制台、带外管理或服务商远程管理入口可用,否则网卡操作可能导致SSH断开,无法执行回滚。
2. 检查系统和服务状态
以下命令适用于常见Linux发行版,命令执行前应根据实际网卡和服务名称替换示例值:
uname -a
cat /etc/os-release
ip -br link
ip -br addr
ip route
ss -lntp
systemctl is-active nginx
如果应用不是Nginx,应将最后一条替换为实际服务名。resolvectl status并非所有系统默认安装,存在该命令时再执行:
resolvectl status
记录正常状态下的以下结果:
- 当前业务IP和VIP分别位于哪台节点。
- 默认路由指向哪个网关。
- 业务端口是否监听在正确的地址上。
- 应用健康检查是否能够访问数据库、缓存和必要的内部服务。
- 主节点与备用节点之间是否已经完成数据同步。
- 当前是否存在异常连接、错误日志或复制延迟。
业务健康检查不应只返回静态字符串。建议至少检查应用进程、关键依赖和只读数据查询。例如,/healthz可以检查进程状态,/ready可以进一步检查数据库连接和必要依赖,但不要在健康检查中执行写入操作,以免监控请求产生业务数据。
3. 准备监控、日志和外部探针
切换验证至少需要两类观察点:

- 服务器内部观察点:网卡、路由、VIP、服务进程、复制状态和系统日志。
- 服务器外部观察点:从不依赖同一香港服务器的网络位置访问DNS、TCP端口和业务URL。
外部探针可以来自办公网络、另一台云主机或独立监控节点。不要只在故障服务器本机执行curl,因为本机访问成功并不代表公网路由已经恢复。
可以在应用服务器上提前打开以下观察窗口:
sudo journalctl -u keepalived -f
sudo ip monitor address route
sudo ss -s
如果使用了Nginx或其他入口服务,还应观察访问日志和错误日志:
sudo tail -F /var/log/nginx/access.log /var/log/nginx/error.log
如需抓包确认流量是否已经到达备用节点,可以在短时间内执行:
sudo tcpdump -ni any 'tcp port 80 or tcp port 443' -c 30
抓包只用于定位流量是否到达,不要把抓包结果作为唯一的业务成功标准。能够看到TCP报文,并不代表应用已经正常返回数据。
4. 备份配置并确认回滚路径
涉及网络配置、VIP、路由、负载均衡或防火墙的修改,必须先备份当前配置。以Keepalived为例:
sudo install -m 600 /etc/keepalived/keepalived.conf \
/etc/keepalived/keepalived.conf.bak.$(date +%F-%H%M%S)
同时记录当前状态:
ip -br addr > /root/network-state-before.txt
ip route > /root/route-state-before.txt
sudo systemctl status keepalived --no-pager > /root/keepalived-state-before.txt
如果测试涉及防火墙规则、云平台安全组或服务商端口策略,应在变更前导出规则或保存控制台截图。没有控制台回滚权限时,不要在生产时段直接修改规则。
三、检查网络冗余是否具备切换基础
1. 双网卡不等于双上联
双网卡常见的实现方式包括链路聚合、主备网卡或两张网卡分别连接不同交换机。验收时应分别验证:
- 一张网卡断开时,另一张网卡是否仍有链路。
- 两张网卡是否连接到了不同交换设备。
- 默认路由是否会随故障切换。
- 备用路径是否允许业务IP出站和入站。
- 回程流量是否仍然经过可用路径。
如果两张网卡连接到同一台交换机,拔掉一条网线只能证明端口或网线具备冗余,不能证明交换机或上联具备冗余。
2. 主备网络节点使用虚拟IP时的检查方法
主备网络节点使用VIP时,必须确认以下条件同时满足:
- 两台节点位于允许进行邻居发现或IP迁移的网络范围内。
- 上游设备允许备用节点接管VIP。
- VIP不会同时出现在两台节点上。
- 应用服务绑定了VIP或监听在适当的地址上。
- VIP漂移后,ARP或邻居缓存能够在可接受时间内更新。
- 心跳链路和业务链路不是同一条单独链路。
以下是一个Keepalived 2.x的简化示例。203.0.113.10是文档示例地址,实际部署必须替换为服务商分配且允许迁移的业务IP:
global_defs {
router_id HK_EDGE_A
}
vrrp_script chk_app {
script "/usr/local/sbin/check_app.sh"
interval 2
fall 3
rise 2
weight -30
}
vrrp_instance VI_1 {
state BACKUP
interface ens160
virtual_router_id 51
priority 150
advert_int 1
authentication {
auth_type PASS
auth_pass replace-this-value
}
virtual_ipaddress {
203.0.113.10/24 dev ens160
}
track_script {
chk_app
}
}
备用节点应使用相同的virtual_router_id、网卡和VIP,优先级低于主节点,例如将priority设置为100。实际使用前,先检查配置语法:
sudo keepalived -t -f /etc/keepalived/keepalived.conf
确认语法无误后再重启服务。重启Keepalived可能导致VIP发生变化,只能在已经准备好外部监控和回滚的变更窗口执行:
sudo systemctl restart keepalived
sudo systemctl status keepalived --no-pager
ip -br addr
健康检查脚本应明确退出状态,示例:
#!/bin/sh
/usr/bin/curl --fail --silent --show-error --max-time 2 \
http://127.0.0.1:8080/healthz >/dev/null
脚本中的端口和路径必须与实际应用一致。健康检查失败时,Keepalived可能降低节点优先级并触发VIP切换,因此修改前要确认脚本不会因临时DNS、数据库或监控问题频繁误判。
如果两台服务器不在同一二层网络,不能直接套用VRRP漂移方式。应根据服务商支持情况使用路由收敛、负载均衡或DNS切换。跨网络强行配置相同VIP,可能造成地址冲突和双主状态。
四、按单一故障逐项执行切换演练
1. 建立正常状态基线
先从外部探针确认DNS和业务访问正常:
dig +short service.example.com
curl -4 -sS -o /dev/null \
-w 'time=%{time_total} code=%{http_code} remote=%{remote_ip}\n' \
https://service.example.com/healthz
如果服务使用HTTPS,URL中的域名应与证书和虚拟主机配置一致。对于指定某个IP进行测试,可以使用--resolve,但这只代表直接访问该IP,不代表DNS已经完成切换:
curl -4 -sS --resolve service.example.com:443:203.0.113.10 \
-o /dev/null \
-w 'time=%{time_total} code=%{http_code} remote=%{remote_ip}\n' \
https://service.example.com/healthz
为了记录连续可用性,可在独立探针上执行有限次数的检测:
for i in $(seq 1 300); do
date -Is
curl -4 -sS --max-time 5 -o /dev/null \
-w 'code=%{http_code} time=%{time_total}\n' \
https://service.example.com/healthz
sleep 1
done | tee failover-probe.log
演练开始前至少记录以下结果:
- DNS当前解析结果。
- 业务端口的连接结果。
- HTTP状态码和响应时间。
- 当前持有VIP的节点。
- 主备数据复制延迟。
- 监控系统当前是否存在未处理告警。
2. 测试主上联或主网卡故障
优先使用服务商控制台或交换设备管理界面关闭主端口,因为这种方式更接近真实的链路故障,也便于恢复。一次只关闭一条链路,不要同时禁用主、备用网卡。

如果只能在服务器控制台模拟网卡故障,可使用:
sudo ip link set dev ens160 down
该操作会立即中断经过ens160的流量,远程SSH可能断开,影响范围包括业务连接、管理连接和经过该网卡的内部访问。执行前必须确认:
- 已通过带外控制台或第二张管理网卡登录。
- 备用路径已经处于UP状态。
- 当前配置和路由已备份。
- 已安排业务变更窗口。
- 已准备恢复命令。
恢复该网卡:
sudo ip link set dev ens160 up
验证时不要只看本机网卡状态,应从外部探针持续观察业务访问,同时在服务器上执行:
ip -br link
ip route
ip route get 1.1.1.1
如果主路径故障后备用路径接管,应该同时看到:
- 备用接口仍处于UP状态。
- 默认路由或策略路由指向备用出口。
- 外部TCP连接能够重新建立。
- 业务请求在目标RTO内恢复。
- 监控系统产生主链路故障告警。
- 故障恢复后能够产生恢复告警,而不是只产生单向告警。
3. 测试主网络节点和VIP漂移
测试前先在主、备节点分别执行:
ip -br addr
sudo systemctl is-active keepalived
确认VIP只出现在主节点。然后采用一种受控方式触发主节点失效,例如在主节点控制台停止Keepalived:
sudo systemctl stop keepalived
停止Keepalived只影响VIP管理和节点选主,但业务进程是否继续运行取决于实际架构。命令可能使主节点失去VIP,备用节点随后接管;不要在没有备用节点确认的情况下执行。
备用节点上观察:
sudo journalctl -u keepalived --since "5 minutes ago" --no-pager
ip -br addr
应确认VIP已经出现在备用节点,并且主节点不再持有该VIP。随后从外部探针访问业务地址。如果VIP已经漂移,但业务仍然不可用,应继续检查:
- 备用节点上的应用进程是否启动。
- 应用是否监听VIP对应端口。
- 防火墙是否只允许主节点地址。
- 服务商是否限制了MAC地址或端口迁移。
- 上游交换设备是否仍缓存旧的邻居信息。
- 备用节点是否具备到数据库、缓存和存储的访问权限。
不要为了“快速恢复”直接在两台节点上手工添加同一个VIP。两台节点同时使用VIP会造成ARP抖动、连接随机落点和数据双写风险,应先确认哪个节点拥有选主资格。
4. 测试应用节点故障
如果采用负载均衡或主备应用节点,先确认备用节点已经通过健康检查。然后只停止主应用服务,不要同时停止数据库和网络入口:
sudo systemctl stop app.service
app.service只是示例服务名,实际操作前使用以下命令确认服务名称:
systemctl list-units --type=service --state=running
停止应用服务会使当前节点上的连接中断,影响范围通常包括新请求、长连接、上传任务和未完成事务。执行前应确认应用支持连接重建,并保存当前访问日志和业务任务状态。恢复方式通常为:
sudo systemctl start app.service
sudo systemctl status app.service --no-pager
验收时分别检查:
- 负载均衡是否将新请求转发到备用节点。
- 主节点是否从后端池中被标记为不健康。
- 备用节点是否能够访问数据库和缓存。
- 已建立的WebSocket、长轮询或上传连接是否需要重连。
- 会话是否保存在共享存储、集中式会话服务或客户端令牌中。
- 主节点恢复后是否会自动重新加入流量池。
如果只有首页可以访问,登录、下单、写入或文件上传失败,不能判定应用切换成功。
5. 测试数据库主节点故障
数据库切换应使用数据库软件或服务商提供的受控提升流程,不能直接修改业务配置中的数据库IP,更不能同时在两个节点上强制开启写入。
测试前应确认:
- 主备复制状态正常。
- 备用节点的复制延迟低于RPO要求。
- 应用连接池支持重新连接。
- 备用节点具备完整的读写权限和必要索引。
- 已保存主节点和备用节点的角色状态。
- 已准备只读、暂停写入或业务降级措施。
故障发生后,先确认主节点确实停止写入,再按数据库产品的官方提升流程将备用节点提升为主节点。由于不同数据库的复制协议、仲裁方式和提升命令差异较大,不应使用一套通用命令代替产品流程。
数据层验收至少包括:
- 备用节点的角色是否已经变为可写主节点。
- 最后一条已确认业务数据是否存在。
- 复制延迟是否在故障前超过RPO。
- 应用是否成功建立新连接。
- 是否发生重复写入、事务回滚或订单状态不一致。
- 原主节点恢复后是否保持隔离,避免形成双主。
如果数据状态不明确,应优先暂停写入或切换为只读,保留日志和数据快照,再处理主备关系。不要直接删除复制元数据、清空数据目录或覆盖数据库配置。
五、从五个层面判断切换是否生效
1. 路由和地址层
在备用节点上确认VIP、业务IP和默认路由:
ip -br addr
ip route
ip route get 1.1.1.1
必要时从外部位置执行:
traceroute -n service.example.com
如果系统未安装traceroute,应使用现有监控工具或服务商网络诊断功能,不要为了测试临时安装和修改生产环境。
路由层通过,只能说明报文有机会到达目标节点。还要确认VIP没有同时出现在两台主机上,且回程路径没有被错误策略路由带回故障出口。

2. TCP和TLS层
使用外部探针检查443端口:
curl -4 -sS -o /dev/null \
-w 'http_code=%{http_code} connect=%{time_connect} total=%{time_total} ip=%{remote_ip}\n' \
https://service.example.com/healthz
如果TCP能连接但TLS失败,应检查备用节点上的证书、私钥、SNI和时间同步。如果TLS成功但HTTP返回502或504,则更可能是应用、数据库或反向代理到后端的链路问题。
3. 应用层
应用验收应覆盖实际关键路径,而不是只检查200 OK:
- 首页或健康检查。
- 登录和鉴权。
- 一次只读查询。
- 一次可回滚或测试账户的写入。
- 文件上传、消息队列或异步任务。
- 长连接或后台任务恢复。
写入测试必须使用专用测试账号、测试订单或可审计的测试数据。不要在生产业务表中随意插入后再使用无条件删除命令清理。需要清理时,应使用应用提供的撤销流程或经过审核的精确条件。
4. 数据层
数据层不应只看“备用数据库进程正在运行”。需要对比故障前后的数据时间点、复制位点或应用层确认记录。
可以把数据验收记录为:
| 检查项 | 故障前记录 | 切换后检查 | 通过条件 |
|---|---|---|---|
| 最后一条已确认写入 | 时间和业务ID | 备用节点查询 | 数据存在且状态一致 |
| 复制延迟 | 秒数或复制位点 | 故障发生时记录 | 不超过RPO要求 |
| 备用节点角色 | 只读或备库 | 切换后角色 | 角色符合应用连接配置 |
| 应用连接 | 主节点地址 | 新建连接地址 | 连接全部指向有效节点 |
| 原主节点状态 | 正常主节点 | 故障后状态 | 未与备用节点同时写入 |
5. 告警和恢复层
一次切换演练必须验证告警闭环:
- 主链路、主节点或主服务故障时是否产生告警。
- 告警内容是否包含实际故障对象,而不是只显示“主机离线”。
- 备用资源接管后是否产生切换事件。
- 服务恢复稳定后是否产生恢复通知。
- 告警是否存在重复、延迟或无法关闭的情况。
- 值班人员能否根据告警找到执行手册。
只有业务恢复而监控没有告警,说明切换可能生效,但运维闭环仍不完整。
六、常见失败现象和处理方法
1. VIP没有漂移
先检查两台节点的Keepalived状态和日志:
sudo systemctl status keepalived --no-pager
sudo journalctl -u keepalived --since "10 minutes ago" --no-pager
ip -br addr
常见原因包括:
- 两台节点的
virtual_router_id不一致。 - 网卡名称配置错误。
- 心跳链路不通。
- 备用节点优先级过低或被健康检查降权。
- 两台节点不在支持VRRP或IP漂移的网络范围内。
- 服务商侧限制了VIP、MAC或端口迁移。
- 健康检查脚本路径、权限或返回码错误。
处理时先确认主节点已经停止持有VIP,再修复备用节点配置。不要在故障现场同时提高两台节点优先级,也不要手动给两台服务器添加同一地址。
2. VIP已经漂移,但外部仍然无法访问
这通常说明地址接管成功,但路由或入口策略没有跟随变化。重点检查:
- 服务商是否需要更新端口绑定、路由或MAC。
- 备用节点是否启用了正确的安全组和防火墙规则。
- 应用是否监听在VIP或
0.0.0.0。 - 回程路由是否走向有效出口。
- 上游设备的ARP或邻居表是否需要重新学习。
- 备用节点是否具备公网回程能力。
如果需要调整内核反向路径检查、防火墙或策略路由,必须先保存当前配置,评估影响范围,并安排回滚。不要在远程SSH会话中直接清空防火墙规则或批量刷新路由。
3. 内部访问正常,但外部访问失败
这类现象通常是测试位置不正确或上游路径没有恢复。应至少从两个独立外部网络测试,并分别记录解析结果、连接地址和HTTP状态。若只有服务器本机访问成功,不能判定公网切换完成。
如果使用DNS切换,还要注意递归DNS和客户端缓存。TTL设置为60秒,并不意味着所有访问者都能在60秒内得到新地址;部分客户端、网络设备或应用可能保留更长缓存。因此DNS切换的RTO应以实际外部探针恢复时间为准,而不是只看配置中的TTL。
4. 业务接口恢复,但登录或写入失败
这说明网络层和入口层可能已经恢复,但应用状态没有完整接管。常见原因包括:
- 会话保存在故障节点本地。
- 备用节点缺少密钥、证书或环境变量。
- 备用节点连接了旧数据库。
- 数据库复制延迟超过目标RPO。
- 缓存、消息队列或文件存储仍然只有单点。
- 长连接没有重建。
- 负载均衡健康检查只检测端口,不检测业务依赖。
处理时应按“入口、应用、依赖、数据”的顺序定位,不要反复重启所有服务。大范围重启会增加连接中断和数据状态不明的风险。
5. 切换后出现双主或数据不一致
一旦发现主、备节点同时接受写入,应立即暂停新增写入,并保留两侧日志、复制状态和业务请求记录。不要直接选择“看起来更新的一台”作为最终数据源,也不要直接删除另一侧数据。
恢复顺序通常是:
- 隔离其中一个写入端。
- 保存两个节点的日志和数据快照。
- 确认最后一致时间点。
- 由数据库管理员根据复制方式选择保留、重放或恢复方案。
- 确认单一主节点后,再恢复应用写入。
七、回滚和恢复原主节点
切换测试成功后,不建议立即自动切回原主节点。原节点刚恢复时可能仍存在网卡、路由、服务进程或数据复制问题,立即抢回VIP容易造成二次中断。
1. 网络和VIP回滚
先恢复被测试的链路或接口:
sudo ip link set dev ens160 up
如果测试中停止了Keepalived,先确认配置和网卡状态,再启动服务:
sudo keepalived -t -f /etc/keepalived/keepalived.conf
sudo systemctl start keepalived
sudo systemctl status keepalived --no-pager
回滚过程中应保持备用节点继续提供服务,先验证原节点:
- 网卡和默认路由正常。
- 应用健康检查通过。
- 外部出口可达。
- 数据副本已经追平。
- 原节点不会在未获准的情况下重新接受写入。
只有在原节点稳定观察一段时间后,才安排受控切回。切回可以通过调整选主优先级、执行维护恢复或按服务商路由流程完成。不要直接修改两台节点的优先级并同时重启,以免短时间内发生多次漂移。
2. 应用和数据回滚
应用节点恢复时,先让它保持从负载均衡池中摘除,确认本地服务和依赖正常后再加入。数据节点恢复时,优先执行重新同步或重新加入流程,不要未经确认把旧主节点直接提升为主节点。
如果演练过程中产生了测试数据,应使用可追踪的业务撤销方式处理。涉及数据库快照、恢复、复制重建或批量删除时,必须明确:
- 影响的数据库、表或租户范围。
- 当前备份是否可用。
- 操作前后的数据校验方式。
- 失败时恢复到哪个时间点。
- 谁拥有最终执行权限。
上线或验收检查清单
- [ ] 已绘制香港机房实际网络拓扑,并标注上联、交换设备、网络节点和业务节点。
- [ ] 已确认备用线路不与主线路共用同一个关键设备、端口或故障域。
- [ ] 已记录RTO、RPO、允许的连接中断和数据丢失范围。
- [ ] 已确认VIP、业务IP、管理IP和复制链路用途没有混淆。
- [ ] 已通过外部探针完成正常状态基线测试。
- [ ] 已准备控制台或带外管理入口,避免网卡测试后无法回滚。
- [ ] 已备份Keepalived、路由、防火墙、负载均衡和应用配置。
- [ ] 已单独测试主上联、主网络节点、主应用节点和数据主节点。
- [ ] 每次测试只注入一个故障,没有同时关闭多条链路或多个节点。
- [ ] 已确认VIP不会同时出现在主、备用两台节点上。
- [ ] 已从服务器外部验证DNS、TCP、TLS和业务接口。
- [ ] 已验证登录、写入、上传、异步任务或长连接等关键业务路径。
- [ ] 已记录故障注入、告警触发、备用接管、业务恢复和稳定恢复时间。
- [ ] 已检查数据复制延迟、最后确认数据和切换后的数据一致性。
- [ ] 已验证故障告警、切换告警和恢复告警能够完整闭环。
- [ ] 已验证原节点恢复后不会自动造成双主或重复写入。
- [ ] 已完成回滚演练,并确认恢复原主节点不会引发二次切换。
- [ ] 已将实际测试结果、日志位置、负责人和下一步整改项纳入运维文档。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3524.html



