Google Cloud伦敦电力故障后:网站容灾为什么不能只看云主机?

发布人:A5数据发布时间:2026-10-22 16:04阅读量:101
Google Cloud伦敦故障


一台云主机失去响应,另一台备用主机仍然在线,网站却没有恢复。数据库连接超时、登录状态失效、部署任务无法执行,甚至负责切换流量的管理工具也无法使用——这些情况,都可能让一份看似完整的容灾方案停在执行阶段。

2026年10月20日,Google Cloud伦敦区域发生电力相关故障,受影响范围包括europe-west2-b可用区,以及伦敦区域部分服务。这次事件值得网站管理员和企业技术团队关注的,是一个具体问题:主机之外的依赖,是否也具备离开故障环境继续工作的能力?

故障结束时间,不能直接当作业务恢复时间

Google官方确认,电力事件导致europe-west2-b可用区发生服务中断,伦敦区域部分服务出现错误率升高和间歇性网络问题。

官方滚动通报以北京时间10月20日14:08作为起点,页面事件总表目前记为约14:00,结束时间为22:00。两种记录存在数分钟口径差异,但都对应一次持续约八小时的事件。当天22:03发布的最后更新仍表示,大多数客户影响已经缓解,少量客户由支持团队继续处理。

ThousandEyes的监测分析则记录,其观察到相关服务从北京时间19:30左右开始恢复。这反映的是其监测范围内的可达性变化,不能扩大为整个区域所有产品、所有客户的统一恢复时间。

截至2026年10月22日本文核查时,Google事件页仍表示将在内部调查完成后发布分析。现有资料不足以判断具体供电设备、备用电源或设施责任边界,也不能据此推断整个伦敦区域全部服务同时停止运行。

不过,已经公开的恢复过程提供了一个有价值的细节:Google曾表示,正在优先恢复已有工作负载,客户当时可能仍无法创建新的工作负载。

这会直接影响一类常见预案:发生故障后,才开始创建备用实例、恢复数据库、部署应用。平时能够顺利完成的操作,在故障期间未必具备同样的执行条件。

备用主机启动后,业务可能仍然停在原地

下面的场景是架构分析,并非对本次受影响客户的实际部署作出判断。

一家企业在两个可用区部署了网站应用,两边都能启动进程。但应用连接同一个数据库,登录会话保存在同一套缓存中,上传文件依赖同一个存储入口,外部接口请求又经过同一条出口路径。

当共享依赖不可用时,两台应用主机都可能正常运行,却同时无法完成业务请求。

此时,负载均衡如果只检查端口是否开放,或者只访问一个不调用后端的静态健康页面,就可能继续把流量送往无法提供完整服务的节点。

从用户视角看,网站首页能够打开,但登录、提交表单、下载文件和查询订单仍然失败。技术监控显示“主机存活”,业务实际上尚未恢复。

容灾检查因此需要沿着一次真实请求向后追踪:

业务依赖

故障时可能阻碍什么

需要提前验证的内容

数据库及写入入口

登录、订单、内容更新

备用数据状态、切换方式、应用重连

缓存与会话存储

用户会话、限流、锁及临时状态

哪些可以重建,哪些承载不可丢失的信息

文件与对象存储

图片、附件、下载及上传

备用环境能否读取必要文件和正确版本

DNS、负载均衡及出口

用户访问、回调、外部接口连接

流量切换、出口地址及第三方白名单

发布、配置及密钥系统

应用启动和恢复操作

主环境不可用时能否取得程序、配置与凭据

托管服务也需要按实际配置判断保护范围。例如,Cloud SQL for MySQL的高可用配置在同一区域的不同可用区之间部署主实例和备用实例,用于降低实例或可用区故障造成的中断。该配置的保护边界,不能直接扩展为跨区域容灾能力。

跨可用区和跨区域分别应对不同范围的故障。团队需要明确计划处理的是哪一种情形,再核对每项依赖是否满足相应要求。

切换过程中,最先需要明确的是写入权

对于主要提供文章、图片和下载的网站,恢复一个可读取的版本,往往已经能够保留相当一部分服务能力。

交易、充值、库存和工单系统则不同。它们需要确认哪些操作已经被接受,哪些数据已经持久化,以及备用环境掌握的记录是否完整。

如果备用数据库采用异步复制,切换时可能存在尚未同步的数据。管理员不能只看“复制任务正在运行”,还需要确认最后可验证的数据位置、复制延迟及相关错误。

更棘手的是,原环境可能只是与部分网络失去联系,而非彻底停止运行。此时直接把备用数据库提升为新的写入端,可能形成两个环境同时接受业务更新的局面。

因此,切换方案应提前确定:

  • 谁负责判断需要切换,以及使用什么业务证据;

  • 如何限制原环境继续接受写入;

  • 如何验证备用数据达到可接受状态;

  • 哪些功能可以先恢复,哪些必须等待数据核对。

这里的恢复目标,需要由业务负责人参与决定。能够接受短暂只读,与能够接受已经确认的交易记录缺失,是完全不同的要求。

Google的容灾架构文档也强调,应按应用的重要程度和故障范围分别确定恢复时间、可接受的数据损失,再映射到产品及架构能力。

对小团队而言,提前设计“只读展示、暂停提交、保留查询”的降级模式,可能比事故中临时决定是否开放全部写入更容易执行。

但降级页面必须真实表达处理状态。没有可靠保存的订单或工单,不能向用户显示“提交成功”;已经产生支付结果、却未能同步更新本地记录的业务,则需要后续查单和对账机制。

恢复工具本身,也可能依赖正在失效的环境

另一类容易遗漏的依赖,发生在恢复操作内部。

备用环境需要重新部署应用,但镜像仓库在故障区域;备份文件能够取得,解密所需的密钥或访问权限却没有准备;管理员能够登录控制台,但自动化程序仍依赖原区域的执行节点。

这些问题会使恢复流程反复等待。

此次通报中“优先恢复已有工作负载、新建工作负载可能仍受限”的阶段,进一步说明了预先准备的重要性。它不代表本次所有管理操作均已失效,但足以提醒团队:恢复方案需要评估创建、配置和授权等操作在故障期间的可执行性。

Google的架构文档提出,具有恢复目标的关键业务操作,应尽量减少对管理面操作的依赖。

落实到网站运维,可以提前准备经过验证的程序制品、环境配置、数据恢复权限和备用访问路径。具体准备到什么程度,取决于恢复目标;并非所有系统都需要长期运行完整的第二套生产环境。

真正需要避免的,是把所有关键准备工作都放在故障发生以后。

恢复时间也应从业务无法使用开始计算,包含发现异常、确认影响、取得操作权限、准备数据、启动应用、切换流量和完成验收所消耗的时间。仅记录虚拟机启动用了几分钟,会明显低估整体恢复过程。

小团队可以先安排分阶段恢复

资源有限的团队,通常无法让所有功能同时具备最高等级的恢复能力。更可执行的办法,是先确定每个阶段允许用户完成什么操作。

以下是恢复顺序的设计示例,具体时间和数据要求应由实际业务确定。

恢复阶段

优先提供的能力

开放前需要确认

对外说明

独立状态页、故障通知及联系渠道

信息入口不依赖故障环境

基础访问

静态内容、帮助文档、必要下载

内容可用、版本明确、文件可读取

受限业务

查询或经过设计的只读服务

数据时点可确认,不会产生错误承诺

完整业务

登录、提交、交易及后台处理

写入权唯一、关键依赖可用、数据核对通过

这种安排的价值,是让恢复工作有明确的业务终点。团队可以先恢复真正独立的功能,同时继续处理数据库和写入流程。

入口切换也应纳入验证。DNS记录修改完成,不代表所有客户端立即使用新地址;旧连接、递归缓存及应用连接池都可能延长过渡过程。备用环境若更换了出口地址,还要检查第三方接口白名单,否则网站内部功能已经恢复,支付、邮件或外部API仍可能失败。

这些问题可以在演练中被发现。等到真实事故发生,再逐项寻找负责人和配置位置,会消耗本来就有限的恢复窗口。

平台恢复以后,还需要修复积压的业务状态

故障缓解后,流量往往不会平稳地恢复。

客户端重新连接,用户反复点击,队列开始处理积压任务,缓存集中回源。如果直接解除全部限制,恢复中的数据库和应用可能再次承受压力。

所以,流量恢复应与业务核对配合进行。先确认关键请求能够完成,再逐步放开后台任务和积压处理,同时观察错误率、延迟和数据一致性。

对涉及付款、通知和任务执行的系统,还应检查重试是否会产生重复结果。原请求超时,并不必然意味着服务端没有完成操作;系统需要能够识别已经处理的业务,或通过对账确认最终状态。

原区域重新可用后,也不宜仅因状态页转绿就立即切回。应先确定当前权威数据位于哪里,再完成必要的数据同步、业务核对和回切验证。未经确认的双向恢复,可能把一次可用性事件进一步变成数据冲突。

这也解释了为什么云平台事件的结束时间,通常不足以代表企业业务的最终恢复时间。企业仍需验证登录、读取、提交、持久化及外部回调等完整流程。

对于IDC、托管和代运维服务方,客户需要的是能够执行的恢复责任分工:谁确认故障,谁操作数据,谁切换入口,谁决定重新开放写入。各组件的服务承诺可以帮助评估基础能力,但无法代替整条业务链路的恢复验证。

Google的容灾规划指南明确建议定期测试恢复计划,并包含正常访问路径不可用时的测试。

下一次演练,可以在隔离、可回退的环境中,模拟主区域及日常部署入口不可用。从一名用户的访问开始,验证备用环境是否能完成读取、登录、提交与数据持久化,再记录过程中仍需要返回主环境完成的每一步。这些尚未解除的依赖,就是后续改造最具体的依据。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5091.html

相关推荐