AWS东京区域EC2故障持续近6小时:已有云服务器正常,为何自动扩容和新实例仍可能失败?

发布人:A5数据发布时间:2026-11-12 16:56阅读量:76
2026年11月11日至12日,AWS东京区域发生持续约5小时45分钟的EC2服务故障,主要影响apne1-az1可用区的新实例启动、API调用及部分网络配置操作,并波及Auto Scaling、ECS、EKS等服务。

云服务器没有宕机,网站能够正常访问,数据库也没有出现明显异常,但业务高峰期需要增加计算资源时,新的EC2实例却迟迟无法启动。

这种情况看起来有些矛盾,却正是AWS东京区域最新一次服务故障所暴露的问题。

2026年11月11日22:46,Amazon Web Services(AWS)东京区域开始出现EC2 API错误率升高及新实例启动失败。故障主要集中在ap-northeast-1区域中的apne1-az1可用区,同时影响部分依赖EC2创建或管理资源的云服务。

根据AWS官方事故记录,事件在11月12日04:31完全恢复,整个影响过程持续约5小时45分钟。

值得注意的是,这次事故并非东京区域所有云服务器同时停止运行。

AWS明确指出,故障发生前已经正常运行的EC2实例,在最初的API异常阶段并未普遍受到影响。真正出现问题的是新实例启动、部分API调用,以及后续涉及新建或修改资源的网络配置操作。

因此,一些企业可能发现,原有业务仍然在线,但自动扩容无法按计划完成;另一些企业则可能遇到实例创建成功,却无法正常建立网络连接的情况。

故障还波及Auto Scaling、ECS、EKS、Fargate、ELB和NAT Gateway等服务的部分操作流程。

A5数据此次关注的重点,不是将这次事故简单归类为云服务器宕机,而是分析一个更具有实际运维意义的问题:

为什么云平台能够维持已有计算资源运行,却无法保证新的计算资源及时创建?当自动扩容和网络配置能力出现异常时,企业原有的高可用架构还能发挥多大作用?

东京区域发生了什么?EC2故障分为两个阶段

AWS在最终事故说明中,将此次故障描述为API错误、新实例启动失败,以及后续网络连通性异常的组合事件。

根据官方发布的时间线:

时间

事故进展

11月11日22:46

东京区域EC2 API错误率升高,新实例启动失败

11月11日23:47

AWS已识别问题原因并开始实施缓解措施

11月12日01:46

EC2 API大范围恢复,新实例启动逐步恢复成功

11月12日01:46之后

发现部分新实例及网络配置被修改的实例存在连接异常

11月12日03:51

网络连通性问题开始出现恢复迹象

11月12日04:31

所有关联问题解决,服务恢复正常

这组时间线说明,此次故障不是一个始终表现相同的事件。

最初阶段,主要问题是AWS无法正常响应部分EC2管理请求,导致创建实例失败。

到了11月12日01:46,相关API错误已经基本缓解,新的EC2实例也开始能够成功创建。

但这并不代表所有问题都已经解决。

AWS在后续监测中发现,部分新启动的实例仍然存在网络连接问题。此外,一些在事故期间修改过网络配置的现有实例也可能受到影响。

直到04:31,AWS才宣布全部关联问题完成恢复。

因此,如果只根据API错误率下降的时间判断故障结束,就会漏掉后续持续约2小时45分钟的网络配置问题。

对于依赖自动扩容的企业,这种分阶段恢复十分重要。

实例可以成功创建,与实例能够正常接收业务流量,并不是同一件事。

故障主要集中在apne1-az1,并非整个东京区域全面中断

AWS东京区域的标识为ap-northeast-1。

该区域包含多个可用区,目的是让客户能够在不同基础设施故障域之间分散部署业务。

AWS此次确认,主要影响集中在apne1-az1。

在初期故障期间,其他可用区也曾出现少量实例启动失败,但主要问题仍集中在单个可用区。

AWS随后建议有紧急资源创建需求的客户,使用另外两个正常运行的可用区:apne1-az2和apne1-az3。

这一信息说明,AWS东京区域并没有完全失去计算服务能力。

但对具体企业而言,某个可用区出现异常仍然可能造成明显影响。

例如,客户如果将主要计算资源、存储和网络配置集中在同一个可用区,即使整个区域的其他可用区仍然正常,也未必能够立即把业务迁移过去。

另外,AWS的可用区名称与可用区ID不是完全相同的概念。

不同账户中的ap-northeast-1a等可用区名称,可能映射至不同的物理可用区。

因此,管理员核对此次故障范围时,应该检查实际的Availability Zone ID,而不能仅根据控制台显示的字母后缀判断自己是否位于受影响位置。

对于有多账户部署的企业,这一点尤其需要注意。

为什么原有EC2实例正常,新实例却无法启动?

要理解此次事故,需要区分AWS云服务器的两类能力。

第一类是已经创建并正在运行的计算资源。

例如,一台EC2实例已经启动,操作系统正在运行Nginx、数据库或其他应用程序。

这类资源通常不需要在处理每个业务请求时,重新向EC2管理系统申请一台服务器。

第二类是创建、修改和管理计算资源所依赖的控制流程。

例如,客户调用RunInstances创建新实例,修改网络接口,或者让Auto Scaling增加计算节点。

这些操作需要AWS内部多个管理组件协同完成。

因此,已经运行的云服务器可以继续提供服务,并不意味着管理这些服务器的全部API始终正常。

此次AWS事故就表现出了这种区别。

在最初阶段,部分新实例启动请求失败,但既有EC2实例仍然可以正常运行。

这意味着,对于计算资源已经充足、无需临时扩容的业务,故障可能没有直接造成明显中断。

但对于需要随流量变化自动增加实例的应用,影响就可能更加明显。

例如,电商网站在促销期间可能通过Auto Scaling增加Web应用节点。

当访问量升高时,系统希望创建更多EC2实例,以分担已有服务器的请求。

但如果EC2创建接口出现异常,即使Auto Scaling正确判断需要增加容量,也可能无法获得新的服务器。

这样一来,已有节点就必须继续承担不断增加的业务负载。

如果原有容量不足,用户可能逐渐遇到响应变慢或请求失败。

这里需要区分:这属于自动扩容无法执行后可能产生的业务后果,并不是AWS已经确认此次事故导致东京区域所有电商网站出现访问中断。

企业是否受到实际影响,还取决于原有资源容量、扩容策略和业务负载。

RunInstances返回成功,为什么实例仍可能进入TERMINATED状态?

AWS在最终事故说明中披露了一个值得特别关注的细节。

此次故障期间,部分RunInstances API调用即使返回成功,实例也可能没有真正完成启动,而是进入TERMINATED状态。

这对于通过程序自动创建服务器的企业具有直接意义。

正常情况下,自动化程序可能调用EC2 API申请实例。

当API返回实例ID后,程序继续等待服务器启动,再进行操作系统配置和应用部署。

但API请求获得成功响应,并不意味着后续资源准备一定完成。

创建云服务器通常需要经过多个步骤。

例如,系统需要分配底层计算资源、准备网络配置、关联存储,并执行其他初始化操作。

这些步骤可能并非在API返回时全部完成。

因此,自动交付程序不能仅根据收到实例ID,就认定服务器已经可以投入使用。

自动化交付应该验证什么?

对于使用EC2 API自动创建服务器的企业,应在创建请求完成后进一步检查实例生命周期状态。

例如,确认实例是否进入running状态。

随后,还需要验证实例状态检查、网络连通性及应用服务是否正常。

如果实例已经终止,应按照实际API和资源状态处理,而不是继续把它视为正在交付中的服务器。

此外,自动重试也需要谨慎。

部分创建接口具有幂等性设计,可以借助客户端令牌等机制减少重复请求导致重复创建的风险。

但不同API的幂等性规则并不相同。

因此,不能简单地把所有失败请求无限重复提交。

对于IDC自动开通系统,更合理的处理方式是记录请求标识和实际资源ID,在确认原有请求结果后决定是否需要重试。

这不仅有助于处理云平台异常,也能够避免重复创建资源造成额外费用或交付混乱。

EC2 API恢复后,为什么网络连接仍然出现问题?

此次事件最值得研究的技术细节,出现在故障恢复的第二阶段。

AWS确认,在EC2 API开始恢复后,部分新创建的实例以及网络配置发生变化的现有实例,仍然出现连接异常。

官方进一步指出,这些问题与负责传播EC2网络配置变化的内部子系统出现延迟有关。

这里需要理解云服务器网络配置的特点。

创建一个EC2实例,不只是分配CPU和内存。

实例还需要具备对应的虚拟网络配置,才能按照预期与其他实例、网关或外部网络通信。

例如,系统需要处理网络接口、私有IP、路由及其他与VPC网络相关的状态。

当管理员调整网络配置时,相应变化也需要在底层网络基础设施中正确生效。

如果负责传播这些配置变化的内部组件出现延迟,就可能发生资源已经创建或修改,但网络状态尚未完全就绪的情况。

这能够解释为什么此次事故中,EC2实例创建功能先恢复,而部分网络连接问题仍然持续。

但需要强调,AWS目前公开确认的是内部网络配置传播子系统存在延迟,并指出它与最初故障具有共同的底层原因。

官方没有完整公开全部底层实现细节。

因此,不能在缺少证据的情况下,将其具体归因于某一台交换机故障、某个VPC路由表错误或其他未经确认的技术原因。

为什么修改现有实例也可能产生影响?

AWS此次还特别指出,部分已经存在的实例,在事故期间修改网络配置后也可能遇到连接问题。

例如,涉及网络接口、网关或VPC连接关系的修改,都可能需要内部系统重新传播网络配置。

因此,原本运行正常的实例,并不意味着在故障期间可以不受影响地执行所有网络变更。

AWS当时建议受影响可用区的用户,暂时避免执行可能改变现有实例连通性的操作,包括网络接口和网关的挂载、卸载,以及部分VPC Peering调整。

这一建议很有现实意义。

当云平台出现网络配置传播异常时,管理员如果为了排查故障反复修改网络接口或路由,反而可能增加后续需要处理的配置变化。

因此,在没有明确证据表明问题来自自身配置之前,应该先查看官方服务状态,并尽量避免不必要的网络变更。

Auto Scaling为什么会受到影响?

Auto Scaling的主要作用,是根据业务需求动态调整计算资源数量。

例如,企业可以设置一个Auto Scaling Group,让系统在CPU利用率持续升高时增加EC2实例。

这种能力有助于业务应对流量波动。

但自动扩容本身仍然依赖EC2资源创建能力。

当EC2 API无法正常处理新实例启动请求时,Auto Scaling即使已经触发扩容条件,也可能无法及时创建新节点。

这意味着,自动扩容并不是完全独立于底层云平台的容灾机制。

它需要相关资源创建接口和底层基础设施能够正常工作。

对于生产业务,尤其要注意自动扩容的两个不同作用。

第一,是在业务需求上升时增加计算能力。

第二,是在部分实例故障后创建替代实例。

如果底层EC2实例创建流程发生异常,这两类操作都可能受到影响。

例如,某个应用原本有四个运行节点。

如果其中一个节点出现故障,Auto Scaling正常情况下可以创建新的节点补足容量。

但在实例创建能力不可用时,系统可能无法及时完成替换。

如果已有节点继续出现故障,整个应用的冗余能力就可能逐渐下降。

因此,企业不能只检查Auto Scaling策略是否已经配置,还应考虑底层资源创建失败时的应对方案。

ECS、EKS和Fargate为何也受到波及?

此次事故并不限于直接使用EC2控制台创建云服务器的客户。

AWS官方确认,部分容器服务同样受到影响。

其中包括ECS、EKS和Fargate相关工作流。

原因在于,容器服务虽然向用户提供了更高层级的应用部署方式,但部分计算资源创建和管理仍然依赖底层基础设施。

例如,使用ECS on EC2的企业可能需要增加新的容器实例。

EKS集群可能需要通过节点组或其他资源供应机制增加工作节点。

Fargate虽然隐藏了部分底层服务器管理细节,但相关任务启动仍然可能依赖受影响的基础设施流程。

因此,不能因为应用已经采用容器化部署,就认为它不会受到EC2资源供应异常影响。

已经运行的容器是否全部中断?

AWS没有确认此次事故导致所有已经运行的ECS或EKS工作负载停止。

官方列出的主要问题包括新任务启动失败、资源创建和相关配置操作异常。

因此,影响应按具体业务动作判断。

对于已有节点和任务,如果没有依赖受影响的资源创建流程,可能仍然保持正常运行。

但如果业务需要重新调度容器、创建新节点或扩大计算容量,就可能遇到问题。

这与EC2已有实例正常、新实例创建失败的情况具有相似之处。

从A5数据的角度来看,这次事件提醒企业:容器平台提高了应用部署和资源调度的灵活性,但并不会让底层云资源创建能力变得无关紧要。

在设计容器高可用时,仍然需要考虑计算节点的预留容量和可用区分布。

ELB、NAT Gateway与其他服务为什么可能受到连带影响?

AWS此次还确认,部分ELB资源配置操作和NAT Gateway创建、解除关联等工作流受到影响。

此外,Managed Flink应用状态转换及部分RDS相关操作也出现了问题。

这些服务虽然功能不同,但部分管理操作可能需要创建基础资源或调整底层网络配置。

例如,负载均衡服务在扩展或调整资源时,可能需要相应的基础设施配置能力。

NAT Gateway创建则涉及VPC网络资源准备和路由相关配置。

当底层EC2 API或网络配置传播出现异常时,这些操作就可能受到影响。

不过,必须强调,管理操作失败不等于对应服务的所有既有流量都已经中断。

例如,NAT Gateway创建失败与已有NAT Gateway无法转发流量,是两个不同的问题。

负载均衡资源配置延迟,也不能直接等同于全部现有负载均衡实例停止服务。

因此,分析云服务事故时,需要明确区分既有数据流量、资源配置和新资源创建。

如果只看到一个服务被列在事故影响范围内,就直接认定其全部功能中断,容易夸大实际影响。

CloudWatch显示INSUFFICIENT_DATA,是否说明服务器已经宕机?

此次AWS东京事件还有一个容易引起误判的问题。

AWS确认,在受影响可用区内,部分EC2和EBS健康数据出现缺失或延迟。

这导致部分CloudWatch告警进入INSUFFICIENT_DATA状态。

同时,DescribeInstanceStatus API在某些情况下也返回数据不足的结果。

对于习惯依赖监控平台判断服务器状态的管理员,这种情况可能造成困惑。

例如,某个CloudWatch告警原本用于监测实例健康情况。

当指标不再正常上报时,系统可能进入数据不足状态。

但这不代表实例一定发生了故障。

它也可能意味着监控系统暂时无法获得足够的数据。

因此,监控数据缺失与服务器实际不可用,是需要分别验证的两个问题。

AWS当时特别提醒客户,应根据自身业务健康监控判断实例的真实状态。

这对IDC服务商很有参考价值。

如果平台只依赖云厂商提供的一组基础状态指标,那么在底层监控系统出现异常时,就可能无法准确判断业务是否仍然正常。

更合理的方式,是结合应用层监控进行验证。

例如,检查HTTP接口是否能够正常响应。

对于数据库,可以检查实际连接与查询表现。

对于API服务,则可以监控关键业务请求的成功率和延迟。

这些指标虽然也可能受到网络条件影响,但与云平台基础设施指标结合后,更有助于区分监控异常和真实业务故障。

不过,也不能认为只要网站首页能够打开,就可以忽略所有云平台健康告警。

例如,已有服务器可能仍然运行正常,但自动扩容已经失败。

因此,监控系统需要同时覆盖业务可用性和基础设施管理能力。

多可用区部署,为什么仍然需要预留实际资源?

AWS此次故障主要集中在单个可用区。

这说明多可用区部署能够为企业提供重要的风险分散能力。

例如,应用同时部署在两个或三个可用区。

如果其中一个可用区无法正常创建资源,其他可用区可能仍然可以提供计算能力。

但多可用区架构是否真正能够应对此类事件,还取决于实际部署方式。

首先,其他可用区需要拥有足够的现有计算容量。

如果全部应用节点都接近满负载,故障时仅依赖自动创建大量新实例,仍然可能受到API异常影响。

其次,业务数据与网络配置需要支持跨可用区运行。

例如,数据库、共享存储和内部服务连接是否能够按照预期切换。

再次,自动扩容策略需要能够使用健康的可用区。

如果扩容配置限制了固定子网或特定资源类型,即使其他可用区正常,也可能无法及时完成资源创建。

因此,多可用区不能只理解为在管理页面中勾选多个可用区。

它需要计算资源、网络和数据架构共同配合。

为什么预留容量有时比即时扩容更重要?

对于长期运行的关键业务,完全依赖流量出现之后才创建新服务器,可能存在一定风险。

因为扩容过程不仅需要时间,还依赖云平台资源创建接口持续可用。

如果已有节点能够保留合理的空闲计算容量,就可以在短时间内承担额外请求。

这有助于减轻突发扩容失败时的影响。

不过,预留容量也意味着增加成本。

因此,企业需要结合业务重要程度、流量变化和可接受的故障恢复时间,决定保留多少冗余资源。

对于普通低流量网站,长期保留大量闲置计算资源可能并不经济。

但对于需要持续处理交易、支付或关键API请求的系统,适当的资源冗余可能比完全依赖即时扩容更加可靠。

AWS故障恢复后,企业还需要检查哪些遗留问题?

AWS已经确认,东京区域此次关联事故于11月12日04:31全部恢复。

但云平台恢复正常,并不意味着故障期间所有失败的业务操作都会自动完成。

例如,某些EC2启动请求可能已经失败。

部分自动化部署任务可能处于错误状态。

ECS或EKS中需要新增资源的工作流,也可能因为此前资源创建失败而需要重新执行。

因此,故障结束后,管理员还需要检查实际业务系统的状态。

首先确认是否存在未完成的实例创建任务

对于使用EC2 API自动开通服务器的系统,应检查故障期间的创建请求。

重点确认是否存在返回异常、进入TERMINATED状态,或者长时间没有完成初始化的实例。

如果需要重新创建,应先确认原请求的实际结果,避免重复申请相同资源。

其次检查Auto Scaling和容器平台

对于使用Auto Scaling Group的业务,应检查目标实例数量与实际运行数量是否一致。

对于ECS、EKS和Fargate,应检查任务、节点及其他资源是否恢复到预期状态。

如果存在部署失败,应在确认云平台已经恢复后重新执行相应任务。

再检查网络配置变更

如果企业在故障期间修改过网络接口、网关、VPC Peering或其他相关配置,应重点确认最终状态是否符合预期。

不能仅因为AWS宣布事故结束,就假定此前所有配置变更都按照原计划完整执行。

最后检查业务健康指标

例如,HTTP错误率、数据库连接、应用请求延迟及核心服务监控是否恢复正常。

对于故障期间出现数据不足的CloudWatch告警,也应确认指标已经恢复正常上报。

如果监控数据缺失影响了业务告警,需要进一步检查是否存在漏报或误判。

AWS在事故说明中建议客户重新尝试此前失败的API请求和工作流。

但对于涉及资源创建或配置修改的操作,应结合幂等性和实际资源状态进行验证后再重试,避免产生新的重复操作。

这次故障对IDC自动交付系统有什么提醒?

对于使用AWS API提供云资源交付的IDC服务商,这次事故具有较强的实际参考价值。

因为许多自动交付系统都采用类似流程:

客户下单后,系统检查订单状态,再调用云平台API创建实例,最后向客户展示服务器信息。

如果云平台API返回异常,自动开通就可能失败。

但更复杂的情况是,API返回成功后,实例仍然可能没有真正完成启动。

因此,自动交付系统不能只根据API调用是否成功,判断服务器是否已经可以交付客户。

对于通过第三方云平台提供服务器资源的业务,建议将交付状态划分为多个明确阶段。

例如,订单已确认、实例创建请求已提交、云平台资源已创建、实例运行正常,以及业务网络验证通过。

这些状态不应该简单合并成一个“开通成功”。

特别是在云平台发生部分故障时,清晰的状态记录能够帮助工作人员判断当前问题发生在哪个环节。

此外,自动交付系统还需要合理处理失败重试。

如果客户订单已经付款,但云平台资源创建失败,系统应该保留相应订单与交付记录,以便后续重新处理。

而不是简单重复创建实例,或错误地将失败订单标记为已经完成。

从A5数据的角度来看,云平台故障无法完全由IDC服务商控制,但订单系统如何处理云平台异常,仍然属于自身可以改进的范围。

自动化交付的可靠性,不只是正常情况下能够快速创建服务器,还包括云平台API失败、请求超时和资源创建不完整时,能够准确识别状态并安全恢复。

AWS东京故障反映出的云平台高可用问题

此次事件有一个值得进一步思考的地方。

在传统服务器故障中,管理员通常首先关注CPU、内存、硬盘、网络和电力是否正常。

但在公有云环境中,业务还依赖一个额外的重要能力:云平台必须能够持续创建和管理资源。

即使已经运行的服务器没有宕机,如果新的计算资源无法启动,业务的弹性能力就可能受到限制。

如果网络配置变化无法及时传播,新创建的实例也可能无法立即投入使用。

因此,云计算高可用不能只关注已有实例是否在线。

还应考虑资源创建、配置变更和监控系统是否能够正常工作。

对于大型云平台,这些能力通常由多个内部服务协同提供。

某个内部组件出现异常,可能首先表现为API失败,然后进一步影响自动扩容、容器任务和网络配置。

此次AWS东京故障正体现了这种连带关系。

不过,AWS官方已经确认故障主要集中在一个可用区,没有证据表明东京区域所有基础设施同时不可用。

因此,这次事件并不意味着多可用区架构没有价值。

相反,它说明如果业务能够在其他健康可用区保持足够资源,并具备经过验证的恢复机制,就可能减少单一可用区异常带来的影响。

但这种能力需要在平时完成架构设计和测试,而不能等到故障发生后才临时建立。

已有云服务器正常,不等于业务扩容能力也正常

AWS东京区域此次EC2事故从11月11日22:46持续至11月12日04:31,约5小时45分钟。

事件主要集中在apne1-az1可用区,先后涉及EC2 API错误、新实例启动失败,以及新建或修改资源时出现的网络连接异常。

AWS明确确认,原有运行中的EC2实例在初期故障阶段没有受到普遍影响。

但Auto Scaling、ECS、EKS、Fargate及其他依赖EC2资源创建和网络配置的服务,部分工作流仍然受到影响。

这说明,云平台的正常运行不仅包括现有计算资源继续提供服务,还包括能够根据业务需要及时创建新资源,并确保网络配置正确生效。

对于网站管理员和企业运维人员,事故期间应该分别检查业务服务状态、实例创建能力和网络连接情况。

对于采用自动扩容的应用,则需要关注其他健康可用区的资源容量,以及是否具备应对创建API失败的恢复机制。

对于IDC自动交付系统,还应确保云服务器真正完成启动与网络验证之后,才向客户确认资源已经可用。

A5数据认为,这次事件揭示了一项容易被忽略的云计算风险:

云服务器的高可用,不只是保证已经运行的实例不会轻易中断,还要保证业务在需要新增资源、替换故障节点或修改网络时,具备足够的恢复能力。

当资源创建功能暂时不可用时,已有计算容量就成为业务能够维持多久的重要保障。

因此,真正成熟的云平台部署,不应该把自动扩容视为随时都能成功执行的绝对条件,而应该将API失败、资源创建延迟和网络配置传播异常纳入日常高可用设计。

这比单纯关注云服务器是否显示为Running,更接近企业业务连续性真正需要解决的问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9078.html