AWS东京区域EC2故障持续近6小时:已有云服务器正常,为何自动扩容和新实例仍可能失败?

云服务器没有宕机,网站能够正常访问,数据库也没有出现明显异常,但业务高峰期需要增加计算资源时,新的EC2实例却迟迟无法启动。
这种情况看起来有些矛盾,却正是AWS东京区域最新一次服务故障所暴露的问题。
2026年11月11日22:46,Amazon Web Services(AWS)东京区域开始出现EC2 API错误率升高及新实例启动失败。故障主要集中在ap-northeast-1区域中的apne1-az1可用区,同时影响部分依赖EC2创建或管理资源的云服务。
根据AWS官方事故记录,事件在11月12日04:31完全恢复,整个影响过程持续约5小时45分钟。
值得注意的是,这次事故并非东京区域所有云服务器同时停止运行。
AWS明确指出,故障发生前已经正常运行的EC2实例,在最初的API异常阶段并未普遍受到影响。真正出现问题的是新实例启动、部分API调用,以及后续涉及新建或修改资源的网络配置操作。
因此,一些企业可能发现,原有业务仍然在线,但自动扩容无法按计划完成;另一些企业则可能遇到实例创建成功,却无法正常建立网络连接的情况。
故障还波及Auto Scaling、ECS、EKS、Fargate、ELB和NAT Gateway等服务的部分操作流程。
A5数据此次关注的重点,不是将这次事故简单归类为云服务器宕机,而是分析一个更具有实际运维意义的问题:
为什么云平台能够维持已有计算资源运行,却无法保证新的计算资源及时创建?当自动扩容和网络配置能力出现异常时,企业原有的高可用架构还能发挥多大作用?
东京区域发生了什么?EC2故障分为两个阶段
AWS在最终事故说明中,将此次故障描述为API错误、新实例启动失败,以及后续网络连通性异常的组合事件。
根据官方发布的时间线:
时间 | 事故进展 |
|---|---|
11月11日22:46 | 东京区域EC2 API错误率升高,新实例启动失败 |
11月11日23:47 | AWS已识别问题原因并开始实施缓解措施 |
11月12日01:46 | EC2 API大范围恢复,新实例启动逐步恢复成功 |
11月12日01:46之后 | 发现部分新实例及网络配置被修改的实例存在连接异常 |
11月12日03:51 | 网络连通性问题开始出现恢复迹象 |
11月12日04:31 | 所有关联问题解决,服务恢复正常 |
这组时间线说明,此次故障不是一个始终表现相同的事件。
最初阶段,主要问题是AWS无法正常响应部分EC2管理请求,导致创建实例失败。
到了11月12日01:46,相关API错误已经基本缓解,新的EC2实例也开始能够成功创建。
但这并不代表所有问题都已经解决。
AWS在后续监测中发现,部分新启动的实例仍然存在网络连接问题。此外,一些在事故期间修改过网络配置的现有实例也可能受到影响。
直到04:31,AWS才宣布全部关联问题完成恢复。
因此,如果只根据API错误率下降的时间判断故障结束,就会漏掉后续持续约2小时45分钟的网络配置问题。
对于依赖自动扩容的企业,这种分阶段恢复十分重要。
实例可以成功创建,与实例能够正常接收业务流量,并不是同一件事。
故障主要集中在apne1-az1,并非整个东京区域全面中断
AWS东京区域的标识为ap-northeast-1。
该区域包含多个可用区,目的是让客户能够在不同基础设施故障域之间分散部署业务。
AWS此次确认,主要影响集中在apne1-az1。
在初期故障期间,其他可用区也曾出现少量实例启动失败,但主要问题仍集中在单个可用区。
AWS随后建议有紧急资源创建需求的客户,使用另外两个正常运行的可用区:apne1-az2和apne1-az3。
这一信息说明,AWS东京区域并没有完全失去计算服务能力。
但对具体企业而言,某个可用区出现异常仍然可能造成明显影响。
例如,客户如果将主要计算资源、存储和网络配置集中在同一个可用区,即使整个区域的其他可用区仍然正常,也未必能够立即把业务迁移过去。
另外,AWS的可用区名称与可用区ID不是完全相同的概念。
不同账户中的ap-northeast-1a等可用区名称,可能映射至不同的物理可用区。
因此,管理员核对此次故障范围时,应该检查实际的Availability Zone ID,而不能仅根据控制台显示的字母后缀判断自己是否位于受影响位置。
对于有多账户部署的企业,这一点尤其需要注意。
为什么原有EC2实例正常,新实例却无法启动?
要理解此次事故,需要区分AWS云服务器的两类能力。
第一类是已经创建并正在运行的计算资源。
例如,一台EC2实例已经启动,操作系统正在运行Nginx、数据库或其他应用程序。
这类资源通常不需要在处理每个业务请求时,重新向EC2管理系统申请一台服务器。
第二类是创建、修改和管理计算资源所依赖的控制流程。
例如,客户调用RunInstances创建新实例,修改网络接口,或者让Auto Scaling增加计算节点。
这些操作需要AWS内部多个管理组件协同完成。
因此,已经运行的云服务器可以继续提供服务,并不意味着管理这些服务器的全部API始终正常。
此次AWS事故就表现出了这种区别。
在最初阶段,部分新实例启动请求失败,但既有EC2实例仍然可以正常运行。
这意味着,对于计算资源已经充足、无需临时扩容的业务,故障可能没有直接造成明显中断。
但对于需要随流量变化自动增加实例的应用,影响就可能更加明显。
例如,电商网站在促销期间可能通过Auto Scaling增加Web应用节点。
当访问量升高时,系统希望创建更多EC2实例,以分担已有服务器的请求。
但如果EC2创建接口出现异常,即使Auto Scaling正确判断需要增加容量,也可能无法获得新的服务器。
这样一来,已有节点就必须继续承担不断增加的业务负载。
如果原有容量不足,用户可能逐渐遇到响应变慢或请求失败。
这里需要区分:这属于自动扩容无法执行后可能产生的业务后果,并不是AWS已经确认此次事故导致东京区域所有电商网站出现访问中断。
企业是否受到实际影响,还取决于原有资源容量、扩容策略和业务负载。
RunInstances返回成功,为什么实例仍可能进入TERMINATED状态?
AWS在最终事故说明中披露了一个值得特别关注的细节。
此次故障期间,部分RunInstances API调用即使返回成功,实例也可能没有真正完成启动,而是进入TERMINATED状态。
这对于通过程序自动创建服务器的企业具有直接意义。
正常情况下,自动化程序可能调用EC2 API申请实例。
当API返回实例ID后,程序继续等待服务器启动,再进行操作系统配置和应用部署。
但API请求获得成功响应,并不意味着后续资源准备一定完成。
创建云服务器通常需要经过多个步骤。
例如,系统需要分配底层计算资源、准备网络配置、关联存储,并执行其他初始化操作。
这些步骤可能并非在API返回时全部完成。
因此,自动交付程序不能仅根据收到实例ID,就认定服务器已经可以投入使用。
自动化交付应该验证什么?
对于使用EC2 API自动创建服务器的企业,应在创建请求完成后进一步检查实例生命周期状态。
例如,确认实例是否进入running状态。
随后,还需要验证实例状态检查、网络连通性及应用服务是否正常。
如果实例已经终止,应按照实际API和资源状态处理,而不是继续把它视为正在交付中的服务器。
此外,自动重试也需要谨慎。
部分创建接口具有幂等性设计,可以借助客户端令牌等机制减少重复请求导致重复创建的风险。
但不同API的幂等性规则并不相同。
因此,不能简单地把所有失败请求无限重复提交。
对于IDC自动开通系统,更合理的处理方式是记录请求标识和实际资源ID,在确认原有请求结果后决定是否需要重试。
这不仅有助于处理云平台异常,也能够避免重复创建资源造成额外费用或交付混乱。
EC2 API恢复后,为什么网络连接仍然出现问题?
此次事件最值得研究的技术细节,出现在故障恢复的第二阶段。
AWS确认,在EC2 API开始恢复后,部分新创建的实例以及网络配置发生变化的现有实例,仍然出现连接异常。
官方进一步指出,这些问题与负责传播EC2网络配置变化的内部子系统出现延迟有关。
这里需要理解云服务器网络配置的特点。
创建一个EC2实例,不只是分配CPU和内存。
实例还需要具备对应的虚拟网络配置,才能按照预期与其他实例、网关或外部网络通信。
例如,系统需要处理网络接口、私有IP、路由及其他与VPC网络相关的状态。
当管理员调整网络配置时,相应变化也需要在底层网络基础设施中正确生效。
如果负责传播这些配置变化的内部组件出现延迟,就可能发生资源已经创建或修改,但网络状态尚未完全就绪的情况。
这能够解释为什么此次事故中,EC2实例创建功能先恢复,而部分网络连接问题仍然持续。
但需要强调,AWS目前公开确认的是内部网络配置传播子系统存在延迟,并指出它与最初故障具有共同的底层原因。
官方没有完整公开全部底层实现细节。
因此,不能在缺少证据的情况下,将其具体归因于某一台交换机故障、某个VPC路由表错误或其他未经确认的技术原因。
为什么修改现有实例也可能产生影响?
AWS此次还特别指出,部分已经存在的实例,在事故期间修改网络配置后也可能遇到连接问题。
例如,涉及网络接口、网关或VPC连接关系的修改,都可能需要内部系统重新传播网络配置。
因此,原本运行正常的实例,并不意味着在故障期间可以不受影响地执行所有网络变更。
AWS当时建议受影响可用区的用户,暂时避免执行可能改变现有实例连通性的操作,包括网络接口和网关的挂载、卸载,以及部分VPC Peering调整。
这一建议很有现实意义。
当云平台出现网络配置传播异常时,管理员如果为了排查故障反复修改网络接口或路由,反而可能增加后续需要处理的配置变化。
因此,在没有明确证据表明问题来自自身配置之前,应该先查看官方服务状态,并尽量避免不必要的网络变更。
Auto Scaling为什么会受到影响?
Auto Scaling的主要作用,是根据业务需求动态调整计算资源数量。
例如,企业可以设置一个Auto Scaling Group,让系统在CPU利用率持续升高时增加EC2实例。
这种能力有助于业务应对流量波动。
但自动扩容本身仍然依赖EC2资源创建能力。
当EC2 API无法正常处理新实例启动请求时,Auto Scaling即使已经触发扩容条件,也可能无法及时创建新节点。
这意味着,自动扩容并不是完全独立于底层云平台的容灾机制。
它需要相关资源创建接口和底层基础设施能够正常工作。
对于生产业务,尤其要注意自动扩容的两个不同作用。
第一,是在业务需求上升时增加计算能力。
第二,是在部分实例故障后创建替代实例。
如果底层EC2实例创建流程发生异常,这两类操作都可能受到影响。
例如,某个应用原本有四个运行节点。
如果其中一个节点出现故障,Auto Scaling正常情况下可以创建新的节点补足容量。
但在实例创建能力不可用时,系统可能无法及时完成替换。
如果已有节点继续出现故障,整个应用的冗余能力就可能逐渐下降。
因此,企业不能只检查Auto Scaling策略是否已经配置,还应考虑底层资源创建失败时的应对方案。
ECS、EKS和Fargate为何也受到波及?
此次事故并不限于直接使用EC2控制台创建云服务器的客户。
AWS官方确认,部分容器服务同样受到影响。
其中包括ECS、EKS和Fargate相关工作流。
原因在于,容器服务虽然向用户提供了更高层级的应用部署方式,但部分计算资源创建和管理仍然依赖底层基础设施。
例如,使用ECS on EC2的企业可能需要增加新的容器实例。
EKS集群可能需要通过节点组或其他资源供应机制增加工作节点。
Fargate虽然隐藏了部分底层服务器管理细节,但相关任务启动仍然可能依赖受影响的基础设施流程。
因此,不能因为应用已经采用容器化部署,就认为它不会受到EC2资源供应异常影响。
已经运行的容器是否全部中断?
AWS没有确认此次事故导致所有已经运行的ECS或EKS工作负载停止。
官方列出的主要问题包括新任务启动失败、资源创建和相关配置操作异常。
因此,影响应按具体业务动作判断。
对于已有节点和任务,如果没有依赖受影响的资源创建流程,可能仍然保持正常运行。
但如果业务需要重新调度容器、创建新节点或扩大计算容量,就可能遇到问题。
这与EC2已有实例正常、新实例创建失败的情况具有相似之处。
从A5数据的角度来看,这次事件提醒企业:容器平台提高了应用部署和资源调度的灵活性,但并不会让底层云资源创建能力变得无关紧要。
在设计容器高可用时,仍然需要考虑计算节点的预留容量和可用区分布。
ELB、NAT Gateway与其他服务为什么可能受到连带影响?
AWS此次还确认,部分ELB资源配置操作和NAT Gateway创建、解除关联等工作流受到影响。
此外,Managed Flink应用状态转换及部分RDS相关操作也出现了问题。
这些服务虽然功能不同,但部分管理操作可能需要创建基础资源或调整底层网络配置。
例如,负载均衡服务在扩展或调整资源时,可能需要相应的基础设施配置能力。
NAT Gateway创建则涉及VPC网络资源准备和路由相关配置。
当底层EC2 API或网络配置传播出现异常时,这些操作就可能受到影响。
不过,必须强调,管理操作失败不等于对应服务的所有既有流量都已经中断。
例如,NAT Gateway创建失败与已有NAT Gateway无法转发流量,是两个不同的问题。
负载均衡资源配置延迟,也不能直接等同于全部现有负载均衡实例停止服务。
因此,分析云服务事故时,需要明确区分既有数据流量、资源配置和新资源创建。
如果只看到一个服务被列在事故影响范围内,就直接认定其全部功能中断,容易夸大实际影响。
CloudWatch显示INSUFFICIENT_DATA,是否说明服务器已经宕机?
此次AWS东京事件还有一个容易引起误判的问题。
AWS确认,在受影响可用区内,部分EC2和EBS健康数据出现缺失或延迟。
这导致部分CloudWatch告警进入INSUFFICIENT_DATA状态。
同时,DescribeInstanceStatus API在某些情况下也返回数据不足的结果。
对于习惯依赖监控平台判断服务器状态的管理员,这种情况可能造成困惑。
例如,某个CloudWatch告警原本用于监测实例健康情况。
当指标不再正常上报时,系统可能进入数据不足状态。
但这不代表实例一定发生了故障。
它也可能意味着监控系统暂时无法获得足够的数据。
因此,监控数据缺失与服务器实际不可用,是需要分别验证的两个问题。
AWS当时特别提醒客户,应根据自身业务健康监控判断实例的真实状态。
这对IDC服务商很有参考价值。
如果平台只依赖云厂商提供的一组基础状态指标,那么在底层监控系统出现异常时,就可能无法准确判断业务是否仍然正常。
更合理的方式,是结合应用层监控进行验证。
例如,检查HTTP接口是否能够正常响应。
对于数据库,可以检查实际连接与查询表现。
对于API服务,则可以监控关键业务请求的成功率和延迟。
这些指标虽然也可能受到网络条件影响,但与云平台基础设施指标结合后,更有助于区分监控异常和真实业务故障。
不过,也不能认为只要网站首页能够打开,就可以忽略所有云平台健康告警。
例如,已有服务器可能仍然运行正常,但自动扩容已经失败。
因此,监控系统需要同时覆盖业务可用性和基础设施管理能力。
多可用区部署,为什么仍然需要预留实际资源?
AWS此次故障主要集中在单个可用区。
这说明多可用区部署能够为企业提供重要的风险分散能力。
例如,应用同时部署在两个或三个可用区。
如果其中一个可用区无法正常创建资源,其他可用区可能仍然可以提供计算能力。
但多可用区架构是否真正能够应对此类事件,还取决于实际部署方式。
首先,其他可用区需要拥有足够的现有计算容量。
如果全部应用节点都接近满负载,故障时仅依赖自动创建大量新实例,仍然可能受到API异常影响。
其次,业务数据与网络配置需要支持跨可用区运行。
例如,数据库、共享存储和内部服务连接是否能够按照预期切换。
再次,自动扩容策略需要能够使用健康的可用区。
如果扩容配置限制了固定子网或特定资源类型,即使其他可用区正常,也可能无法及时完成资源创建。
因此,多可用区不能只理解为在管理页面中勾选多个可用区。
它需要计算资源、网络和数据架构共同配合。
为什么预留容量有时比即时扩容更重要?
对于长期运行的关键业务,完全依赖流量出现之后才创建新服务器,可能存在一定风险。
因为扩容过程不仅需要时间,还依赖云平台资源创建接口持续可用。
如果已有节点能够保留合理的空闲计算容量,就可以在短时间内承担额外请求。
这有助于减轻突发扩容失败时的影响。
不过,预留容量也意味着增加成本。
因此,企业需要结合业务重要程度、流量变化和可接受的故障恢复时间,决定保留多少冗余资源。
对于普通低流量网站,长期保留大量闲置计算资源可能并不经济。
但对于需要持续处理交易、支付或关键API请求的系统,适当的资源冗余可能比完全依赖即时扩容更加可靠。
AWS故障恢复后,企业还需要检查哪些遗留问题?
AWS已经确认,东京区域此次关联事故于11月12日04:31全部恢复。
但云平台恢复正常,并不意味着故障期间所有失败的业务操作都会自动完成。
例如,某些EC2启动请求可能已经失败。
部分自动化部署任务可能处于错误状态。
ECS或EKS中需要新增资源的工作流,也可能因为此前资源创建失败而需要重新执行。
因此,故障结束后,管理员还需要检查实际业务系统的状态。
首先确认是否存在未完成的实例创建任务
对于使用EC2 API自动开通服务器的系统,应检查故障期间的创建请求。
重点确认是否存在返回异常、进入TERMINATED状态,或者长时间没有完成初始化的实例。
如果需要重新创建,应先确认原请求的实际结果,避免重复申请相同资源。
其次检查Auto Scaling和容器平台
对于使用Auto Scaling Group的业务,应检查目标实例数量与实际运行数量是否一致。
对于ECS、EKS和Fargate,应检查任务、节点及其他资源是否恢复到预期状态。
如果存在部署失败,应在确认云平台已经恢复后重新执行相应任务。
再检查网络配置变更
如果企业在故障期间修改过网络接口、网关、VPC Peering或其他相关配置,应重点确认最终状态是否符合预期。
不能仅因为AWS宣布事故结束,就假定此前所有配置变更都按照原计划完整执行。
最后检查业务健康指标
例如,HTTP错误率、数据库连接、应用请求延迟及核心服务监控是否恢复正常。
对于故障期间出现数据不足的CloudWatch告警,也应确认指标已经恢复正常上报。
如果监控数据缺失影响了业务告警,需要进一步检查是否存在漏报或误判。
AWS在事故说明中建议客户重新尝试此前失败的API请求和工作流。
但对于涉及资源创建或配置修改的操作,应结合幂等性和实际资源状态进行验证后再重试,避免产生新的重复操作。
这次故障对IDC自动交付系统有什么提醒?
对于使用AWS API提供云资源交付的IDC服务商,这次事故具有较强的实际参考价值。
因为许多自动交付系统都采用类似流程:
客户下单后,系统检查订单状态,再调用云平台API创建实例,最后向客户展示服务器信息。
如果云平台API返回异常,自动开通就可能失败。
但更复杂的情况是,API返回成功后,实例仍然可能没有真正完成启动。
因此,自动交付系统不能只根据API调用是否成功,判断服务器是否已经可以交付客户。
对于通过第三方云平台提供服务器资源的业务,建议将交付状态划分为多个明确阶段。
例如,订单已确认、实例创建请求已提交、云平台资源已创建、实例运行正常,以及业务网络验证通过。
这些状态不应该简单合并成一个“开通成功”。
特别是在云平台发生部分故障时,清晰的状态记录能够帮助工作人员判断当前问题发生在哪个环节。
此外,自动交付系统还需要合理处理失败重试。
如果客户订单已经付款,但云平台资源创建失败,系统应该保留相应订单与交付记录,以便后续重新处理。
而不是简单重复创建实例,或错误地将失败订单标记为已经完成。
从A5数据的角度来看,云平台故障无法完全由IDC服务商控制,但订单系统如何处理云平台异常,仍然属于自身可以改进的范围。
自动化交付的可靠性,不只是正常情况下能够快速创建服务器,还包括云平台API失败、请求超时和资源创建不完整时,能够准确识别状态并安全恢复。
AWS东京故障反映出的云平台高可用问题
此次事件有一个值得进一步思考的地方。
在传统服务器故障中,管理员通常首先关注CPU、内存、硬盘、网络和电力是否正常。
但在公有云环境中,业务还依赖一个额外的重要能力:云平台必须能够持续创建和管理资源。
即使已经运行的服务器没有宕机,如果新的计算资源无法启动,业务的弹性能力就可能受到限制。
如果网络配置变化无法及时传播,新创建的实例也可能无法立即投入使用。
因此,云计算高可用不能只关注已有实例是否在线。
还应考虑资源创建、配置变更和监控系统是否能够正常工作。
对于大型云平台,这些能力通常由多个内部服务协同提供。
某个内部组件出现异常,可能首先表现为API失败,然后进一步影响自动扩容、容器任务和网络配置。
此次AWS东京故障正体现了这种连带关系。
不过,AWS官方已经确认故障主要集中在一个可用区,没有证据表明东京区域所有基础设施同时不可用。
因此,这次事件并不意味着多可用区架构没有价值。
相反,它说明如果业务能够在其他健康可用区保持足够资源,并具备经过验证的恢复机制,就可能减少单一可用区异常带来的影响。
但这种能力需要在平时完成架构设计和测试,而不能等到故障发生后才临时建立。
已有云服务器正常,不等于业务扩容能力也正常
AWS东京区域此次EC2事故从11月11日22:46持续至11月12日04:31,约5小时45分钟。
事件主要集中在apne1-az1可用区,先后涉及EC2 API错误、新实例启动失败,以及新建或修改资源时出现的网络连接异常。
AWS明确确认,原有运行中的EC2实例在初期故障阶段没有受到普遍影响。
但Auto Scaling、ECS、EKS、Fargate及其他依赖EC2资源创建和网络配置的服务,部分工作流仍然受到影响。
这说明,云平台的正常运行不仅包括现有计算资源继续提供服务,还包括能够根据业务需要及时创建新资源,并确保网络配置正确生效。
对于网站管理员和企业运维人员,事故期间应该分别检查业务服务状态、实例创建能力和网络连接情况。
对于采用自动扩容的应用,则需要关注其他健康可用区的资源容量,以及是否具备应对创建API失败的恢复机制。
对于IDC自动交付系统,还应确保云服务器真正完成启动与网络验证之后,才向客户确认资源已经可用。
A5数据认为,这次事件揭示了一项容易被忽略的云计算风险:
云服务器的高可用,不只是保证已经运行的实例不会轻易中断,还要保证业务在需要新增资源、替换故障节点或修改网络时,具备足够的恢复能力。
当资源创建功能暂时不可用时,已有计算容量就成为业务能够维持多久的重要保障。
因此,真正成熟的云平台部署,不应该把自动扩容视为随时都能成功执行的绝对条件,而应该将API失败、资源创建延迟和网络配置传播异常纳入日常高可用设计。
这比单纯关注云服务器是否显示为Running,更接近企业业务连续性真正需要解决的问题。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9078.html