Google推出TPU 8tx与8i Max:机密AI推理和超长上下文为何需要不同的加速器架构?

发布人:A5数据发布时间:2026-11-10 16:31阅读量:134
Google Cloud正式推出TPU 8tx与TPU 8i Max两套AI加速系统,分别面向机密AI推理和超长上下文计算。

同样是运行大语言模型,有的企业最在意推理速度,有的需要同时处理数百万Token的上下文,还有一些企业则要求模型权重和敏感数据在计算过程中也能得到保护。

这些需求过去可能通过采购性能更高的GPU、增加显存或扩大服务器集群来解决。但随着AI Agent开始处理企业内部数据、执行复杂任务,单纯堆叠计算资源已经不一定能够同时满足性能、安全和成本要求。

2026年11月9日,Google Cloud正式宣布扩展第八代TPU产品阵容,推出TPU 8tx与TPU 8i Max两套新的AI加速系统。前者面向机密AI推理,重点保护计算过程中使用的敏感数据和模型权重;后者则通过双芯片封装,提高计算能力和内存带宽,针对超长上下文及高密度推理任务进行优化。

根据Google公布的信息,TPU 8tx在特定测试条件下,相比TPU 8t最高可将延迟降低约一半;TPU 8i Max则相较单颗TPU 8i实现双倍计算能力、双倍片上SRAM容量和双倍HBM带宽。

A5数据在梳理这次发布时注意到,Google并没有简单地推出一款性能更强的新芯片,而是围绕不同AI工作负载,重新组合已有芯片、主机CPU、内存及网络资源。

这意味着AI服务器的竞争,正在从单纯比较加速器性能,进一步转向整套计算系统能否满足特定业务需求。

一年推出四套TPU系统,Google开始强调专用化设计

在此次发布之前,Google已经于2026年4月介绍TPU 8t和TPU 8i。

其中,TPU 8t主要面向大规模基础模型训练,TPU 8i则侧重实时推理和低延迟计算。

11月9日新增的TPU 8tx与TPU 8i Max,使Google第八代TPU产品阵容扩展至四套系统。

这四套系统的定位并不相同:

TPU系统

主要定位

重点解决的问题

TPU 8t

大规模模型训练

提高训练吞吐和计算效率

TPU 8i

实时AI推理

降低推理过程中的通信延迟

TPU 8tx

机密AI推理

保护敏感数据和模型权重

TPU 8i Max

超长上下文推理

提升计算密度与内存带宽

Google特别强调,此次发布的是新的TPU系统配置,而不完全是重新设计底层芯片。

芯片设计需要经历复杂的研发、制造和验证过程,通常具有较长的产品周期。但围绕现有芯片调整封装方式、网络互联、主机平台和安全机制,可以更快形成面向不同需求的计算系统。

例如,TPU 8tx继续采用TPU 8t的底层芯片,但调整了主机与网络架构;TPU 8i Max则将两颗TPU 8i芯片放入同一个封装,以提高单个封装的计算和数据处理能力。

这一产品策略与过去主要依靠单代芯片提升算力的方式有所区别。

对于服务器行业而言,芯片本身依然重要,但加速器能否发挥预期性能,还取决于CPU、内存、网络和软件之间的协同。

TPU 8tx:为什么数据加密不再只关注存储和传输?

TPU 8tx最重要的变化,是将机密计算能力引入Google的TPU系统。

对于传统服务器应用,数据安全通常重点关注两个环节。

第一个是静态数据加密,例如数据库文件、磁盘和对象存储中的敏感内容。

第二个是传输加密,例如通过TLS保护客户端与服务器之间的通信。

但AI推理还存在第三种情况:数据正在被处理。

大语言模型执行推理时,需要将模型权重、用户输入以及部分中间状态加载到内存中。

传统计算环境中的数据即使在存储和传输过程中受到加密保护,进入计算流程后仍然可能以可供处理的形式存在于内存中。

因此,在共享基础设施或具有较高保密要求的环境下,企业还需要考虑计算过程中的数据隔离。

TPU 8tx正是针对这一问题设计。

根据Google官方介绍,该系统采用与TPU 8t相同的底层芯片,并结合第五代AMD EPYC主机CPU及硬件级机密计算机制,在执行AI任务时为敏感数据和模型权重提供额外保护。

这里的关键不是简单增加一层软件加密,而是让安全机制与硬件执行环境协同工作。

什么类型的企业可能需要这种能力?

对于普通公开内容生成业务,模型可能主要处理无需特别保密的输入。

但企业内部AI应用的情况更加复杂。

例如,金融机构可能使用模型分析内部交易数据,企业可能通过AI处理尚未公开的研发资料,某些机构也可能需要在受监管环境中运行专有模型。

这些场景不仅要求数据传输安全,还需要关注底层计算基础设施能够接触哪些信息。

机密计算可以帮助降低部分基础设施层面的数据暴露风险,但这并不意味着启用相关硬件后,整个AI应用就自动具备完整的安全保障。

模型输出是否泄露信息、应用接口是否正确授权、日志是否记录敏感数据,以及密钥如何管理,仍然需要独立考虑。

A5数据认为,TPU 8tx的新闻价值就在于:AI基础设施的安全能力,正在从外围网络和存储系统进一步深入到实际执行模型计算的硬件层。

不过,Google目前公布的主要是系统设计和能力介绍,不能仅凭机密计算这一产品定位,就认定所有应用场景都已经满足特定行业的合规要求。

企业仍需要根据其实际安全模型、软件配置和认证要求进行评估。

采用AMD EPYC主机CPU,机密AI计算不只是TPU的工作

此次TPU 8tx还有一个值得服务器行业关注的细节:Google选择第五代AMD EPYC处理器承担主机计算任务。

AMD也在11月9日发布公告,确认其EPYC产品进入TPU 8tx主机基础设施。

这说明即使使用专门设计的TPU加速器,整套系统仍然需要传统服务器CPU。

在实际AI应用中,TPU主要负责适合加速器执行的模型计算,而主机CPU还需要承担操作系统运行、任务调度、数据准备、内存管理和部分网络通信等工作。

对于机密计算环境,CPU主机的硬件安全机制也需要与加速器协同,才能建立更完整的保护边界。

AMD强调,第五代EPYC提供的Infinity Guard安全能力和x86软件兼容性,有助于企业将现有软件环境与TPU加速能力结合。

但这里不能把CPU的安全能力直接等同于整套AI系统的最终安全等级。

实际保护范围仍取决于主机、加速器、驱动、固件和运行软件之间的安全实现。

对于IDC运营商,这次合作也具有一定启示。

未来AI服务器的CPU配置,可能不仅要考虑核心数量和计算性能,还需要关注它能否支持相应的内存保护、安全隔离和加速器通信机制。

尤其是在面向企业提供私有模型推理服务时,主机CPU的作用不再只是辅助GPU或TPU完成计算。

Boardfly网络带来更低延迟,但不能理解为所有任务都快两倍

除了机密计算能力,TPU 8tx还采用了Google针对低延迟推理设计的Boardfly网络。

根据官方披露,TPU 8tx在特定工作负载中,相较TPU 8t最高可降低约2倍的延迟,同时保持较低的额外性能开销。

这项数据需要结合产品定位理解。

TPU 8t主要面向大规模训练,而TPU 8tx将训练级计算能力与低延迟推理网络结合,目的是让同一套系统能够更好地承担敏感模型推理、微调和部分强化学习任务。

对于AI Agent而言,推理过程可能包含多个连续步骤。

模型可能需要先理解任务,再调用外部工具,随后根据工具返回结果继续推理。

如果这些步骤涉及不同计算节点之间的数据交换,网络通信延迟就可能不断累积。

因此,降低加速器之间的通信开销,有机会缩短整体任务的等待时间。

不过,官方公布的最高延迟改善并不代表TPU 8tx的单芯片算力达到TPU 8t的两倍,也不意味着所有模型推理速度都能翻倍。

实际改善仍取决于模型结构、任务长度、并行方式以及网络通信在整体执行时间中所占的比例。

对于准备采购AI算力的企业,这类性能数据应该与实际业务负载结合,而不是仅依据最高宣传指标判断系统效率。

TPU 8i Max:超长上下文为什么会遇到内存墙?

与TPU 8tx侧重数据安全不同,TPU 8i Max主要针对计算能力和内存带宽之间的平衡问题。

Google将其定位于超长上下文推理和高密度AI计算。

所谓超长上下文,是指模型在一次任务中需要处理大量输入信息。

例如,AI代码助手可能需要理解整个软件项目中的多个文件;企业知识库需要同时分析大量技术文档;视频理解模型则可能需要处理长时间的视频内容。

当多个AI Agent同时执行这类任务时,系统需要频繁访问模型权重、注意力缓存和其他中间计算数据。

这会给高带宽内存带来明显压力。

在大语言模型推理中,GPU或TPU不仅需要完成矩阵计算,还需要持续从内存读取数据。

如果计算能力提升很快,但内存无法及时提供数据,加速器就可能等待数据传输,无法充分发挥理论性能。

这就是AI计算中经常讨论的内存墙问题。

为什么Google选择双芯片封装?

TPU 8i Max将两颗TPU 8i芯片组合在一个封装中。

Google表示,相比单颗TPU 8i,新系统提供:

  • 双倍计算能力;

  • 双倍片上SRAM容量;

  • 双倍HBM带宽;

  • 在原有机柜空间内提高计算密度。

这一设计的关键,是让计算能力和内存资源同步增长。

如果只增加计算单元,而内存带宽保持不变,更多计算单元可能需要争抢相同的数据通道。

相反,如果扩大内存带宽,并让数据访问能力与计算资源一起提升,就有机会减少部分内存瓶颈。

不过,这里的双倍计算能力和带宽,是相对于单颗TPU 8i的硬件资源对比。

不能直接推导为所有模型都能获得两倍实际吞吐量,也不能据此认为每位用户的响应速度一定提高一倍。

此外,Google公开的这一对比并未提供足够完整的统一测试条件,因此暂时不适合进一步推算不同模型的实际单位Token成本。

两款新TPU看似方向不同,实际解决的是两种资源限制

从技术上看,TPU 8tx和TPU 8i Max解决的问题存在明显区别。

TPU 8tx面对的是计算过程中的信任与保护问题。

即使一套服务器具有足够高的推理性能,如果企业不能接受敏感模型和业务数据在计算过程中面临的暴露风险,这套系统仍然可能无法满足其部署要求。

TPU 8i Max面对的则是内存与计算资源之间的平衡。

即使企业拥有足够的加速器算力,如果长上下文任务持续占用大量缓存和内存带宽,实际并发能力仍然可能受到限制。

从A5数据的角度来看,这也是此次新品发布最值得分析的地方。

过去讨论AI服务器性能,往往习惯用某张加速卡的计算能力或显存容量衡量产品等级。

但现在,不同业务可能受到完全不同的限制。

对于拥有严格数据保护要求的企业,安全隔离可能比峰值吞吐量更加重要。

对于需要同时运行大量长上下文Agent的平台,HBM带宽和内存调度效率则可能成为决定服务能力的关键。

这意味着未来选择AI计算平台,首先应该判断实际业务最主要的瓶颈是什么,再决定采用哪一种加速器架构。

TPU Sync与软件生态更新,进一步体现系统级设计思路

Google此次发布还配套介绍了多项软件技术,包括TPU Sync、TorchTPU、Agent Compute Engine及GKE上的动态资源调度能力。

这些技术与新硬件共同构成Google希望建立的AI计算平台。

其中,TPU Sync主要针对KV Cache和模型权重的数据传输。

在长上下文和多轮Agent任务中,已经计算完成的KV Cache可能占据大量HBM空间。

如果所有历史上下文都长期保存在加速器内存中,就会限制新的推理任务可用资源。

TPU Sync尝试将TPU HBM、主机DRAM、共享存储和数据中心网络组合成分层内存体系,根据使用情况移动和复用相关数据。

Google表示,在特定测试场景下,这套技术能够使KV Cache传输延迟及首Token响应时间获得超过90%的改善。

但这属于特定测试条件下的数据,不能直接理解为所有使用TPU 8i Max的模型都会自动获得同等收益。

此外,Google还在推动PyTorch及主流开源推理框架对TPU的支持,以降低开发者迁移工作负载的成本。

这部分变化同样值得关注。

因为企业选择AI服务器时,硬件性能只是其中一个条件。模型能否运行、现有软件是否兼容、是否需要重新优化推理框架,以及运维团队是否具备相关经验,都可能影响最终部署成本。

如果专用加速器虽然性能出色,但软件迁移成本过高,企业未必会立即采用。

因此,Google此次同步推进硬件和软件生态建设,也是其TPU产品能否扩大使用范围的重要因素。

对IDC和AI服务器市场意味着什么?

此次Google TPU新品发布,对服务器行业释放了一个比较明确的信号:AI计算平台正在从相对通用的算力配置,逐渐向不同业务场景的专用系统发展。

对于普通GPU服务器租用业务,用户通常可以根据GPU型号、显存、CPU、内存和带宽选择配置。

但对于大规模AI推理服务,仅仅提供某种加速器型号可能还不够。

客户还可能提出更具体的需求。

例如,希望在处理企业敏感数据时获得硬件级保护;需要同时运行大量长上下文任务;希望减少Agent执行中的网络等待;或者要求在固定机柜空间和电力预算内提供更高并发能力。

这些要求涉及CPU、加速器、HBM、网络交换机和推理软件之间的协同,不是单独增加某一个硬件参数就能解决。

不过,A5数据也注意到,Google此次公布的是面向其TPU生态的新系统,而不是普通IDC企业可以直接按照公开规格采购的通用服务器产品。

Google虽然已经开始推动TPU进入客户自有数据中心,但TPU 8tx和TPU 8i Max的具体区域可用性、销售方式、价格及完整部署条件,仍需要以Google后续正式产品资料为准。

因此,目前不能将这次新品公告理解为所有地区的企业已经可以立即购买或部署相关系统。

对于中小型IDC运营商,更现实的参考价值在于其架构设计方向。

例如,在规划GPU服务器和AI推理产品时,可以更重视CPU与加速器之间的通信效率、显存和系统内存的搭配、网络带宽与KV Cache管理,以及不同业务对安全隔离的要求。

这些原则并不只适用于Google TPU,同样可以用于评估其他AI加速平台。

AI加速器竞争,正在从单颗芯片走向专用计算系统

Google此次推出TPU 8tx与TPU 8i Max,表面上是一次产品阵容扩展,但更值得关注的是其背后的设计方式。

TPU 8tx没有单纯追求更高的峰值算力,而是将机密计算和低延迟网络作为重要能力。

TPU 8i Max也不是仅靠增加芯片数量,而是强调计算、SRAM和HBM带宽同步增长,并通过更高的机柜计算密度满足复杂推理需求。

两者的目标不同,却都体现出同一个趋势:AI加速器的价值越来越依赖整套系统如何围绕实际任务进行设计。

对于数据中心和IDC行业来说,未来AI基础设施的竞争可能进一步体现在不同计算平台能否根据业务特点,在性能、安全、内存、网络和成本之间取得更合理的平衡。

但任何一款新系统的实际价值,仍然需要经过真实应用验证。

Google公布的技术能力和最高性能数据提供了参考,但企业在部署之前,还需要结合模型规模、上下文长度、并发需求、软件适配及整体成本进行评估。

A5数据认为,这次发布最值得服务器行业关注的,不是Google一年推出了四种TPU系统,而是它开始更加明确地将不同AI任务对应到不同的基础设施设计。

当AI应用从简单问答逐渐走向长期运行的Agent、企业内部自动化和复杂多模态分析时,单纯比较芯片算力已经不足以回答所有选型问题。

未来真正有竞争力的AI服务器,可能并不是某项硬件规格最高的产品,而是能够针对实际业务,在有限的计算资源、电力和成本条件下,持续提供可靠性能与安全保障的整套系统。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8694.html

相关推荐