性能差距有多大

北美以及欧洲的AI芯片初创企业, 在6月15日的时候推出了全新的AI推理系统TDN, 声称该系统相较于现有的系统, 在按照Token计算能效方面提升了17倍, 吞吐量方面提升了13倍。这一数据源自公司官方所进行的测试, 是采用标准大语言模型推理任务来开展对比的。公司表明, TDN系统在实际部署过程中能够明显降低电力消耗以及硬件成本, 特别适宜大型数据中心来使用。性能得到提升的关键之处在于芯片设计从根本性的层面上改变了计算方式, 并非是单纯地增加芯片数量。

与博通和HPE的合作

TDN平台是由这家处于初创阶段的企业, 与博通、HPE瞻博网络共同联合开发的, 博通承担着提供网络芯片以及高速互联技术支撑的任务, HPE瞻博网络贡献出的是网络交换还有路由方案, 三方自2024年初起始展开合作, 于加州圣何塞的实验室达成了系统集成测试, 合作的关键核心目标旨在解决多芯片通信延迟这一问题, 最终达成了处理器间通信延迟小于1微秒, 这一具备低延迟的特性致使288颗芯片能够进行高效协同工作, 规避了传统AI系统里存在的通信瓶颈。

对数数学设计如何工作

TDN芯片运用对数数学进行设计, 把加法运算用于替代AI推理里的大规模乘法操作, 在传统AI芯片当中, 矩阵乘法占据了90%以上的计算资源, 并且乘法操作存在功耗高、速度慢的情况, 对数数学把乘法转变为加法, 极大地降低了每个计算步骤的能耗, 台积电3纳米制程对能效做了进一步优化, 芯片于2026年第一季度成功实现了流片, 公司披露, 每颗芯片的功耗比同类产品低40%以上, 然而推理速度却反而得到了提升。

集成72颗芯片的推理舱

凭借TDN芯片, 公司打造了TDN72推理舱, 此推理舱集成了72颗算力芯片。每个机架能够容纳4个推理舱, 这些推理舱总共集成有288颗芯片。该系统运用紧凑设计, 在标准数据中心机柜就能进行部署。在2026年第二季度时, 公司给首批客户交付了样品, 其中有一家欧洲云服务商以及一家北美AI应用公司。TDN72推理舱的功耗被控制于行业平均水平以下, 但单机柜却可以处理数量众多的用户请求, 并不需要额外的冷却设备。

机架级系统收入潜力

那机架级的TDN系统, 得以每秒每用户1000 Token的速率, 去开展T级大语言模型的推理。而后公司借助模拟计算, 每年竟然能够为部署方额外创造高达3300万美元的收入。而这一收入源自推理任务加速之后所释放出来的计算资源, 那些企业能够利用这样的资源去处理更多的用户请求, 或者让服务器数量得以减少了。就像, 有一家拥有10万用户的AI客服平台, 在升级到TDN系统之后, 推理延迟从300毫秒降低到了50毫秒, 并且用户停留时间和转化率都显著提升了。

市场前景与差异化

英伟达的H200等, 以及AMD的MI300X属于TDN系统的竞争对手范畴, 然而TDN在能效方面, 以及单位成本推理量方面具备明显优势。公司打算于2026年第四季度着手大规模量产, 首批订单是从欧洲地区, 还有北美云厂商获取的。行业分析师表明, TDN系统的对数数学设计属于近十年来AI硬件领域极为重大的创新当中的一个。不过, 公司还得去证明其在多样化模型, 还有复杂任务情形下的稳定性, 当前测试主要聚焦于Llama和GPT类架构之上。

于末尾之际再问出这一个问题, 你认为那AI芯片, 从进行乘法运算转变为施行加法运算, 是否会演变成在之后未来五年时间之内的主流发展趋向呢, 欢迎给予点赞以及进行分享, 于评论区域处阐述一下你的相关看法。