位于芯片创新起始阶段的Tensordyne, 在周一的时候宣称, 预估它那全新形式展开推理作业的系统在订购总量累计汇总额度方面将会超出2亿美元。此家为人所认知的人工智能芯片处于起始创建时期的公司, 正把自身放置于一种定位状态, 即成为英伟达在处于快速拓展然而能源消耗程度却日益升高的市场领域里的径直对立面、与之形成挑战态势的存在。

其和博通合作开发的Tensordyne Napier芯片, 与HPE旗下的瞻博网络有关, 该芯片是由世界领先的芯片代工制造商台积电 (TSMC) 制造的。

有一家公司, 其总部处于加州桑尼维尔, 目的在于经由提升推理速度、电源效率以及机架密度, 来减轻人工智能基础设施的限制, 从而去应对生成式人工智能需求的急剧增长。

Marc Bolitho, 该公司的首席执行官, 宣称, 该产品打算在接下来的几个月当中正式予以发布, 这家刚刚创立的公司“获得了极为显著的关注”。

他讲, 我们已然收到了十几份意向书, 这些意向书请公司对我们的测试版系统进行评估, 预计在未来需求会超过2亿美元。

该公司宣称, 人工智能基础设施供应商Cirrascale以及BlueSky Compute, 还有大型科技企业和人工智能云服务供应方, 均对该系统展现出了兴趣。

于2017年成立的那家公司, 原本的名称是Recogni, 到了去年的时候, 它将名称变更为Tensordyne。这家公司, 已经从投资者那里, 这些投资者涵盖Celesta Capital、GreatPoint Ventures以及Juniper Networks , 筹集了大概1.76亿美元, 并且正筹备在今年晚些时候开展D轮融资。

从汽车到边缘AI

去年九月之际 , 致力于人工智能芯片的初创公司Recogni , 宣告更名为Tensordyne , 并且公布了些即将推出的数据中心人工智能产品细节。这家公司起初是做汽车边缘芯片制造的 , 其第一代产品已然投放到市场中。然而此时 , 它正在深入全面转型 , 变换方向从边缘市场转向数据中心高效的大规模LLM代币生成。

曾经担任Tensordyne联合创始人, 同时还身为首席产品官的RK Anand讲道, 电力对于那些装备有超大规模数据中心的, 新型云环境的, 以及任何拥有机架级AI硬件的用户而言, 都是一项关乎其使用体验和设备可用性的根本挑战性难题, 都面临着电力供应的稳定性、持续性等全面考量的问题。

他讲道, 能源会演变成全球人工智能进步的阻碍。推理的策略是把晶体管的尺寸变小 , 堆叠更多的HBM , 集成更多GPU , 可有个状况 , 功耗一直都在增加 , 这就是咱们整个行业所遭遇的挑战。于Tensordyne , 我们正从基础原理着手 , 思索如何让这些挑战能更轻易地被行业接收。

Tensordyne, 正运用, 自己全力探究搞出的, Recogni对数方案, 去处理, 这个问题。

Anand说, 人工智能本质上是数学, 任何突破性创新会源于数学, 若能将此问题在数学层加以解决, 便会层层递进, 惠及所有层面。

那位曾任Tensordyne人工智能以及产品联合创始人同时兼任副总裁职务的Gilles Backhus宣称, Tensordyne的对数数学能够把人工智能的成本予以降低, 降低幅度为3至10倍。

他说, 我们把它称作零阶缩放定律, 它跟你能够做出来的别的任一个设计决策都没有关联。

对于给定的工艺技术, 传统的16位浮点乘法运算, 要消耗1.1pJ的能量, 还要占用1640µm²的硅片面积, 而Tensordyne技术, 只需0.05pJ的能量, 就能完成, 只需67µm²的硅片面积, 能耗降低了22倍, 芯片面积缩小了25倍。Backhus表示, 如果把系统级能耗考虑进来, 整体效果可能达到10倍左右。

减少数字表示里的误差, 得通过切换到对 数运算来实现, 进而提高准确性。Backhus 称, 跟合作伙伴运行的视频生成 Transformer 展开的测试显示, Tensordyne 的运算结果事实上比原始算 法要好, 鉴于它让注意力矩阵拥有更高的动态范围。这项技术在数值范围较小的那一端维持住了数字分辨率；这些小数字积累起来, 令整体输出更准确。

该项方案之中, 还涵盖着动态自动微缩放这一功能, 这种功能会激活微缩, 使其达到矩阵里列的部分粒度级别, 这有点类似于英伟达的Transformer Engine。

Anand说道, 大幅削减硅片面积这件事, 除去成本因素之外, 必定还会引发别的方面的影响。要是相同计算量所需的那面积显著减小了的话, 那么在既定芯片尺寸的这种情况之下, 就会给SRAM留出更多的空间来, 进而会明确地对计算与内存的比率造成影响。

“A说, 有了更多SRAM, 计算引擎的持续运行就能得到保证, ”Anand表示 , “引擎运行正常, 利用率便会提高。”。

Tensordyne所从事研发工作的产品, 是基于台积电3纳米计算芯片而成的, 其装备有256MB SRAM, 还配备着144GB HBM3e。

这些芯片会被部署于风冷机架内, 且会采用任意互连的方式, 其由瞻博网络 (Juniper Networks) 予以支持, 每个芯片的单向互连带宽大概为 460 GB/s（双向互连带宽近乎 1 TB/s）。客户能够在单个域里连接 144 个芯片, 借此达成高至 TP144 的张量并行性, 或者去使用多个 MoE 专家。

Anand称, 总体来讲, 公司的目标是, 让Llama3.3 - 70B的每个机架每秒吞吐量实现300万个代币, 并且每个token的资本支出仅仅是Nvidia Blackwell一代机架的三分之一, 功耗只是八分之一，（Tensordyne的预期性能数据会依模型规模和复杂性的增长而提高）。他还进一步说明, 该方案在较为合理数量的并发用户情形下能够维持低延迟。

作为其软件工具链一部分, Tensordyne 的数学系统量化会得以自动化实现, 该公司还会把已转换模型的模型库增添至 HuggingFace 中。依据超大规模数据中心反馈, 该公司打算支持 Triton 做成前端。该公司的中间表示会完全展现到 Python 层, 为的是开发人员能够按需实施任意层次的控制。

吊打英伟达？

要是模拟结果是可信的, 那初创公司Tensordyne的新型AI芯片, 在能效这方面有望超过市场领导者英伟达, 在推理延迟这方面同样有望超过市场领导者英伟达。这家公司才刚刚提交了首款芯片的生产计划, 预计会在2027年下半年开始售卖包含72颗芯片的商用系统。Tensordyne宣称, 跟配备72颗芯片的英伟达GB300系统相比较, 其72颗芯片的系统运行大型LLM的速度是配备72颗芯片的英伟达GB300系统运行大型LLM速度的四倍, 然而功耗仅仅是配备72颗芯片的英伟达GB300系统功耗的五分之一。但是呢, 实实在在的系统一直要等到今年年终的时候方可实现投入运用的情况, 到了那个时候才能够去对这些数据进行检验证明。

Tensordyne公司的新芯片Napier效率极高, 其背后秘诀在于它进行矩阵乘法运算时所采用的方式, 矩阵乘法是人工智能的核心数学运算, 它利用了这样的实际情况: A乘以B的对数等同于A的对数加上B的对数。

Tensordyne创始人兼人工智能副总裁Gilles Backhus解释说, 我们将乘法器转变为了加法器, 他表明, 加法器相较于乘法电路, 在空间体积方面更小, 于能源效率层面更高, 所以, Napier能够在更小的面积里整合更多的计算能力, 并且还能够节约电力。

很早之前人们就知晓了这般的可能性, 可始终未曾拥有好的法子能够得以利用它, 缘由于对数跟描述神经网络的浮点数之间往复转换太过耗费时间精力, 并且还会引入过多的误差。然而依据巴克胡斯的讲述, 这种状况已然发生了改变。

他讲, 直至当前, 未曾有人如我们这般寻得达成线性至对数还有对数至线性转化的办法。而这恰好是整个问题的关键之处。我们的工程师已找到能够在硅芯片上极为优雅、极为精确且成本低廉地达成此转化的办法。

人工智能行业早就重视起了数字格式的重要性, 首席科学家是比尔·戴利, 他来自英伟达, 在2023年的IEEE Hot Chips大会上表明, 该公司GPU性能有显著提升, 这主要得归功于更短的数字格式, 以及这种格式所需的更小电路。

研究人员还在努力致力于开发那种使用别的数据格式来开展计算的电路, 像是好比对数的posit格式, 以及近期所开发的用于科学计算的takum格式。然而, 这些格式尚未有着主流应用, 主要原因在于它们的硬件实现跟传统的浮点运算有极大不同。

市场趋势, 其中涵盖人工智能代理的兴起, 这指的是推理, 也就是神经网络模型的执行方面, 其重要性正居于超越训练新的大型语言模型（LLM）这样的态势。成本以及响应速度等要素开始占据主要地位, 由此使得人工智能公司去寻觅更适宜这种趋势的系统架构。

Tensordyne的那些高管宣称, 他们事先察觉到了这种状况, 随后也针对他们所研发的计算机开展了与之对应的设计工作。

逻LL执行大致分成两个具体类别: 所谓预填充情况, 进而还有那种解码流程, 当处在预填充阶段的时候则尤其要知悉, 模型会去收取接收到的输入书写文本内容事项, 以此并努力把它转变成为词元, 也就是模型能够开展处理操作处理执行运算的基础单元, 与此同时还会构建起一个针对输入的工作记忆内容事物, 这个被叫做键值缓存, 可这算得上是一个计算量特别大的任务事项呀。

LLM生成输出词元（也就是针对输入的答案或者响应）的过程是解码, 每个新词元借助前一个词元和键值缓存来做预测, 解码过程因这种顺序执行的特性而比较缓慢, 而且它对内存以及网络延迟的依赖性要比对计算能力的依赖性高。

故而, 人工智能芯片制造厂商开启为构建能契合这两类纷繁不同需求之系统付诸切实行动。英伟达正全力以赴去推广一种系统, 此系统借助一整整架B300 GPU服务器机架用来预填充, 并凭借数架Groq 3处理器用以解码。亚马逊网络服务（AWS）却是把一架Trainium人工智能芯片拿来用于预填充, 且运用数架Cerebras晶圆级计算机进行解码。

特森卓代恩宣称, 其系统能够对于这两项任务予以同步处理。“我们当下正在同步开展优化工作, 以应对两个极为棘手的挑战, ”特森卓代恩首席产品官兼联合创始人RK·阿南德讲道, “我们乃是首家证实能够不依赖多家供应商以及多个机架就可完成这两项任务的企业。”。