来源：内容编译自hpcwire。

目前，Nvidia 的竞争者众多。其中一家是韩国的芯片新兴企业 FuriosaAI，该公司因其与众不同的张量收缩处理器技术，即 TCP 半导体构造而引人注目，该构造是该公司推出的 RNGD AI 加速设备的根基。FuriosaAI 的最高负责人向 HPCwire 说明，企业意图借助 TCP 的精良构造来增强人工智能作业表现，以此获得领先地位。

FuriosaAI 是由前三星和 AMD 工程师 June Paik 于 2017 年在首尔建立的，他预见到用于执行深度学习任务的专用芯片市场即将发展。2021 年，该公司发布了它的首款神经处理单元，该单元由三星生产，并运用了 14 纳米技术制造。该芯片在 MLPerf 基准测试中的优异成果让客户非常激动，例如韩国的云计算企业 Kakao，这家公司已经把芯片应用于计算机视觉 AI 领域。

Paik 总经理于 2021 年注意到了 OpenAI 在大型语言技术领域的成就，他们运用 GPT-3 实现了突破，因此他的团队随即启动了一项为期三年的科研计划，旨在研制出公司第二代的处理单元 RNGD，这款设备专门为生成式人工智能和语言处理而设计。RNGD 是由台积电运用 5 纳米技术打造的，现阶段它正在把样机交给客户手里。

每张 RNGD 卡内置 48GB HBM3 显存，显存带宽达到每秒 1.5 TB，能够实现 512 TFLOPS 的 FP8 计算能力，功耗峰值不超过 180 瓦。Paik 表示，他的 PCIe 卡集合了性能卓越、能耗合理以及高度可编程等多项优点，这些正是客户以往难以通过 GPU 方式达成的目标。

公司正倾力于第三代设计，它计划推出基于 RNGD 卡的整套系统，比如 NXT RNGD 服务器。上周，FuriosaAI 公布了关于其 NXT RNGD 服务器的升级信息，该服务器将安装八块 RNGD 显卡，由此带来的内存总量达到 384 GB，内存传输速率可达到每秒 12 TB，同时其热设计功耗被设定为 3 kW，能实现每秒 4 petaFLOPS 的 FP8 计算能力。

FuriosaAI强调，它的RNGD卡以及整体系统，同传统的GPU和基于GPU的系统相比，展现出更优越的性能表现。Nvidia 在 2022 年发布的 H100 显卡并非该公司当前最先进的图形处理器，这种产品经常被应用于人工智能的推理过程，而人工智能推理正是 FuriosaAI RNGD 与 NXT RNGD 服务器所瞄准的业务领域。

Nvidia H100 拥有 80GB HBM2 显存，其显存带宽可以达到每秒 2TB。这款产品的峰值性能为 1513 TFLOPS。PCIe 版本的功耗设计为 350 瓦。而采用 Nvidia 特有插槽扩展模块 (SXM) 的版本，其功耗则能达到 700 瓦。

据 FuriosaAI 表示，在处理大型语言模型方面，RNGD 的效率是 Nvidia 的三倍，并且其每瓦性能表现也更为出色。

Paik 指出，核心在于快速地提供强大功能。要达成高性能和节能效果，不仅需要从头设计芯片和相关设备，还要从无到有构建软件系统及编译工具。

核心突破体现在底层设施上，这种设施同常规 GPU 的构造方式大相径庭，并且自始至终同我们的编译系统与软件体系相辅相成，Paik 表示。他们并非借助 GPU 的矩阵运算（一种基础二维操作），而是选用张量聚合作为核心构建手段。张量聚合是深度学习领域固有的高级表述方式。

FuriosaAI 的首席技术官韩俊在六月份的一篇文章中提到，张量收缩处理器架构的精妙之处在于，它致力于尽可能降低数据传输的量，以此来优化性能表现。

Kim 表示：数据从内存传输到处理器，与直接进行计算相比，所耗费的能源大得多，有时甚至高达一万倍之多，这适用于所有芯片类型，包括中央处理器、图形处理器以及我们的传输控制协议设计。

这表明，为了高效地完成人工智能算法，芯片需要借助片上存储器里已有的数据，尽可能降低数据传输的频率。当数据能够被分解成可预见、可循环的格式或单元时，它们往往可以反复利用，比如通过运用同一个权重矩阵，去计算多个不同输入的对应值。

白峰指出，TCP 的设计提升了概念层次，因此能够帮助突破传统图形处理器构造里，数据传送低效的根本性瓶颈。

Paik 说明 RNGD 的设计目标在于降低能耗，其内部构造运用电路交换抽取网络，目的是确保数据访问灵活且高效，进而达成计算单元间的大规模数据共享，这种做法能大幅降低对外部存储的调用，显著提升资源利用效率，并且保障了性能的可预见性。

工程师借助 PyTorch 的本地即时编译功能，能够与 FuriosaAI 进行协作。该企业开放了适配 OpenAI 接口的 API，旨在实现模型的部署及运维，同时透露其兼容 Kubernetes，并且是开源 vLLM 架构的理想替换方案。白峰说明：针对那些需要极小延迟的特定用户群体，我们设立了一种基础接口，使程序员能够直接在我们设备上改进他们的专属算法。

FuriosaAI透露，其每瓦性能的领先优势吸引了众多客户使用，LG AI Research就是其中之一，该机构在其EXAONE AI模型上验证了这种卡片的性能。测试团队发现，与以往的GPU方案相比，RNGD能够使每个机架的tokens处理量提升大约3.5倍。

白峰表示：多数数据中心机架的功率上限为15千瓦，因此我们研发的低能耗技术是一项重大创新。客户现在能在常规机架部署更强悍的计算性能，同高能耗H100 GPU服务器对比，每个机架能承载的token总量会提升大约三倍半。这种杰出的密集程度和效能能够直接转变为明显的开支削减，以及更低的综合使用费用。

还有一家机构对 RNGD 进行了测试，那就是韩国的 OpenAI 团队。OpenAI 的 Danial Mirza 表示，他对最近的测试结果表示满意。Mirza 在 LinkedIn 上发布的一篇文章中写道，能够和 FuriosaAI 富有才智的团队一起合作，将这次演示变为现实，他感到非常荣幸。在首尔新址的落成典礼上，我们演示了 gpt-oss 120B 模型，该模型通过 Furiosa 旗舰 RNGD 加速器实现实时运算，这表明我们的模型首次在韩国制造的芯片上成功运行，这是一个具有里程碑意义的成就，它证明了世界顶尖的人工智能技术与世界一流的硬件创新相结合所能产生的非凡效果。

这家企业的行动吸引了云服务行业领导者的注意，据《福布斯》杂志披露，Facebook的母公司Meta在最近曾经透露出想要购买FuriosaAI的意愿，不过这家位于圣克拉拉的企业最后选择了独立发展，并且在七月末期成功募集了1.25亿美元的三期过桥资金，让累计获得的资金总额增长到了2.46亿美元。

FuriosaAI 也开展了一些人员招募工作，其中，聘请了韩国科学技术院(KAIST ) 的并行系统专家 Jeehoon Kang 担任首席研究官，负责领导编译器和软件研究工作。另外，该公司还聘请了硅片和 SoC 专家 Youngjin Cho，他曾任三星公司副总裁，目前担任硬件副总裁，将负责推动公司的芯片开发进程。

Paik 向我们表明，现阶段他们致力于与全球少数关键的战略伙伴完成最终的设计方案，产量方面并非首要目标；今年夏天成功募集了1.25亿美元的过渡性资金之后，他们正在提升RNGD的批量生产效能，目的是在2026年初提升全球客户的合作范围。

参考链接

这家韩国芯片公司迅速崛起，专注于研发高性能处理器，其目标直指英伟达的图形处理器市场，通过采用独特的张量收缩架构技术，展现出强大的竞争力，力求在AI领域占据一席之地