1. 首页>>分享

英伟达重磅发布Rubin CPX,将大模型推理带入「百万Token时代」

【新智元导读】日前,英伟达郑重推出了面向大规模上下文人工智能的CUDA GPU——Rubin CPX,使得单次推理即可处理百万级别的Token,迈入了全新的发展阶段。NVIDIA的创始人兼首席执行官黄仁勋谈到,Vera Rubin平台将促进AI计算领域的最新发展,不仅会提供下一代Rubin GPU,还会创立一个全新的CPX处理器系列。

「百万Token怪兽」出世!

日前,NVIDIA发布了一款名为Rubin CPX的新GPU,该产品是专门针对海量数据推理任务而研发的,具有显著的创新性。

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿_刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿_

它的表现力,远超Vera Rubin NVL144系统平台,高出其两倍以上,并且比基于Blackwell Ultra的GB300 NVL72机架式系统还要高出七点五倍之多!

它拥有单个机架8 EFLOPS的NVFP4处理能力,配备100TB快速存储空间和1.7 PB/s的存储通道速率,并搭载128GB高性价比GDDR7显示存储器。

Rubin CPX的注意力机制处理能力,比NVIDIA GB300 NVL72系统强很多,达到了后者的三倍。

性能巨兽,在变现能力上更是不容小觑。

每投入1亿美元,最高可以带来50亿美元的Token收入!

Rubin CPX

开创CPX全新处理器类别

Rubin CPX是采用Rubin架构设计的产品,为处理海量上下文AI而研发的首款CUDA GPU,能够同时进行推理,分析涉及数百万个知识符号的模型。

Rubin CPX专门用来突破人工智能处理长文本的局限,堪称专门为此任务打造的利器。

这一新兴技术的问世,让人工智能在处理千万级符号单位推理任务时,实现了速度与效能的双重飞跃。

基于全新的NVIDIA Vera Rubin NVL144 CPX平台,Rubin CPX同NVIDIA Vera CPU和Rubin GPU高度配合,能够实现多阶段分析、持续存储记忆以及长时间情境理解,使它在处理软件工程、影像制造、前沿探索等复杂工作方面表现更为出色。

这也表明借助Rubin CPX的强大功能,人工智能编码将不再局限于基础代码制造,而是进化为能够掌握并改进庞大软件体系的精密机制。

它同样适用于处理长时间的视频内容,以及进行学术研究工作,对于数以百万计的符号处理,必须维持连贯性,并且具备记忆能力。

这些需求,都在逼近当前基础设施的极限。

NVIDIA的领导者黄仁勋透露,名为Vera Rubin的系统将促使人工智能运算技术迈向更高层次,同时会引出一个全新的CPX芯片系列。

RTX曾革新图形与物理AI领域,Rubin CPX则开创了专为海量上下文AI设计的CUDA GPU先河,该GPU的模型可以同时处理跨越数百万个Token的知识,实现高效推理。

Cursor、Runway以及Magic这些人工智能领域的先行者,当前正致力于发掘Rubin CPX在推动实际应用方面的潜力,寻找其带来的新机遇。

30-50倍ROI

重写推理经济

Rubin CPX借助独特推理技术革新,能为公司创造30至50倍投资回报,彻底改变推理成本效益。

大模型的推理,主要分为上下文和生成两个阶段。

它们对于基础设施的要求,也存在着本质性的差异。

在初期阶段,主要受限于计算能力,必须依靠高效率的处理方式,才能快速吸收并处理大量的输入信息,最终生成首个符号的回应。

在生成环节,核心瓶颈在于内存数据通路不畅,必须借助迅猛的内存读写操作和高效的网络连接(比如NVLink),才能保证每个处理单元的输出效果稳定。

解耦式推理能够使这两个阶段各自运作,这样就能更专门地改进计算能力和存储空间,增加处理量,减少响应时间,提高全部资源的利用效能。

_刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿_刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

然而,解耦式推理也引入了新的复杂程度,需要在快速KV缓存交互、针对大型模型感知的路由选择,以及优化内存运用等多个方面实现严密配合。

这一成就得益于NVIDIA Dynamo,该技术是各项功能的核心组织者,扮演着至关重要的角色。

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿__刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

Rubin CPX是为大型语言模型,特别是处理百万级Token长上下文场景而研发的专用加速设备。

Rubin CPX和NVIDIA Vera CPU,还有用于生成阶段处理的Rubin GPU,它们互相配合,构成了一套完整的高性能解耦式服务,专门应对长上下文场景。

CPX的问世,意味着解耦式推理架构获得了全新突破,同时确立了推理成本的新基准。

大规模应用中,NVIDIA Vera Rubin NVL144 CPX平台,能够实现30到50倍的资金增值比。

这相当于1亿的资金投入,能够产生最多50亿的价值回报。

百万Token怪兽

重新定义下一代AI应用

Vera Rubin NVL144 CPX平台,为企业打造新一代生成式AI应用开辟了新路径,显著提升了技术实现的可行性。

刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿__刚刚,英伟达祭出下一代GPU!狂飙百万token巨兽,投1亿爆赚50亿

NVIDIA Vera Rubin NVL144 CPX机架和托盘,安装有Rubin上下文GPU,也就是Rubin CPX,同时配有Rubin GPU以及Vera CPU

Rubin CPX、NVIDIA Vera CPU以及Rubin GPU,被整合到了全新的NVIDIA Vera Rubin NVL144 CPX系统之中。

NVIDIA的Vera Rubin NVL144 CPX平台运用了前沿的GPU构造,拥有卓越的计算性能与能源利用效率,能够借助MGX构造达成机架规模的布署。

1.算力跃升

NVIDIA MGX架构的系统,单个机架能够容纳144片Rubin CPX GPU、144片Rubin GPU以及36颗Vera CPU,其计算性能可以达到8 EFLOPS的NVFP4级别,同时在同一个机架中还配置了100TB容量的高速内存以及1.7 PB/s的内存传输速率。

2.长序列的高效处理优化

Rubin CPX特别适应了长序列的快速处理,它对于软件应用开发以及高清视频制作等高回报的应用场景至关重要。

3.显存升级

单个Rubin CPX GPU能够实现30 petaflops的NVFP4运算效能,其搭载了128GB的高性价比GDDR7显存,旨在快速处理极为复杂的上下文类任务。

4.注意力机制加速

Rubin CPX的注意力机制处理能力是NVIDIA GB300 NVL72系统的三倍,它大幅增强了模型处理更 lengthy 上下文序列的功能,并且运行速度没有变慢。

5.多种形态配置

Rubin CPX有多种形态可供选择,比如Vera Rubin NVL144 CPX,它还能与NVIDIA Quantum-X800 InfiniBand相接,以实现计算网络的横向拓展。

能够与采用NVIDIA Spectrum-XGS以太网技术及NVIDIA ConnectX®-9 SuperNICs™的NVIDIA Spectrum-X™以太网网络平台协同运作,用以达成大规模部署的目的。

Rubin CPX

拥抱NVIDIA全栈AI生态

生态学角度而言,Rubin CPX将全面获得NVIDIA AI整套解决方案的支持,具体涵盖以下方面:

NVIDIA Rubin CPX预计将于2026年底可用。

它的问世将赋予全球开发者和生产者更优越的性能,革新公司打造新一代人工智能产品的路径。

参考资料:

Nvidia Rubin CPX显著提升了在处理百万级token上下文任务时的推理速度,同时增强了运行效率。

英伟达发布了Rubin CPX,这是一种全新级别的显卡,专门用于处理庞大的情境推理任务,该产品具有突破性的性能,能够满足大规模数据处理的需求,为人工智能领域带来革新,其设计理念聚焦于提升计算效率,确保在复杂运算中保持高效稳定,这一创新将显著推动相关技术的进步,为用户带来更优的体验

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/278432.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息