不是哥们，DeepSeek要自己搞芯片？？？

情况是如此这般, 在之前的一段时期, 路透社传出消息称, 有着浓眉大眼模样的DeepSeek, 已然暗中开展了长达一年时间的AI芯片相关工作, 此刻正与芯片设计方面的厂商接触, 还与晶圆代工方面的厂商接触, 同时也和存储厂商进行着接触。

不过, 这个消息才出现没几天, OpenAI就将自身跟博通共同打造的Jalapeño芯片集群给拿出来了。然后, 同样就在这段时期, Anthropic也宣称要着手构建自己的芯片团队了。

不是你们每一个个体, 一方面极其疯狂地去购买英伟达的产能, 另一方面却还众口一词地公开宣称自己也要果断下场着手进行搞芯片这件事。难道黄仁勋售予他们的GPU就不具备那种美妙诱人的香味了吗?

经过一番研究我发现，还真是不香了。。。

而这一切都是因为：推理芯片。

这个被称作推理芯片的东西, 实际上也并非是什么新鲜词汇。在多年以前, 谷歌第一代TPU便已着手对推理展开研究, 前些年, 诸多致力于研究推理芯片的初创公司数量也颇为可观, 诸如Groq、Cerebras、SambaNova之类, 这些公司可以说是各自具备独特的本领。

然而 当前 众人眼下 会觉着非常陌生 此缘由 明晰可见 那便是 该行业 于前几年 长久以来 都保持着不算热烈也不算冷清 处于一种大厂根本不屑且全然不关切的范围内的这样子的态势。

随之问题便出现了, 前些年大型企业对此并不怎么在意上心, 然而今年却偏偏声称婉婉类卿, 为何突然之间大家都如同夏侯惇坐飞机一般, 一下子对其另眼相看了呢?

因为划不来啊。。。这事在当年还没谱。

大家都清楚, 大模型所属的行业发展速度极快，当下备受追捧、火爆异常的模型以及技术方向, 说不定再过两个月就会遭受冷落、无人关注了。今年崭露头角的OpenCLaw小龙虾究竟在何处大发其财我们全然不知, 更别提前些年的大模型厂商情况了。

毕竟那个时候, 旗帜鲜明地反对LLM的人可不再少数, 其中就有你小杨哥、扬·勒昆。而且, 至于大模型究竟能够走多远, 这一点谁也说不准。所以, 对于模型厂商们来讲, 更加不可能专门为了推理而去制造芯片了。

就是说英伟达的卡并非不能用, 训练的时候用起来效果也特别好, 没必要花时间去研究推理芯片闲得没事儿干。唯一专门搞推理的谷歌TPU, 一开始可不是给大模型准备的, 毕竟那个时候大模型还根本没出现。

但事情的转机，发生在两年前的这个时候。

2024年8月, Google DeepMind团队发表了一篇具有里程碑意义的论文, 而且他们发现, 只要将思考时间进行延长, 那么模型的正确率便会直接出现暴涨的情况。

9 月起始, OpenAI 的 o 系列便开启让原子弹实施爆炸那等行径了；步入新年之中, 像 DeepSeek - R1 等具备深度思考能力的模型又给予世界那番如同极具影响力的中国震撼般的情况了。

接着, 从去年起直至今年, 大家开始渐渐认识到, AI Agent、多Agent协作集群、几十万字的超长上下文分析, 已然变成了大模型落地工作的标配, 深度推理以及Agent这套技术路线, 基本上获得了整个行业的确认。

要是技术路线被好好确认了, 并且还得到进一步发展, 那么压力堪称大的, 除了前端那些兄弟之外, 另外还有GPU。

随意开启一个AI对话框, 于此处键入文字, AI便会回返文字, 这般看上去极为自然顺畅。

依照AI的角度来讲, 当你向AI传达“扮演一个猫娘”时, 它得先弄明白“这句话究竟表达了什么意思? ”, 此步骤就称作Prefill。待AI理解之后, 开启模仿猫娘说话并传递给你的进程, 这叫做Decode。

在Prefill阶段, AI需将一整句话拆解成一个个token, 之后分别去理解这些tokens的含义, 此过程跟AI的训练阶段是极为相似的。

模型怎么才能判断这些token的含义呢，这就涉及到了矩阵。

而纵观天下硬件，最适合算矩阵的算中之霸，就是GPU。

然而, 对于GPU而言, 在发送问题的Prefill阶段, 以及输出回答的Decode阶段, 其计算过程却是全然不相同的哟。

在Prefill阶段之时, 我们一次性供给了数据, GPU能够自行切分、所有核心一道并行计算, 此情此景着实惬意而令人舒坦。

借助下面图片里的简化公式去感受一番: 假定我们所输入的token需要一个具备4096个参数的矩阵, 一旦完成计算得出每从内存搬运1个字节的数据这种情况, GPU便能够凭借这笔数据展开上千次的运算操作哦。

但一进入Decode 阶段，形势就出了问题。

为大家所明白知晓, 当下现存的大模型一概都是属于自回归的类别, 推而广之说的话, 也就是说必须经由知悉上一个词语, 才能够依靠相关运算得出后续紧接着即将出现的为下一个词。鉴于此种缘由关系, 最初阶段设置为4096行的输入矩阵, 行至进入另一阶段即是具备解码功能的阶段时, 其行数会急剧下挫锐减, 最终会猛然降至仅仅只有1行这般之少。

依照相同的计算方式, 每搬运一个字节的数据时, GPU仅仅能算一回。

这下就坏菜了。。。

身处芯片内部, 两个数据相乘之际的能量消耗极为稀少。然而, 若要将一个数据从显存迁移至 GPU 之中, 所消耗的能量以及时间常常是前文所述前者的几十倍, 甚至可达上百倍之多。

如此一来, 若要将一颗芯片的算力充分发挥至极限, 理想之中的情形必定是, 把一份数据传送至核心区域之内, 紧接着在本地位置接连不断地进行几万次反复运算。最为应当规避的便是, 传送一份数据便运算一回, 待到下次需要使用之际再临时去进行数据传送。

于是乎在Decode阶段之际, 有一个大模型, 其具备70B参数, 以及140GB权重, 每当朝着用户输出一个Token, 那个芯片就得, 要把这140GB, 从中HBM显存全方位完整地将它读进来一遍才行, 继而后吐出一个字, 接着又得重新再读上这么一遍呢。

即便是采用了具备3 TB/s带宽的顶级显存条件下, 其输出速度每秒钟也仅仅只有21个token。

就是说, 我耗费了如此多的钱财才购置了显卡, 然而, 芯片竟然大部分时间都处于怔怔发呆的状态, 只是在等待数据能够顺利地传送过来, 这般情形, 这谁能忍受得了！

更为要命的是, 除了推理的时间变得更长之外, 鉴于需要记住前面几十万字的思考进程, 模型不得不将所有历史Token的特征全部缓存在显存当中, 每多进行一步思考, 那么在显存里需要搬运的数据量, 即KV Cache也会随之急剧增加。（这便是显存和内存纷纷涨价的原因所在）

显存先前处于还算够用的状况时，各个大的厂商乃是能够凭借单纯的软件方式来轻轻松松地稳住状态呢。

打个比方来说搞连续批处理, 也就是说会把几十个用户所发出的请求积攒起来, 进而摊薄搬运成本；另外还有梁圣的潜在多头注意力机制, 其做法是通过压缩KV Cache以此来减少GPU的搬运量。

但这些仅仅只是解决表面问题, 无法从根本上解决问题。GPU从本质上来说, 属于通用芯片, 并非推理芯片, 它原本就不是用来进行Decode的呀！

事实上, 谷歌于多年之前便已察觉出此问题。那时, 他们所想到的办法极为简单且粗暴, 鉴于通用GPU如此差劲, 那么, 我为何不去专门打造一颗仅用于推理的芯片呢?

因之, 首款 TPU从而问世了。其用以处理数据搬运难题的关键技术, 称作脉动阵列（Systolic Array）。

将芯片内部视作一座工厂, HBM 显存作为厂外的中央仓库, SRAM 是流水线旁边的小筐, 计算核心便是打螺丝的工位。普通的 GPU 运行矩阵运算, 恰似一名工人每拧动一颗螺丝, 就得返回显存仓库去取一个零件, 拧完之后再送回仓库。

谷歌所拥有的脉动阵列, 是将打螺丝这一过程予以转变从而成为流水线, 并且此流水线还是二维形式的。

他们将上万个用于乘法运算的计算单元, 也就是PE, 焊接成为一个方阵, 矩阵里的权重数据一旦进入流水线, 就如同接力棒那般, 在各个工位之间进行横向传递从而开展计算, 计算得出的结果接着依次传递到下一层进行计算。

因为数据是于相邻的核心之间直接进行传递的, 数据每当进入一次核心, 会在其中连续传递及复用几十甚至上百次, 完全不需要退回到外部显存, 根本就无需在中途再度对数据进行搬运。

所以, TPU的这一波具有杀伤力的策略, 也成为了谷歌能够摆脱英伟达掣肘的因素之一, 在Gemini2.5这个时期, 一秒的时间就能迅速恢复过来, 这是关键要点（当然, 目前Gemini已经表现不佳了）。

以前的时候, 技术路线尚未确定, TPU这种专门的方案, 在大模型方面, 并没有展现出太大的优势, 于是大家就继续去购买GPU。

而这时, 深度推理致使推理负载急剧增加, TPU的思路开始切实变得极具吸引力, 就连谷歌都着手将TPU特意划分出训练版与推理版。

就这样, 各大模型厂在这段时期纷纷有所觉悟: 到了该投入资金制作专用的推理芯片的时候了。

的确, 那些已经充分体验了英伟达施展卡脖子手段带来的令人窒息状况的大模型厂, 在这一回不会再有谁甘愿去充当被动接收的买家。 句号处的点可忽略, 实际以完整句子表述即可。

相较每年把七八十亿美元甚至更多数额的用于自动取款机相关业务的资金给予老黄, 你却还得去看人家的脸色行事, 要是有这笔钱用来培养一个芯片团队, 那所产生的花费简直就如同洒洒水一般微不足道。

然而要是真的自己动手去做了, 众人并非仅仅依照谷歌的TPU的路线去刻意模仿。毕竟模型都是自己公司所拥有的, 无论如何都必须亲自进行调试优化以及开展研发工作, 这样才能够寻觅得到最为适配的硬件呀！

就拿Anthropic来讲, 脉动阵列速度虽快, 然而大量繁杂事务却无法脉动回来。所以Anthropic不但打造脉动流水线, 还挑选和AWS在Trainium方面展开深度合作了 而另一方面A社自身也宣称要自主研发, 借助Claude模型运行的真实工艺流程数据, 逆向写入底层编译器。

不过是, 投奔英伟达的Groq。对于其而言, 一贯秉持典型的极端流水线逻辑, 持有这么种观点, 那便是，普通芯片对其本身来说, 花费大量精力在显存数据的搬弄行径上, 全然是一种无端之浪费。基于此, 毅然决然地, 将HBM显存予以裁撤, 随后, 把整颗芯片全部填充进SRAM, 这就好比, 把所有货物都放置于流水线近旁的小型的类似筐的容器之中, 进而得以随时取用, 十分便利。

相较于极端派, 国内的阿里却完全是相反的情况。要是底层架构被写死, 那等到大模型架构发生变化该怎么办呢? 于是他们决定去拼一下, 让众多灵活通用的标准加工岛, 一同去拼同一套缓存SRAM。

对于OpenAI而言, 要是讲先前几家都只是在生产线方面做努力, 在这种的状况下, 他们等同于将整个工业园区重新建造了一回。OpenAI的Jalapeno推理集群同博通展开合作, 把芯片、HBM、本地缓存、芯片间网络共同进行设计, 通过让特定用户的KV Cache记忆档案与特定的算力集群建立绑定关系以此来削减搬运。

于是这么瞧下来, 模型厂跟硬件厂之间便构建起了一种近似汽车行业的态势, 比如说谷歌好似比亚迪, 从TPU直至Gemini进行全栈式自主研发；OpenAI加上博通就如同吉利, 给出图纸以及需求致使能力最为强大的制造商去落实。

而Anthropic + 亚马逊 AWS就有点像鸿蒙智行。

英伟达、Groq依旧是那个售卖铲子的角色, 不管上层算法动向如何改变, 购买老黄的这套物品始终是最为稳妥的抉择。

最后再说说DeepSeek。

鉴于咱们当下所能查到的信息当中, 只有DeepSeek宣称要着手搞推理芯片, 然而具体究竟是以怎样的方式去搞, 目前为止还尚未有相关信息呈现出来。

然而, 在2025年的时候, 梁圣撰写过一篇文章, 明确点出下一代AI硬件所重中之重要去予以解决的问题里面, 就涵盖了像低精度计算、内存容量、计算效率、芯片间互联以及低延迟通信这些方面。再结合上DeepSeek模型自身所具备的特点, 咱们同样能够去进行一番脑补。

从设计方面来看, 大概率是依据模型适配的情况去设计芯片, 不过呢, 鉴于DeepSeek自身针对KV Cache进行了压缩, 还有MoE的相关技术, 或许会存在更大的内存容量, 然而却对算力进行了优化, 或者专门针对通信路由开展优化工作, 像是通过降低数据精度來进一步实施压缩, 进而留出专用的数据通路等情况。

终究当然是依据DeepSeek自身的技术论文作为标准, 咱们就不再过多赘言了。

到了最后来讲, 实际上大伙有可能会发觉, AI厂商在这一阶段进程里, 和英伟达的关联好像产生了某些细微的变动。

以往众人皆是促使AI模型去适配芯片, 拿到何种卡, 便剖析怎样切分模型, 压缩KV Cache, 调试通信, 简直急欲径直变为H200的形态。

只是当下, 并非所有的环节都必然得要GPU了。往后不再存在GPU厂商对AI厂商进行制约的情况, 而是AI厂商能够主动去挑选契合自身的软硬件, 以及上下游相配套的东西。

如此这般, 那般之后, 模型公司便无需再瞧硬件厂商的脸色去进行适配了, 翻身把歌唱这种情况属于是。

那么可想而知，以后在这条时间线上很有可能发生如下画面：

模型公司终于可以对芯片团队说，我的模型很大，你忍一下。