文 观察者网心智观察所

4月24日，DeepSeek正式发布了DeepSeek-V4系列预览版本，并且将其开源，这可是在V3.2之后的新一代旗舰模型体系。这极有可能意味着，从今年夏天起始，大模型赛道上最为热闹的话题，不再是参数更大的是谁，而是谁能够更具智慧地去花费算力。

彼时，各家厂商仍在围绕128K上下文窗口角力，而DeepSeek却悄然将赛道延伸至一百万token。

两款模型含于DeepSeek-V4系列之中，一款是V4-Pro，其总参数达1.6万亿，每次推理激活490亿，另一款是V4-Flash，总参数为2840亿，每次推理激活130亿，此二者均对一百万token上下文原生予以支持。更为关键之处在于，处于这个极端长度情形下，V4-Pro的推理计算量仅是上一代V3.2的27%，KV缓存占用仅仅为10%。也就是说，DeepSeek并非依靠堆砌算力来硬撑长上下文，而是凭借架构创新将成本降低了。

心智观察所认真地仔细阅读了这份长达58页的、具备一定完整性的技术报告，从中发现该报告所暗藏着的并非仅仅是几个崭新模块的名字，而是一套经过系统规划的、关于效率方面以及开源范畴和硬件生态领域的、有着全面架构的战略思考。

注意力机制的手术刀：CSA与HCA的精妙配合

为什么DeepSeek-V4在百万token上能够达成那般低的计算开销呢，这就得先弄明白传统注意力机制的痛点究竟处于何方。标准的Transformer注意力，每个token都需要和前面全部的token进行一次计算。上下文从8K拓展到1M，计算量并非仅仅是增长一百多倍那般容易，实则是呈平方级增长。这道数学题就摆在那里，任何模型都无法避开它。

在DeepSeek的求法当中，实则进行了两种压缩注意力机制的设计，随后使得它们轮流依次登场亮相。第一种称作压缩稀疏注意力，也就是CSA，它会先行将每4个token的KV缓存予以合并，使之成为1个压缩条目。接着，运用一个闪电索引器快速挑选出最为相关的少量压缩块。每个查询token仅仅需要和这些经过精心挑选的块进行注意力计算；第二种名为重度压缩注意力，即HCA，它的压缩率高达128倍，把大量token的信息浓缩成为极少的条目。虽说信息的粒度变粗了，然而好在覆盖范围宽广，能够捕捉全局性的语义线索。

存在着两种机制，有着颇为清晰的分工，CSA该对精准定位关键细节加以负责，HCA要对把握全局脉络予以掌管，一种仿若拿着放大镜寻线索的侦探，另一种好似站在山顶俯瞰全景的指挥官，两者在模型的各层交错进行部署，进而形成为互补。

数字表现出的效率提升程度十分惊人，若把主流的BF16 GQA8配置当作行业通用基准，在百万token场景里，V4系列的KV缓存占用量仅是该基准的约2%，这并非是百分比层面的优化，而是数量级方面的变动，对于那些需要处理长文档、多文件分析以及长链路Agent任务的应用场景而言，这意味着原本无法实现的事情变成了工程上能够落地的日常。

残差连接和优化器也动了大手术

架构层面的创新并非仅仅局限于注意力机制，DeepSeek-V4针对模型里两个看上去没什么特别之处但实则极为关键的基础组件进行了升级。

首先存在着残差连接，在传统Transformer当中，每一层得出的输出会跟输入进行一次简单的加法运算，而这便是残差连接，它所具备的好处是能让深层网络在训练方面变得更加容易，然而问题也恰恰在于它太过简单，其表达能力存在着局限；在此之前开展的超连接（Hyper - Connections）研究尝试着去扩展残差通道的宽度以此来增强表达力，不过在进行多层堆叠时总会出现数值爆炸的状况。

有着名为流形约束超连接的 DeepSeek-V4，也就是 mHC，找到了一个优雅的解决办法，此办法是将残差映射矩阵约束于一个称作双随机矩阵的数学流形之上，通俗而言，这就如同给信号传播添加了一个安全阀，该安全阀能确保信号在层间传递之际，既不会被无限放大，也不会被意外抵消，并且从根源处保证了训练的稳定性。

首先需要明确的是，这里所说的是优化器，V4系列的大部分参数，已然不再采用业界所普遍使用的AdamW，而是替换成了Muon优化器。Muon的核心操作是，针对梯度矩阵进行近似正交化处理，借助一种被称作Newton - Schulz迭代的数学方法，使得梯度的奇异值朝着趋近于1的方向发展。从直观层面去理解，即传统优化器针对每个参数独立地调整步长，然而Muon则会综合考量参数矩阵整体的结构信息，以此来确定更新的方向。实际测试所呈现出的效果是，收敛速度更快，训练过程更为稳定，特别是在万亿参数规模的MoE模型训练当中，其优势极为显著。

省下来的不只是电费

大模型商业化落地时，推理成本常常比训练成本更为关键，一个模型仅仅训练一次便可以，然而推理却需要执行千千万万次，DeepSeek - V4于推理效率方面的优化，直接影响的是每一次API调用的成本。

注意力层面，CSA和HCA带来计算量急剧下降，除此之外，V4在精度体系方面做了精细化工作。MoE专家权重运用FP4量化感知训练，索引器的QK路径整个过程以FP4进行计算，KV缓存采用混合精度存储：位置编码维度保留BF16以保证精度，其余维度压缩至FP8。这种针对不同部件精度敏感性的分别处置，表明团队对模型内部的信息流有着相当深入的认识，并非简单粗暴地进行全局降精度。

于MoE层的通信优化范畴内，V4给出了一套细粒度的专家波次调度办法。在传统做法里，通信以及计算是串行的，专家并行的效率遭到通信延迟的沉重拖累。V4的办法将专家划分成多个小波次，每个波次之中通信与计算高度并行，实测加速比达成1.5到1.73倍，在强化学习推理等极端场景下甚至接近于2倍。这一套办法已经当作MegaMoE开源公布。

更值得予以关注的，是磁盘KV缓存的设计。在如RAG以及多轮对话等存在大量复用相同前缀的场景当中，V4能够将经过压缩的KV条目存储于磁盘之上。当有新请求命中已有的前缀之时，直接从磁盘读取缓存，进而跳过整个前缀的预填充阶段。这对于商业部署而言，意义是非常直接的：用户侧首token延迟会大幅降低，服务成本也会随之下降。

编程与Agent：开源模型首次与闭源巨头正面交锋

基准测试给出的数字，有的时候会致使人们产生审美疲劳，然而，DeepSeek-V4于编程能力方面以及Agent能力方面所展现出的表现，是的确值得专门拿出来进行讲述的。

在Codeforces竞技编程评测那儿，V4 - Pro - Max取得了3206的评分，此评分高于GPT - 5.4的3168，也高于Claude Opus 4.6的3052。这属于开源模型于竞技编程领域头一回正面超过全部顶级闭源模型（像下面这张图显示的那样）。

Codeforces的评测办法是针对最近几个月全然新生的赛题在限定时间内解题，数据被污染的可能性十分低，这般成绩的含金量非常高。在LiveCodeBench-v6上面，V4-Pro-Max同样以93.5%的Pass@1处于首位。

就Agent能力这儿，V4 - Pro于SWE - Verified那儿达成了80.6%的解决率，跟Claude Opus 4.6的80.8%近乎难分高下。在涵盖大量工具以及MCP服务的Toolathlon评测里，V4 - Pro凭借51.8分位居首位，这表明它的工具调用能力并非在特定框架下调试出来的，而是拥有真实的泛化性。

就处于那块被当做AI智能最为极高水准所在之地的形式化数学推理这个范畴里，VN借助将非形式化推理以及形式化验证二者融会起来的那种混合管线布局方式，面向Putnam 2025整套总共120道题目都达成了满分的成果显现情形，如此成果态势在数学领地里引发了程度不算小的反响状况。

然而，报告还是坦率呈示了差距所处之地 ，于SimpleQA等知识密集型任务方面 ，V4 - Pro - Max的57.9%依旧落后于Gemini - 3.1 - Pro的75.6% ，在长上下文检索也就是MRCR上 ，V4 - Pro同样落后于Claude Opus 4.6 ，就如同下面这张图所显示的那样 ，而这些差距的存在反倒提升了报告的可信度。

V4在后面的训练阶段进行了一个有着相当大魄力的方法论切换，完全舍弃了传统的混合强化学习阶段，而是转而采用在策略蒸馏，也就是On - Policy Distillation，简称为OPD，将其作为整合多领域能力的核心手段。

首先，针对数学、代码、Agent、指令遵循这诸如此类彼此不同的各个垂直领域，要独立自主训练专家模型，每个这样经独立训练得出的专家模，要历经SFT强化学习这全方位涉及的完整流程以塑造与优化，最终在各自领域达成顶尖成绩，并发挥极为出色的水准。接着，选用达到十余个数量的此类专家模型充当教师模型，借助逆KL散度这种特定方式，针对全词表展开蒸馏操作，将所有这些专家模型所具备的能力，统一灌入到唯一特定的一个单个学生模型之中。

与传统的多任务混合强化学习对比，最优策略蒸馏的优势体现为梯度方差更低，训练更为稳定，并且规避了不同领域的奖励信号彼此干扰。这个方法论的深层意义或许比表面呈现的更为重大：未来的顶级通用模型，也许并非是一次性整体构建而成的，而是先各自进行专一训练然后再整合而成的成果。

CUDA之外的第二条路

心智观察所另外发现，MegaMoE内核在英伟达GPU这个平台之上完成了验证，同时也在华为昇腾NPU这个平台之上完成了验证的这件事。这一种用来进行表述是不存在随意略过的情况得以发生，其中它是代表着DeepSeek在底层算力的层面之上主动去构建成为双轨适配能力的战略方面的选择得以构成这种现象。在英伟达GPU出口管制不断持续收紧的背景的情形之下，对于昇腾生态的深度适配这一个方面具备着确定并明确的风险对冲方面的意义得以体现。

于CUDA生态之适配维度里，DeepSeek挑选了一条颇具远见卓识的技术路径。他们导入了自行研发的领域特定语言TileLang用以开展核心算子之开发。TileLang所具备的设计理念乃是于开发效能以及运行性能之间寻觅到平衡状态，与此同时借助在IR层面构建 device内核与宿主启动器，于某种程度上使算子实现与具体硬件后端达成解耦。这便表征着同一套算子逻辑能够相对较为轻易地转移至各异的计算平台之上。

比较深层的信号是，DeepSeek正系统地削减对英伟达专有软件栈的依赖，用DeepGEMM替换cuBLAS做矩阵乘法，借助TileLang打造自主可控的算子开发管线，凭借精细的通信计算重叠设计减轻对特定互连带宽的硬性需求，这一系列举措为未来往国产算力平台的大规模转移做了坚实的软件侧准备。

我们承认，当下大规模训练验证主要采用英伟达架构，而向昇腾或者寒武纪进行全面迁移，在工程方面存在较大挑战。然而，方向清晰明了，已有一定基础。在芯片限制背景下，软件层面的自主可控能力建设，或许比许多人设想的更为关键。

结语

DeepSeek做出在这个时间点发布V4的选择，其背后存在着清晰的技术逻辑，也有着竞争逻辑。

论技术积累而言，V4并非毫无根基凭空出世。CSA以及HCA的核心压缩思路，于V3系列的MLA机制里已然有相应铺垫，mHC源自具备外部论文验证的研究成果，Muon优化器在学术界也已得到充分探讨。V4的工作在于把这些经过独立验证的创新，整合至一个统一框架之中，并且达成百万token规模的工程化落地。这种系统集成能力本身就是一道极高的技术壁垒。

就竞争格局而言，到2026年年中的闭源阵营已然极为拥挤了：GPT - 5.4在推理任务方面展现出强劲的表现，Gemini - 3.1 - Pro在知识密度上占据领先地位，Claude Opus 4.6在长上下文检索以及复杂指令遵循这两方面具备优势。V4的突破之处在于，它凭借开源的形式，以及更低的推理成本，在编程竞技、Agent任务、企业级应用等诸多关键维度当中，达成了与闭源巨头的对齐甚至是超越。这种性价比方面的优势对于商业部署决策所产生的影响，要比单一榜单排名更具有实际意义。

还有一个容易被忽视的维度，V4具备百万token上下文的能力，从本质上来说，这是在为着下一阶段的测试时扩展，也就是test-time scaling这件事奠定基础，进行铺路。当推理链条能够延伸至数十万甚至上百万token的时候，模型在单次推理过程中所能达成的任务复杂度将会出现质的变化。这说不定才是DeepSeek切实正在谋划的那一盘很大的棋局。

存在这样一份技术报告，其中有一条清晰的主线，这条主线贯穿了所有技术决策：现在是参数规模竞赛越发趋于饱和的阶段，效率是能够起决定作用的、当下一代AI格局形成的核心变量。

并非在所有维度上，DeepSeek-V4都做到了最优，这一点，报告本身也坦然承认。它用一套开源、高效、可落地的方案，把百万token级别的上下文处理，从昂贵的闭源特权，变成了人人可用的基础设施。它代表的，不仅是一个模型的进步，更是整个开源AI生态，向效率优先范式转型的信号。

对于开发者而言，对于企业用户而言，对于整个AI行业而言，这个信号十分明确，即：能够以更少算力达成更多事情的一方，便能够于下一轮竞争当中抢占先机，效率正演变成新的规模。