智东西在10月15日做了报道, 就在刚刚过去的那个时间点, 有一款大模型正式开源了。这个模型非常厉害, 它刚刚登上过OpenRouter Token全球使用量周榜的第二名。
阶跃星辰这家公司, 现在已经正式把Step 5 Preview这个模型所对应的那些权重给开放出来了, 然后呢, 关于BF16以及FP8这两个具体的版本, 也是同时上线到了HuggingFace和ModelScope这两个平台上面去的。
这是Hugging Face。https://huggingface.co/stepfun-ai/Step-5-Preview
这是一个关于ModelScope的标题或者开头部分。https://modelscope.cn/models/stepfun-ai/Step-5-Preview
Step 5预览版采用的是稀疏MoE架构, 它的总参数量达到了600B, 其中被激活的参数只有27B, 同时它还支持100万Token这样的上下文窗口规模。
在Artificial Analysis发布的Intelligence Index榜单评分是44分, 这个成绩让它在全球开源模型里面排到了前三名的位置。
在正式发布之后, 这个模型很快就进入了全球的 developers 的眼中。
一直到2026年10月15日为止, Step 5 Preview的Token用量情况是这样的, 也就是在开放模型平台OpenRouter的那个周排行榜里面, 还有那个日排行榜里面, 它都排在第二位的位置上, 而且在最近这几天的用量合计起来大概在18.8万亿Token这么个数量级。
这个情况是根据Step 5 Preview发布之后的Artificial Analysis评测数据来说明的, 其中单任务平均成本仅为Claude Opus 5的大约八分之一。
具体来看, 前者的单次总开销是0.71美元, 折合成人民币的话大概是4.75元左右。而后者的花费则为5.86美元, 相当于39.22元人民币上下。
关于基准测试的情况, 根据阶跃团队所公布的消息来看, Step 5 Preview这一模型, 无论是在公开场合的评估里面, 还是在内部的评估环节当中, 都表现出了相对而言比较均衡的综合能力, 这种表现主要是在一些具体的基准测试项目里体现出来的, 这些项目包括了非常复杂的软件工程相关任务, 比如那种需要有长程规划能力的任务, 还涵盖了需要专业知识的工作场景, 以及金融领域的各类测试场景。
在Agents’ Last Exam里面的CLl子集ALE-CLI上, 表现要好过Kimi K3以及GLM-5.3。在金融投资研究的评测项目FrontierFinance上面, 同样也是比Kimi K3和GLM-5.3要好。
还有那个跨领域的深度研究评测DRACO中, 成果也是优于Kimi K3, 也能胜过GLM-5.3。但是整体排名来说, 成绩只是排在GPT-6 Astra的后面, 或者是低于Claude Opus 5的水平。
第五步预览版本在排行榜单以及实际的应用场景当中所呈现出来的种种表现状况, 确实让人心中生出了一些好奇的情绪。也就是对于该模型背后的技术层面是否存在一些不一样的设计安排这一点感到非常疑惑。
接下来本人对自己进行了一个深入的挖掘行动。具体来说就是对该模型官方发布的技术博客文章进行了仔细且全面的阅读。通过这样的方式去努力实现一个目标。那就是期望从中可以找到能够解释上述疑问的答案内容。。
一、92层窄深架构，从架构层面提高计算效率
在第五步预览环节当中, 模型是由九十二个Transformer模块直接堆叠构建起来的。这个模型的深度是和Qwen 3.8 Max、Kimi K3这类拥有万亿参数规模的开源大模型属于同一个级别。不过它的总体参数量是连这些模型的1/4都要不足的, 而其实际参与计算的激活参数量甚至不到其1/3。
为什么深度这么重要?
在阶跃星辰给出的解释里面, 是说在面对智能体任务的时候, 模型就必须不断地去调用外部工具, 而且每次调用的这个行为都有可能会产生出非常多的新文本内容, 正因为要考虑到Token效率这个问题, 所以模型它未必就一定会有机会去通过那种显式的思维链的方式来进行非常充分的推理活动, 这样的话, 模型就不得不更加地去依赖于自己在读取上下文信息时所使用到的隐式推理能力了。
在Transformer这个模型里面, 信息是按照token那个时间的方向还有网络的深度那样一层一层地慢慢传播过去的。
要是这一层的数量不够的话, 那些需要通过多次跳跃才能联系起来的依赖关系的信息, 可能还没有完成传递这个过程就把网络的深度给用尽了, 所以在处理长文本的时候, 那种复杂的推理任务可能就没法被完成了。
在业内还有一条技术路线通过循环或是递归结构来增加等效深度, 而阶跃星辰采取了更为直接的手段, 也就是增加网络的层数以及控制网络的宽度。
这套被说成是, “窄而深”的设计, 一方面, 是用来给多跳推理这个东西, 提供一条更长的, 信息传递的路径, 另一方面, 也是为了去控制那个参数的规模, 还有响应计算的那个开销在里头, 就这样子, 才让模型能够获得, 跟那个万亿级的模型相当的, 那种长程任务能力。
在注意力机制的配置这个方面, Step 5 Preview这一步骤里面是怎么弄的? 它把那两类注意力层给交错布置了, 具体是什么交错? 是按3比1的这个比例来的。那这两类里头有3/4的比例是那个啥高效的Gated滑动窗口注意力层, 还有剩下的1/4是什么? 剩下这1/4是稀疏全注意力层。
阶跃星辰表示, 其实这个团队经过对比很多种线性注意力的方法之后, 发现它们各自之间的性能差距确实非常小。不过, 滑动窗口的注意力结构要简单得多, 而且它对投机解码这一过程的支持也要更好一些。
二、我们采用Sparse GQA这个方法, 给注意力计算进行瘦身, 从而把百万token这样的大上下文处理起来更轻松。
因为那个模型它已经有了一条更深一点的能够进行推理的路径, 所以按照步骤来说, 现在所要做的事情就是去对那种由于产生了上下文从而所带来的在计算注意力时候所产生的花费和开销情况进行控制。
当上下文的长度达到100万token的时候, 全注意力层会成为训练和推理共同的效率瓶颈。
阶跃星辰提出的解决办法是, 在完整的注意力路径当中应用一种叫做
这个想法不是阶跃第一个提出来的, 在这个事情方面, 之前DeepSeek的DSA等等工作呢, 都已经做过了类似的探索。
阶跃星辰他们说, 在实际部署的时候, 确实是需要跨越那么三道坎儿的第一道坎, 是那个筛选器本身的开销问题, 第二道坎, 是筛选完了之后, 那些碎片化的计算在GPU里面的利用率怎么样, 这第三道坎, 就是那个筛选精度和数据读取量之间, 他们得好好权衡一下。
从整体情况来看, GQA结构跟MQA（也就是Multi-Query Attention, 多查询注意力）, 还有MLA（也就是Multi-Head Latent Attention, 多头潜在注意力）这两个结构比起来, GQA实际上会更明显地放大这三重矛盾。
之所以团队会选择用GQA这个结构, 主要原因就是该结构在实验当中表现出的长上下文精度更加好一些, 同时它也更加利于实现多GPU并行推理。
稀疏GQA示意图1
可是, 那三重矛盾的情况也是没办法不去重视的, 为了要把这个事儿给弄明白、给解决了, 阶跃这家公司那边就给出了一个叫作Sparse GQA的一个特别具体的方案和办法:
把那些相邻的历史位置给压缩在一起, 弄成一个一个的“块”, 这样做是用来降低筛选器成本的, 这里的块大小设定为8, 于是, 筛选环节还有选择环节里的成本, 因此就变得只有所在成本的八分之一那么少了。
利用相邻token语义相近、筛选结果高度重叠的特点, 对相邻token的筛选结果取并集、合并计算, 以改善GPU利用率。
经过反复的试验之后, 最后确定了那个具体的配置情况, 这个配置的情况就是每次用每8个token放在一起作为一组, 并且总共筛选的token的数量是4096个。
然后的话会出现这样的一种结果, 文本越长的话, 这套方案能够节约计算资源的数量就会越多。而且信息覆盖的这个率和那种相比之下更加精细的参考方案相比, 几乎是一样的状态, 这里给出的数据对比结果显示为78.06%和79.09%之间这样的对比关系。
这个基于稀疏的技术机制是这样运行的, 筛选器模块会把那些被多路共享的索引键数据进行处理, 把它们压缩成了块状的结构形式, 随后对于每一个包含K与V信息的分组来说, 它们各自去独立地挑出那些和历史阶段相关的数据区块, 这样一来主控的计算通路就只能去读取那些被挑选出来的原始K值以及原始的V值, 还有当前这个区块内部所允许看到的位置信息。
换一种说法来讲, 模型会先是粗略地挑选出来相关的章节内容, 然后才会去进行对原文的精细阅读这一操作, 正是因为这样的一种做法, 所以才有效避免了对于达到百万级别数量的token来进行那种全量计算的注意力机制时所产生出来的非常大的开销问题。
稀疏GQA示意图2
三、用三层手段压住数值爆炸与梯度尖峰，实现更稳定的训练
前面提到的那两个步骤, 它们分别把注意力集中到了模型的推理路径问题以及长上下文计算所带来的开销问题上, 然而这些设计想要真正实现落地应用的话, 最终还是离不开一个前提条件, 也就是必须得保证整个训练过程能够做到足够稳定的地步才行。
在训练的过程中, 阶跃星辰这个模型所面临的主要困难之一, 是指由于某些原因导致的数值发生爆炸现象, 以及梯度的数值出现突然变得极其巨大的尖峰状况。
在进行训练的过程之中, 有一些数值会出现突然间就失去控制的表现。这种情况如果轻一点呢, 会拖慢推进的进度；如果重一点的话, 则会让以前进行的训练成果全部作废为零。该团队在采用FP8低精度训练框架的这样一种环境下, 针对上述情况明确地提出了三项具体的应对手段:
第一项它的作用是把隐藏状态转成FP32精度。
低精度训练速度快、成本低, 但是, 模型加深之后, 少数取值极大的数据点会在低精度格式下面临迅速失控的问题。在改用高精度存储这部分数据后, 极端值下降了将近十倍。额外影响, 对成本来说并不大。
第二项就是要把归一化层的缩放因子给转换成FP32的形式。
这个模型里的归一化层用的是零中心RMSNorm, 那个用于调节的参数要是被存成低精度格式的话, 数值一旦正好卡在那个关键的阈值点上, 就会导致某个负责计算的通道不停地反复开启和关闭, 进而引发输出结果上下波动、出现震荡的现象。
后来把这种参数改成用高精度格式来保存了, 输出数据震荡的那个毛病就得到非常明显的改善。
第三项是那种叫做细粒度梯度钳制的做法。
团队观察到那个梯度尖峰的情况, 他们发现这个情况并不是来源于数据的噪声部分, 也并不是来源于输出的那个层级, 它其实是起始于中间的那一些层里面, 接着在几个层的范围之内, 它被放大了好几个数量级那么多, 然后数据出现重复这种现象似乎也在其中起到了推波助澜的作用, 它的产生原因很有可能是和那一些层级之间存在着冗余有着关系, 这种冗余在反向传播进行的时候对某一个特定的信号进行了反复的放大, 从而导致了上述现象的出现。
因为那个异常梯度的情况, 它出现得非常少, 比较稀疏。所以团队的做法是, 针对每一层的梯度数据, 从里面选出特别小的一部分数据进行限制。这一部分的占比数值是0.00004%。通过这样的处理来抑制尖峰现象。最后的结果能让训练收敛曲线变得更加平滑。
细粒度梯度钳制之前（蓝色）和之后（橙色）的LLM损失比较
结语：从架构优化到开放部署，模型能力走向真实任务
回看Step 5 Preview的技术设计, 从92层窄深架构起步, 然后到Sparse GQA, 再到深层网络的训练稳定性优化, 这些选择分别对应着模型推理、长上下文处理和训练工程中的不同问题。它们并不是某一项单点技术的突破, 而是一系列围绕模型能力与实际运行效率展开的设计取舍。
把视线放到现在的大模型行业里面去, 参数规模的大小、还有在各类排行榜上拿到的分数这些东西, 仅仅只是进入这个行业的最基本的门槛条件。
一个模型想要真正具备价值, 它必须能够承受得起开发人员无休止的反复调试工作, 同时也必须方便企业进行大规模的安装部署, 并且能够毫无障碍地融入并接入到实际运行的业务流程当中去, 只有这样做了之后, 它的底层能力才能够在实际的商业环境里转化成为可以被清晰观察到的生产效率。
在第五个预览步骤里推进落地工作, 这条任务是从两条不一样的路径来完成的。对于搞开发的人员来说, 官方会放出 BF16 以及 FP8 这两种精度的权重数据, 并且会同时上线 Hugging Face 与 ModelScope 这两个平台。
而对于普通的用户来讲, 模型会被接入到腾讯 WorkBuddy 里面去, 并且对外开放为期两周的免费试用机会。
采取了并行的方式去运行那两条渠道, 这也就使得阶跃星辰这家公司所能够覆盖到的那些人群的范畴, 从原本的那些专注于Agent开发的程序员群体, 进一步地向那些在进行办公场景下使用的普通用户群体, 以及那些存在着需要在本地环境中去进行部署操作需求的软件研发人员群体进行了延伸与扩展。
针对Step 5 Preview这一阶段而言, 模型权重对外公开这件事情, 同时也意味着那些技术方面的一些设计方案, 将会接受来自更加真实的部署环境以及复杂任务等方面的严格检验, 另外这一点也给了阶跃这家公司在架构设计还有训练模式上的那些技术探索活动, 一个有机会能够被引入到更广泛的实际应用场合当中去的一个契机。
模型能力的竞争这事儿还在接着往下进行, 可是现在大家比的早就没有单单只是模型本身这个方面了。那么, 怎么才能让那些特别前沿的模型里的能力确实能够走到实际应用中应用起来呢, 这个事情说不定就是下一阶段大模型竞争中更需要被大家重点关注和在意的问题所在之处。
本文采摘于网络，不代表本站立场，转载联系作者并注明出处：https://mjgaz.cn/fenxiang/280962.html
