1. 首页>>分享

LongCat-Flash在大模型算术翻车,利息题能给正确答案?

引用的财务信息十分精确,分析内容大体契合业内对于阿里巴巴、美团和京东这三家外卖平台竞争的主流看法,LongCat-Flash的最终判断倾向于阿里巴巴,但并未给出太多创新性观点。

该图片疑似AI生成

图片

在涉及9.8至9.11这类大模型常会出错的基础数学问题上,LongCat-Flash也未能幸免于难。它迅速提供了答案,但答案显然是错误的。能够看出,该模型并未自行核实结果的正确性,更像只是凭直觉给出了回答。

图片

对于涉及利息这类具体情境的数学题目,LongCat-Flash能够提供更加详尽的分析过程和步骤,并且可以最终得出准确的结果。

图片

在涉及常识的情境里,我们运用LongCat-Flash,在没有启用网络查询功能时,阐述了白昼天空呈现蔚蓝色彩,而黄昏时分转变为赤红的原理。

LongCat-Flash的说明包含三个方面,既说明了白天和黄昏时天空呈现的色调,也指出了黎明时分色彩与之前的差异,所依据的学说精确,能够借助图表直观展示,并且还额外给出了可供查阅的科学读物。

图片

在编程领域,我们委托LongCat-Flash构建一个以龙猫为题材的休闲游戏,该模型能够在单个HTML页面中完成游戏开发,不过游戏规则制定得不够科学,使得趣味性不太突出。

图片

二、采用新颖MoE架构,给专家合作搭建“捷径”

技术文档里,美团介绍了LongCat-Flash在构造模型体系以及分步训练过程中的诸多信息。

LongCat-Flash运用了一种别致的MoE结构,这种结构是模型达成卓越推理速度的关键所在。

图片

这一架构的主要模块如下:

没有任何计算能力的专长人士

进行token预测时,不同token的计算需求有明显区别,复杂token(比如需要深入分析或背景信息不明确的)预测准确需要大量计算资源,而简单token(例如高频词汇或固定句式)预测时几乎不耗费多少算力。

LongCat-Flash具备一种灵活的动态算力调配方式,会将部分较为简单的token分配给无需运算的专家来处理,这些专家的运作模式是直接将接收到的数据原封不动地反馈回来,完全不进行任何运算,因此不会带来额外的计算负担。

每个token所牵涉的专家数量会随语境变化,模型据此能向关键token调配更多计算资源,对普通token则投入较少,由此在同等的计算资源限制下,能够取得更优的运作效果。

要使模型能够掌握依据情境变化调整计算任务分配的能力,需要对零计算角色的平均调用比例实施精确管理。否则,模型或许会过分倚重常规角色,而轻视零计算角色,进而造成资源运用效能不高。

LongCat-Flash为每位专家设置一个专家倾斜参数,依据其近期操作状况实时变更路径评分。该参数不干扰语言模型的核心训练任务,仅用于维护计算资源的均匀分配。此外,LongCat-Flash借助负载均衡管理,保障了MoE模型的高效训练过程。

这种连接方式MoE,称作捷径连接的MoE,简称为ScMoE

在大型多专家模型里,信息交互成本是关键制约因素。常规处理模式下,各专家单元的协同工作需遵循固定步骤:首先必须执行一次全范围的数据交换,把指令信息精确送达目标专家单元,之后才能启动运算过程。这种数据传输时滞会造成硬件资源使用效率降低,进而影响整个计算集群的处理效能。

专家体系结构借助通信与个人计算相结合的方式,试图减轻前面所述的困境,不过,因为个人计算的作用范围过于狭窄,所以所能达到的效能改善程度并不高。

为了打破这一瓶颈,美团研发了名为MoE的即时链接体系,在层级与层级之间增设了跨段的通道,调整了工作的先后次序。这种革新让前一段的密集运算得以和当下MoE段间的分配/合并信息交互同步进行,由此产生了比共同专家更长的同步区间。

检测表明,ScMoE和未ScMoE基准模型的训练损失曲线极为相似,表明此类重排不会削弱模型表现。

图片

ScMoE显著增强了运作效能,更宽裕的重叠区间让上一阶段运算能和当前MoE交互环节完全同步进行,从而优化了训练过程。在推演环节,ScMoE启动单一批次交叠流水线,令理论每单位输出耗时较头部模型(例如DeepSeek-V3)少了一半。

此外,它还能实现多种通信方式同步运作:单个节点内部采用张量并行传输(借助NVLink达成),多个节点之间运用专家并行传输(借助RDMA完成),这两种方式能够同时进行,不互相干扰,从而提升网络的整体效能。

3、可扩展的方差对齐设计

当系统规模不断增长时,部分在有限条件下运行效果出色的设计,可能会转变为不够理想的选择,进而造成整体运行效果的不稳定。经过实际测试和深入探讨,LongCat-Flash研究集体揭示,构成单元内部数据波动不一致的现象,是引发此类问题的根本原因。

他们为此设计了针对MLA(多头注意力)与MoE模块的方差匹配方案,运用了两个层级调节参数,并借助专家初始化的方差调整机制,旨在增强模型的扩展能力,确保运行稳定性。

三、模型从半规模版本扩展而来,Agent能力突出

LongCat-Flash在模型拓展和训练方法方面,建立了一个周密的可靠性与发展性体系。

LongCat-Flash团队没有直接在拥有数千亿参数的模型上不断进行错误尝试,而是运用了“从小到大”的技巧:首先在规模较小的模型中全面探索学习率、初始方差等参数,再借助根据理论推导得出的法则,将这些最优设置应用到大型模型上。这种做法既节省了大量的计算资源,又能确保超参数在大型模型中依然适用。

其次,在模型的开端阶段,团队借助“模型逐步扩大”的方法,使学习环节更为平稳。该团队首先培养了一个“半尺寸”的模型,等它达到稳定状态后,再将其变为整体的大模型,接着进行训练。

新的大型人工智能系统在启动阶段可能会经历短暂的起伏,不过它能够迅速达到稳定运行的水平,其整体性能远胜于毫无根据的初始设定方式。

为了加强训练环节的稳固性,LongCat-Flash增设了一套多方面的稳定机制。

在路由层级上,实现了对不同专家工作量的合理调配,防止部分专家过于忙碌,同时避免另一些专家长期无人问津。

在启动阶段,LongCat-Flash设立了类似保险管的装置,针对数值过高的激励信号施加适度限制,以此避免训练过程意外中断。

LongCat-Flash研究小组对Adam优化器的参数进行了深入校准,确保其在海量数据训练过程中数值依然稳定,通过三项协同措施,使模型在持续训练期间均能维持平稳状态,不会产生难以弥补的损失峰值。

该团队在提升工作稳定性方面,着重突出了成果的可重复性和失误的识别,这种严苛的准确性管理,既确保了实验结果能够被复制,又有助于迅速找出并确定所谓的“隐蔽数据故障”,防止错误在庞大的网络化系统中被忽视。

凭借这些构思,LongCat-Flash不仅可以在成千上万块加速设备上稳定执行训练任务,而且能够确保训练成效在预期范围内并且有保障,确实达成了在超大型模型上的稳固推广。

模型在训练过程中运用分步式架构。初期,借助两步式预训练资料整合,逐步增加分析驱动型资料——科学、技术、工程及数学领域知识,以及编程内容——的比重,以此打造出更适配后续优化的起始版本。

在接下来的训练阶段里,模型的上下文长度增加到了128k个符号,同时借助人造数据来提升其逻辑分析与代码编写水平。

在后续训练环节,LongCat-Flash小组为推理活动、编程工作和代理挑战各自准备了资料和策略,特别创建了多智能体联合运作模式,该模式从信息处置、工具运用难度、人机沟通效果等角度来制造复杂度高的挑战,目的是提升模型的智能体运用水平。

团队在训练基础设施方面实施了内核改进,规划了分布式并行方案,研制了监控与容错系统,确保模型在数万块加速单元上可靠运行。

该模型融合了计算与通信的统筹安排,采用了推测性解码技术,同时优化了KV缓存的使用,还改进了量化和调度方案,在推理环节达到了每秒处理超过100个token的效率,并且将费用限定在每百万token0.7美元(折合人民币大约5元)。

LongCat-Flash小组对模型进行了三十项基准测试,结果显示,Agent任务是该模型表现突出的部分,比DeepSeek-V3.1、Qwen3 MoE-2507和Kimi-K2等国产开源模型更有优势,不过,在编程、数学、推理这些领域,它仍需改进。

结语:主动进攻的美团,要打造AI原生产品

LongCat-Flash技术团队公开表示,这次开源的主要目的在于推动高效MoE架构、优质数据策略以及自主Agent模型的相关研究,同时希望借此机会促进社区在大型语言模型领域的创新工作。

财报沟通时,美团表明,当前正借助人工智能技术改进既有服务,同时研发全新的AI驱动应用,诸如智能管理工具、客户服务智能系统等。往后,美团在大型模型技术方面的推进情况,值得密切留意。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/278318.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息