凤凰网科技传出消息, 在7月28日这一天, 月之暗面（Moonshot AI）于昨日深夜做出举动, 宣布将Kimi K3模型权重予以开源, 同时发布技术报告, 并且同步开放了包括MoonEP、FlashKDA、AgentEnv这三项关键基础设施（Infra）的技术, 此次开放的内容涉及模型、训练方法以及底层训练系统, 开发者能够下载模型来进行部署以及二次开发, 而具体的使用范围需要遵循Kimi K3许可证。

Kimi K3采用混合专家（MoE）架构, 这在官方介绍里有显示, 其总参数规模达2.8万亿, 还具备原生视觉理解能力, 并且支持100万Token上下文窗口。和上一代Kimi K2.5相比, Kimi K3参数规模提升约3倍。月之暗面称, 在算力资源有限时, 借助Kimi Delta Attention、Attention Residuals以及MoonEP等技术, 其模型规模化效率提升约2.5倍。

还有Kimi K3技术报告, 它是与模型权重同步发布的。依据公开的内容, 报告把模型训练与架构设计的多项技术细节给披露出来了, 这里面涵盖KDA与Gated MLA混合注意力结构、Stable LatentMoE专家路由机制、MoonViT-V2视觉编码器训练方案, 还有模型后训练和评测方法。其一, 模型运用了这样一种设计, 即有着896个路由专家, 且每个Token会激活16个专家, 此为MoE设计, 并且该模型涵盖了针对多个能力方向的训练与评估, 像通用推理、Agent以及编程Agent等。

于模型自身之外, 月之暗面宣称开源对Kimi K3训练予以支撑的关键基础设施技术。当中, MoonEP是一套针对大规模MoE模型的高性能专家并行通信库, FlashKDA是Kimi Delta Attention对应的高性能计算算子, 官方数据表明, 其在英伟达H20上的Prefill速度相较于flash-linear-attention基线提高1.72至2.22倍, AgentEnv是月之暗面跟KVCache.ai合作研发的Agent沙箱系统, 能支持快速快照、恢复以及Fork等能力, 用途是大规模Agent训练环境。

月之暗面宣称, 这次开放的目的在于推进开放权重模型生态的进步, 期望借助开放模型、训练方式以及底层基础设施, 来降低模型部署以及开发的难度, 从而为AI社区以及相关研究供给更多能够重复利用的技术资源。