小米大模型 MiLM2 实现升级迭代，参数矩阵丰富，云边端结合-模具钢网

IT之家 11 月 12 日报道，小米 MiLM 大模型于去年 8 月首次出现在 C-Eval 和 CMMLU 大模型评测名单中，并于今年 5 月通过了大模型注册。相关车型正逐步在小米汽车上使用。、手机、智能家居等产品。

今天，小米正式宣布大机型实现了从一代到二代（MiLM2）的升级迭代。

据介绍，本次迭代不仅扩大了训练数据规模、提升了数据质量，还进一步完善了训练策略和微调机制，增强了技术实力，全面升级了支撑部署技术。 IT之家从小米的公告中获悉，小米第二代大语言模型的几大升级有：

第二代大语言模型丰富了模型的参数矩阵，参数规模同时向下和向上扩展，实现云边融合，参数规模最小0.3B，最大30B；

与第一代模型相比，第二代大语言模型在10大能力维度平均提升超过45%。其中，智能助手的指令跟随、翻译、聊天等关键能力表现处于行业前列；

第二代大语言模型在客户端部署支持大小模型推测、BiTA、Medusa 3种推理加速方案。与行业标准高通方案相比，自主研发的量化方案减少了78%的量化损失；

第二代大语言模型支持的最长窗口为200k（第一代为4k）。在长文本评测中，效果处于“行业领先优势”。

二代效果全方面提升

小米大模型团队利用自建的通用能力评估集Mi-LLMBM2.0对最新一代MiLM2模型进行了全面评估。

评估集覆盖广泛的应用场景，包括生成、头脑风暴、对话、问答、重写、总结、分类、提取、代码处理、安全回复等10大类，共170个细分测试项目。

以MiLM2-1.3B模型和MiLM2-6B模型为例，与去年发布的第一代模型相比，前十项能力的效果得到了大幅提升，平均提升超过45%。

小米的“人、车、家全生态”战略旨在打造覆盖人、车、家等多样化生活场景的超智能生态系统，对大数据的生成、聊天、翻译等提出了更高的要求。模型。就这些关键能力而言，MiLM2-6B模型的评测结果据称“与业界同参数规模的模型相比具有更好的结果”。

MiLM2模型矩阵云边端一体化

在轻量级部署的总原则下，小米自研大模型团队考虑了集团内部多元化的业务场景以及不同实施场景的资源约束，构建并不断扩展自研大模型的模型矩阵，结合大模型参数尺度扩大为0.3B、0.7B、1.3B、2.4B、4B、6B、13B、30B等多个级别，以适应不同的需求场景。

0.3B~6B：终端（设备上）场景。应用程序通常是一项非常具体且低成本的任务。提供不同参数大小的型号，以适应不同芯片和存储空间的终端设备。经过微调，可以实现百亿参数以内的开源模型效果。

6B、13B：当任务明确并且需要比6B以下的参数模型更多的零样本零样本/上下文学习时，6B和13B是一个起点，可能具有LLM涌现能力并支持多任务微调。经过微调，可以达到百亿级开源模型的效果。

30B：云场景，具有相当扎实的零样本/上下文学习或一定的泛化能力，良好的模型推理能力，能够完成复杂的多任务，基本达到一般大型模型的水平。

小米自主研发的大模型矩阵不仅包含多种参数量级，还融入了多种模型结构。在第二代模型系列中，大模型团队特别增加了两款MoE（Mixture of Experts）结构的模型：

米LM2-0.7B×8

米LM2-2B×8

两个模型的差异主要体现在训练参数总数和词汇量大小上。 MoE模型的工作原理是并行处理多个执行特定功能的“专家”模型，然后组合每个模型的输出，以提高整体预测的准确性和效率。

以MiLM2-2B×8为例，根据评测结果，该模型的整体性能与MiLM2-6B相当，同时解码速度提升了50%，不仅保证了模型的性能不仅没有受到损害，而且还改善了其操作。效率。

4B模型在客户端实现，30B模型部署在云端。

终端侧新增4B型号

去年，小米大模型团队在端侧部署方面取得进展，使小米成为业界第一家在移动设备上成功运行1.3B和6B大模型的公司。随着第二代大模型的迭代更新，设备侧部署技术取得了新的突破，新的4B模型将在设备侧发挥更加重要的作用。

小米大模型团队成功提出“TransAct大模型结构化剪枝方法”，用8%的训练计算量从6B模型剪枝到4B模型，训练效率提升；同时，小米大模型团队自主研发了“基于权重传递的端侧量化方法”和“基于离群值分离的端侧量化方法”，降低了端侧的精度损失与行业标准高通方案相比，量化损失降低了78%，MiLM2-4B模型总共有40层，实际总参数量为3.5B。部署在设备端。