智东西

作者 李水青

编辑 心缘

智东西于2月10日进行了报道，就在今日，腾讯混元开源了一款模型，这款模型是面向消费级硬件场景的，名为“极小”模型HY - 1.8B - 2Bit ，其等效参数量仅仅只有0.3B ，内存占用仅仅只有600MB ，它比常用的一些手机应用还要小，这一模型能够本地化部署在手机、耳机或者智能家居等设备上进行应用。

这个模型是依据首个产业级的2比特（Bit）端侧量化方案，借助对先前混元的小尺寸语言模型HY - 1.8B - Instruct开展2比特量化感知训练（QAT）而产生的。该模型相较于原始精度模型，等效参数量降低了6倍，它沿用了原模型的全思考能力，能够依据任务的复杂度来切换长/短思维链。并且，这个模型在真实端侧设备上生成速度提高了2至3倍。

HY-1.8B原始精度模型生成效果

由于HY - 1.8B - 2Bit模型生成有其特定效果，所以经2bit量化之后的该模型，其速度显著地变得更快了。

电脑存储最小单位是比特，一般模型精度表达方式有2比特、4比特、8比特、32比特等，数值越大模型精度越高，所占内存越大。虽说2比特量化精度损失大，不过借助QAT和先进量化策略，团队已能使2比特模型性能接近全精度模型，比较4比特PTQ模型版本在数学、代码、科学等指标上表现相符。

针对原始模型大小仅仅只有1.8B，量化bit数仅仅只有2bit的HY - 1.8B - 2Bit，混元团队运用了量化感知训练策略，进而明显提升了量化之后模型的性能。腾讯混元还借助数据优化、弹性拉伸量化以及训练策略创新这三个办法，来提高HY - 1.8B - 2Bit的全科能力。

腾讯混元在部署这一方面 ，提供了gguf - int2格式的模型权重 ，此权重是HY - 1.8B - 2Bit的 ，还提供了bf16伪量化权重。对比原始精度模型 ，HY - 1.8B - 2Bit实际模型大小直降6倍 ，仅仅只有300MB ，它能够灵活地被用于端侧设备之上。该模型也已经在Arm等计算平台上完成了适配 ，可以被部署于启用Arm SME2技术的移动设备之上。

将线程数固定为2，在MacBook M4芯片上，对HY-1.8B-2Bit进行测试，测试内容是不同窗口大小下的首字时延和生成速度，选定fp16、Q4、HY-1.8B-2Bit三种gguf格式作为模型对比，首字时延在1024输入内可维持3至8倍加速，在生成速度方面，于常用窗口下对比原始模型精度，HY-1.8B-2Bit能实现至少2倍稳定加速。

天玑9500上也开展了测试，将HY - 1.8B - Q4格式首字时延与其他情况对比，能实现1.5至2倍的加速，生成速度加速幅度约为1.5倍。

项目链接：

腾讯旗下的AngelSlim代码库链接为https://github.com/Tencent/AngelSlim。