听雨 发自 凹非寺量子位 | 公众号 QbitAI

大家都以一种极度急切、满脸焦急的状态，在翘首等待着DeepSeek-V4，就在这个时候，一篇突如其来的新论文冷不丁地进入了网友们可察觉的视线，使得网友们把他们的注意力集中到了这篇新论文上——。

有新的稀疏注意力机制被提出来了，它叫HISA，也就是分层索引稀疏注意力，它把64K上下文的索引瓶颈给突破了，和DeepSeek正在使用的DSA，也就是DeepSeek Sparse Attention相比，它的速度提高了2到4倍。

不仅做到了大幅提速，而且几乎不丢精度、即插即用不用重新训练

把索引器替换这件事，直接是在那被称作DeepSeek-V3.2的上面做的，同时也是在GLM-5上面做的，并且是不需要进行微调的哦。

其一，在寻找关键信息这个任务方面，其二，于长文本理解这类任务之上，其精度，皆与原方法近乎保持平衡状态。

两步消除上下文索引瓶颈

这段文字主旨清晰：针对大模型的稀疏注意力机制，去更换一个更为高效的“检索器”，以此作为要处置解决的问题，思路清晰明确。

当下存在着主流的DSA等token级别的稀疏注意力，其核心要点在于，借助仅仅针对关键token来计算注意力这样的方式，使得核心计算成本得到了降幅。

但是呢，这个设计存在着一个致命的、未曾显露的问题，那就是，要挑选出相关的字符，必须依靠一个“索引器”，这个“索引器”呢，它需要将每个等待查询的字符，与前面的所有字符逐个进行打分，然后再从中选择分数最高的那个字符。

文本的长度L要是越长，那么这个打分所需要进行的工作量就是按照L的平方级别来增长，举例来说，如果长度变为原来的两倍，那么工作量就会变为原来的四倍。

当到达超长文本的时候，这个索引器有着平方级成本，然而它却成了拖慢速度的首要因素，甚至它比真正的注意力计算还要耗费时间。

基于这个情况，研究团队着手去思考一个问题，这个问题就是，可不可以在不会对最终稀疏注意力的成果进行改变的状况下，去减少索引器的搜索成本呢？

于是，他们提出来了HISA，也就是分层索引稀疏注意力，其核心思路非常简单，那就是：

倘若逐个进行打分，实在是太过耗时长，所以要先依照某些标准，将那相当多的无关紧要的内容筛选掉，之后呢，再于剩余的较小块内容之中，进行精细地挑选。

从功能逻辑层面达成对原先模块的等效替换，不用去改动紧接着的注意力计算逻辑，就好比是“换了个效率更高的筛子，筛出来的事物基本上没变化一样”。

具体就两步，全程复用原模型的打分规则，零学习成本：

块级粗过滤

这一步能省掉绝大部分工作量。

块内精挑字符

仅在首先一步挑选出来的那m个块之中，依据原索引器的规则针对单个字符进行打分，随后再从中挑选出最终所需要的那k个相关字符。

增加了一项小小优化，其中文本的首个块是必须选择的，文本的最后一个块同样是必须选择的，以此来确保开头的那些背景信息不会被错误筛选，还能保证结尾的最新上下文不会被错误筛选，另外也能够处理文本拼接时出现的边界问题。

HISA的关键优势在于：复杂度骤降，还能 “无缝替换”

原本的索引器，其每一层存在着O (L²) 的算力成本被HISA降低了，降低后的算力成本变为了O(L²/B + L×m×B)，其中B是用于表示块大小的，m是所选择的块数。

文本越长、块选得越精准，提速效果越明显。

更重要的是它的工程友好性

输出和原索引器完全一致，下游的注意力计算模块不用改；

不进行重新训练模型的操作，不让以调整KV缓存结构，只是直接去替换原索引器就可以了。

短文本状况下，会自行“退化”为原本的方法，唯有超长文本的情形，才会引发分层筛选，整个过程呈现出自适应状态。

实测提速超猛，精度几乎没丢

论文针对DeepSeek-V3.2、GLM-5这两大，主流的大模型，展开了全面的测试，其结果，是十分亮眼的：

就速度而言，于64K长度的文本情形下，HISA相较于原DSA索引器，最高能将速度提升至原本的3.75倍，即便在常规设置时，也能够把速度提升超过2倍。

HISA的提速效果，在越长的上下文长度情况下，越发显得显著起来,这点与超长上下文（128K/1M）的实际应用需求，是完全相契合的。

从精度这个层面来讲，HISA差不多是完全将原DSA的精度给保留了下来，并且相比纯块稀疏方法，其精度表现要明显更佳。

论文开展了“大海捞针”测试，这个测试用于衡量一项能力，即在超长且与之没有关联的文本当中，能够精确检索获取指定位置关键信息的那种能力。

其结果是，HISA与DSA的精准程度几乎是相同的，于所有的长度以及插入深度之中，检索的精确程度都与DSA的近乎能得到满分的情况相接近。

分数在长文本理解，也就是LongBench基准之上，HISA的与DSA的同样基本处于持平状态。

甚至在部分场景之中，像是合成检索，还有少样本学习等，这些对token筛选精度有着较高要求的任务里面，HISA达成了小幅的反超。

且于超参数测试期间，于不同的块大小情形下，以及选块数量各异的状况下，HISA展现出来的表现俱是极为稳定的，其分数全部与DSA高度地趋近，不存在显著的性能方面的差异。

这同样表明，HISA针对超参数的挑选缺乏敏感性，具备很强的鲁棒性，到了工程落地实践的时候无须精细地调整参数。

不过目前HISA还有小瑕疵，作者也提出了后续改进思路：

首先，目前的块呈现出固定的尺寸规格，倘若在一个块之中夹杂了既有无关的成分又有相关的内容，那么块的“整体标签”将会出现不准确的情况。

未来可以搞自适应块、重叠块，或换更好的块特征计算方式。

其二，当前只是当进行推理期间直接拿来使用，往后而言能够将块筛选跟模型一块儿开展训练工作，使筛选变得更加精确无误是也！

其三，当前仅仅对索引器的速度进行了测量，在将来，会将其融入到完整的大模型服务框架之中，进而测量端到端的吞吐量以及延迟。

团队背景

这篇论文出自北京大学的张牧涵团队。

Tanure-track助理教授且是博士生导师的张牧涵，任职于北京大学人工智能研究院。

在回国之前，曾于Facebook AI（如今是Meta AI）任职研究员，对大规模图学习系统以及相关问题展开研究。

它在Google Scholar上的总引用数量超过了13000次，其中有两篇以第一作者身份发表的文章，引用量分别达到了3100多次以及2400多次，连续多年被选入Elsevier全球前2%顶尖科学家（生涯影响力榜单）。

共同一作为论文的是，Yufei Xu（徐宇飞），以及Fanxu Meng（孟繁续）。

供你参考的链接是https://arxiv.org/abs/2603.28458。