源自「南京理工大学、中南大学、南京林业大学」的，从事研究工作的团队，发表在了NeurIPS 2025论文当中，推出了一个极具突破性的框架，名为VIST（Vision-centric Token Compression in LLM），它给大语言模型的长文本高效推理，提供了全新的「视觉解决方案」，值得留意的是，其思路与近期引发广泛关注的DeepSeek-OCR的核心理念，达到一致。

短文本处理时，大语言模型即 LLM 显示出了令人惊叹的理解及生成能力，然而现实世界里诸多任务比如长文档理解、复杂问答还有检索增强生成也就是 RAG 等，都要求模型处理长度达成千上万甚至几十万的上下文。

与此同时，模型参数规模也从数十亿一路飙升至万亿级别。

面对着「上下文长度急剧增加」以及「模型参数量不断扩大」这两个方面的挑战， Token压缩不再属于优化的项目，而是成为了必需的物品。

不能有效地把输入规模给缩减掉，哪怕是最为强大的大语言模型，也很难高效地去处理海量信息，而这些海量信息是我们需要它来进行分析的。

该痛点的解决，是由南京理工大学的研究人员提出VIST（Vision-centric Token Compression in LLM）框架，也是由中南大学的研究人员提出VIST（Vision-centric Token Compression in LLM）框架，还是由南京林业大学的研究人员提出VIST（Vision-centric Token Compression in LLM）框架。

论文的链接是，https://arxiv.org/abs/2502.00791

NeurIPS 2024，早在一年多以前，研究团队就已开始探索，怎样能够让模型像人类一样，以视觉的方式，更高效地理解长文本。

为你提供该论文的链接，链接如下：https://arxiv.org/pdf/2406.02547 。

人类阅读文章时，不会逐字读完每一个词。

「的」这个功能性高频词呀，几乎就是被大脑自动略过去的呢，「了」这个功能性高频词同样几乎是被大脑自动略过的呀，「和」这个功能性高频词也几乎是被大脑自动略过的哟。真正能够让我们停下来的呀，是那些承载着意义的低频词呢，是名词呀，是动词呀，是数字呀等等这些呢。

1.VIST有着核心思想，2.这核心思想是要让大模型也拥有那种「选择性阅读」能力 。

它设计了一种视觉化压缩机制，这种机制模仿人类「快–慢阅读通路（Slow–Fast Reading Circuit）」，使得大模型在理解长文本的时候，能够快速扫读，并且能够深入思考。

远处的、相对次要的上下文被渲染成图像，这一过程通过快路径（Fast Path）来实现，其中由一个冻结的轻量级视觉编码器快速提取显著性语义；

慢路径，把关键的近处文本，直接输入LLM，用来进行深层推理，以及语言生成。

这种「视觉 且 语言」的双重通道协同合作，恰似人类的眼睛以及大脑，一方面环顾整体范围，另一方面关注关键要点，进而深入且细腻地思索 。

VIST让模型真正具备了「像人一样速读」的能力。

凭借这一设计，当处理相同文本内容之际，VIST所需的视觉Token数量，仅仅是传统文本分词所需Token数量的56%，并且内存减少了50%。

用「视觉压缩」解锁长文本理解

早期的LLM，主要借助tokenizer，将文本拆分出离散token，把这些离散token输入给LLM，进而进行处理，这种范式带来了诸多好处，比如说高度语义化。

已有研究发现，经过大规模图文配对数据预训练，CLIP等视觉编码器能够自发掌握OCR能力，这使得它们可以直接理解文本图像内容，为长文本的视觉化处理提供了强大工具，但是

VIST借鉴了人类高效进行阅读的技巧，提出了一种全新的框架，此框架为快–慢视觉压缩框架，它以视觉方式处理长文本，使得模型既能够快速进行扫读，又能够深度去理解 。

快路径（Fast Path）

将次要的长距离上下文渲染成图像，由轻量级视觉编码器处理；

通过 Resampler 将视觉特征进一步压缩为4倍；

视觉特征经过压缩之后，再借助cross - attention，与LLM的主输入进行整合。

慢路径（Slow Path）

把近处的文本给LLM处理，将核心文本交LLM处理，让其进行深度推理，使其进行语言生成。

这种方式，是「扫视远处，专注近处」，它模拟了人类阅读的自然策略，使得模型在长文本场景下面既展现出高效的特性又具备精准的特质。

概率感知视觉增强

教模型学会略读

尽管视觉编码器比方说 CLIP 十分强大，然而其主要是在自然图像上开展训练，针对渲染文本的理解能力存在局限。并且，长文本当中常常充斥着大量的冗余信息，要是不加以选择地进行处理，不仅会浪费算力，还会被干扰得抓不住重点。

为此，VIST引入了一个机制，这个机制很巧妙，是概率感知视觉增强，也就是PVE，即Probability-informed Visual Enhancement，该机制教模型进行「略读」，让模型抓住关键信息，还让模型忽略冗余词。

对于训练而言，PVE运用的是基于频率的屏蔽策略，也就是Frequency-based Masking Strategy，此策略操作是将那些高频然而信息量却很低的词，像英文里的「the」、「with」这类词，进行掩码处理，与此同时重点保留低频且高信息量的词，就比如名词、动词、数字等这类核心内容。

这些文本嵌入，其经过语义优化，能实现有效的指导，指导Resampler从文本图像里提取最为关键且重要的语义信息，进而使得视觉压缩模块变得更加高效，使其更加精准。

视觉压缩的极大潜力

在开放域问答任务上，在11个In - Context Learning基准任务上，VIST显著优于基于文本编码器的压缩方法CEPE。

即在极端状况下，所有篇章单单经由视觉编码器予以处理，VIST依旧能够于开放域问答任务里达成和TinyLlama不相上下的性能，这充分展现出视觉压缩于长文本处理中的可靠性。

而且，VIST搞相同文本内容处理时，所需视觉Token数量比传统文本Token少百分之五十六，压缩比大概是二点三，从一千零二十四个文本Token压缩到四百四十八个视觉Token，与此同时，显存使用减少百分之五十，极大提升了运算效率。

让大模型「用眼睛读文字」

VIST运用轻量级视觉编码器，对冗长的上下文信息予以压缩处理，给大语言模型提供了一条新路径，这条路径高效且低成本。 。

更为奇妙的是，视觉编码器竟然能够充任视觉文本分词器（Visual Text Tokenization），进而带来四大方面的优势：

简化分词流程，传统文本分词器依赖复杂规则，依赖固定词表，通常涉及近十步人工预处理，比如小写化、标点符号处理、停用词过滤等 。

将渲染后的文本当做图像输入的是视觉编码器，它不需要繁琐预处理，其处理流程更为直接高效。

传统分词器在多语言环境下，容易受到词表限制从而影响性能，这是词表瓶颈，而视觉编码器无需词表，它能统一处理多种语言文本，还大幅降低了嵌入矩阵以及输出层的计算与显存开销。

视觉编码器关注整体视觉模式，而非单个Token的匹配，对字符级噪声更鲁棒，因此对拼写错误或低级文本攻击具备天然抵抗力。

4. 多语言高效性，本文虽主要针对英文，然而视觉文本分词器在其他语言里同样具备高效性，跟传统文本分词相比较，能够减少62%的日文Token，还能减少78%的韩文Token，并且能减少27%的中文Token，在处理长文本的时候优势格外显著。

结语与未来展望

VIST呈现出了，“视觉加上语言”二者协作，于大模型长文本理解里的，巨大潜力：

未来，视觉驱动的Token压缩大概有可能会变成是长上下文LLM的标准组件，随着模型规模持续不断地在增长，这样一种“先看再读”的策略，将会帮助大模型在确保理解能力的时候，大大地降低的计算成本，为多模态智能理解铺平前行的道路。

参考资料：

这个网址链接指向的内容是https://arxiv.org/abs/2502.00791 ，句号。