ReCALL团队 投稿量子位 | 公众号 QbitAI

生成式模型当检索器大材小用效果还不好？

在多模态大模型，就亦即是MLLM，依靠其强大无比的图文理解以及逻辑推理能力，从而成为AI领域的核心关键着力点之时，把它应用到图像检索领域之中，尤其是组合图像检索，也就是CIR任务里面，原本应该是那种具备降维打击效果的最为理想的解决办法。

然而，现实情况与之相反：当进行把生成式大模型强行予以改造成为判别式检索器这样的操作之后，模型会出现严重的能力退化现象，就连原本百分之百能够精准解决起来的问题都频发错误了，生成式和判别式的范式存在冲突，这成为大模型朝着检索领域进行落地的核心壁垒。

当前，国内人工智能领域的国家队紫东太初团队与新加坡国立大学携手历经困难取得突破，成功解决行业难题。紫东太初团队最新成果是ReCALL框架，该框架有自己独创的‘诊断-生成-校准’闭环体系，依靠此体系从根源上解决了大模型生成式转变为判别式时产生的范式冲突难题给大模型带来的问题，使得大模型在保持原生细粒度推理能力的状况同时，能够完美转变成为高效检索器。

该成果，已被计算机视觉顶会CVPR 2026正式录用，在CIRR、FashionIQ等主流基准测试中，全面刷新SOTA性能，更开辟了全新路径，此路径是大模型下游任务能力无损适配的，为多模态大模型的垂直领域落地奠定核心基础。

行业痛点：范式冲突致大模型检索“智能倒退”

为何聪慧的MLLM一旦进行检索就倾向于出现状况，作者团队精准且直接地点明了问题的关键所在，那便是范式冲突，也就是Paradigm Conflict。

习惯于生成式范式的原生大模型，会借助一步步的链式思考，也就是Step-wise reasoning，来理解细粒度的视觉关系，然而，现有的检索适配方法常常运用判别式范式，硬是将大模型的高维思考压缩成一个单一向量，以此来计算相似度。

致使能力退化（Capability Degradation）这一致命后果的，是这种暴力的转变，直接造成的，有此结果。

在上图左侧所呈现的情形下，当面临像“地板上的两只同品种狗”这般需要进行细粒度推理的查询之时，原生的大模型（F）借助VQA问答能够轻易地锁定目标。然而，经过传统微调后的检索器版本（Rbase）却彻底丧失了这种细粒度grounding能力，所找出的全都是错误的图。

定量数据更让人惊诧不已，在初始大模型本可百分百找对的子集那儿，微调过后的检索器于CIRR数据集上R@1急剧降至62.33% ，在FashionIQ上更是大幅下跌至55.80%。模型不但没学到新学识，反而把原本具有的推理才能给弄丢了！

破局之道：ReCALL四阶段校准框架

假定能力出现退化，是缘自初期的检索微调致使大模型“偏离了正轨”，那么该如何将其拽回到正常的轨道上去呢？

作者提出了一个通用框架名为ReCALL，其核心思想极为巧妙，是运用大模型原生的推理信号，用以纠正检索空间里的盲区，实际上，整个闭环被严谨地划分成四个阶段，其中首阶段完成了基础的检索器初始化且暴露出退化问题，而后三个阶段是极为优雅的“诊断 - 生成 - 打磨”校准管线。

阶段1：基础检索适配（基线适应），为了让生成式大模型具有基本的图文检索功能，研究人员先采用标准的InfoNCE损失函数，把原生大模型（F）微调成一个基础检索器（Rbase），这一步虽赋予了模型基础的判别与检索能力，不过正是这种强力的单向量压缩，引发了前文所讲的“能力退化”症状。

阶段二：自我诊断（Diagnose）。常言道“错题本是最佳的老师”。具备基础检索器之后，使其在训练集上运行一回，特意挑选出那些它“找错”的样本（Informative Instances）。这些能够以高分骗过检索器的负样本，常常与正确答案存在极为细微的视觉差异，它们恰恰是模型能力退化、认知最为模糊的“盲区”。

针对挑出来的错题，作者团队干的事儿不是简单粗暴地让原生大模型（F）重新“看图说话”，而是精心设计了一套有严密逻辑的链式思考（CoT）诱导机制，这是生成校正（Generate）阶段的内容，具体来说，这个“讲题”过程被巧妙拆解成两个核心步骤。

① 关乎意图的剖析与之验证（Intent Decomposition & Verification）：大模型最初会把原始的修正指令分解成一个个“原子意图”，接着逐个依据参考图以及去找错的图来展开核查，精确地定位出究竟是哪一个细粒度的意图在错图里被违背了。

②最小编辑合成（Minimal Edit Synthesis），在抓住矛盾点之后，大模型会保留那些依旧成立的意图，仅仅去重写被违背的部分，进而以“打补丁”的方式合成出一条全新的修改指令。

依据这种极为精巧的设计，框架自行生成了全新的纠错三元组即从“参考图”指向“错图”的。这种从原始文本到全新文本的“极小幅文字编辑”，在视觉层面直接镜像了真实目标图与强干扰错图之间极为微妙的差别，进而给检索模型提供了格外显式、高密集的细粒度图文对齐监督信号。

更关键的是，这种生成方式严格遵照“最小编辑原则”，并非那种毫无限制的文本发散，它在极大程度上保障了新构建的训练三元组和原始数据集于数据分布上具有高度的一致性。最后，通过VQA（视觉问答）级别的语义一致性过滤来辅助，去除幻觉和噪音，保证送入模型微调的“纠错信号”既要精准抨击痛点，又要绝对高保真。

第四阶段：针对性打磨（精炼）。具备了精准的纠错指令，最后一步是借助分组对比学习（分组对比精炼）来达成进化。框架会把原本的查询以及相应的纠错查询进行打包，放置于同一个批次里“对冲”，搭配双重优化目标，迫使检索器去清晰地区分那些极为细微的视觉 - 语义边界，最终把原生大模型的细粒度推理能力巧妙地内化。

借助这一系列组合动作，检索器不但再度寻回了遗失许久的细粒度推理本事，而且还把它极为精妙地融入并固定在了自身的向量空间体系里。

实测成绩：全场景刷新SOTA，细粒度检索能力拉满

ReCALL的有效性在各大主流基准测试中得到了验证。

瞧瞧上面那实际的检索事例 ，基线模型碰到“正视镜头” ，遇到“半袖”这般细粒度的条件 ，直接就陷入懵圈状态 ；然而经过ReCALL校准之后的模型 ，眼光极为敏锐 ，精准无误地锁定目标！

结语

ReCALL获得成功，这成功并非仅仅在于，它让组合图像检索的性能上限得以刷新，更在于，它把多模态大模型在朝着下游任务迁移之际，所存在的一道隐形裂痕给揭示出来了，并且还将其修复了。

大模型进行检索时，不该简单粗暴地把高维的那种“生成式智慧”压缩降低维度变成单一的“判别式向量”。从存在“盲目对齐”进入到有着“诊断—生成—内化”的逻辑闭环，大模型的检索适配正处在一个着重要求保留并且激发原生推理能力的新的阶段。

就是当我们不再一味地追求利用海量的外部数据去“喂”出一个检索器，而是教会模型运用自身的思维链去剖析错题，再缝合认知盲区的时候，它不但找回了丢失的细粒度感知，还展示了生成与判别两大范式走向和解的可能性。

这有可能是，大模型于众多垂直领域，切实达成“能力无损适配”的关键一步。

论⽂链接：

这是一个链接，链接内容是https://arxiv.org/abs/2602.01639。

项⽬代码：