视觉 Tokenizer 的困境与破局

近些年来，自回归也就是 AR 模型于语言生成范畴的成功，促使它在图像生成范畴得以应用，进而出现像 DALL-E、Parti、VAR 以及 LlamaGen 等具有代表性的工作。此类技术对诸如 VQGAN 等视觉 Tokenizer 的依赖程度很高，它的职责是把高维度况且冗余的像素空间映射至一个低维度且紧凑的离散潜在空间，它是决定生成模型上限的基石 。

然而，传统 Tokenizer -- 以 VQGAN 为其代表，往往需要自起始点开始进行训练，其训练目标被像素级重建损失函数所主导，致使其所产生的潜在空间：

富含着低层的细节特征，然而却欠缺高层的语义信息，它能够颇为完善地还原图像的细节，可是潜在编码自身却缺少高层语义信息，存在着较高的潜在空间冗余，VAGAN是基于图像块逐一展开量化的，而图像里的物体一般是不规则的区域，基于图像块的量化致使tokens的编码效率有所降低。对结构特性有忽视趋向的表征，这样一幅景象，潜在空间的组织呈现明显紊乱态势，此状况竟致使生成模型，不但需要占据时长更可观的、旨在学习其潜藏空间分布的训练时间才行，并且经常，必须凭借诸如CFG（Classifier-Free -- Guidance, CFG）这个样子的技巧，方可达成具备高保真度的图像生成任务，最终还额外增添了模型推理所需的时间。

同一时间，预训练的视觉基础模型，也就是 Visual Foundation Models，可简称为 VFMs，像 CLIP、DINOv2、SigLIP2 等，在提取丰富语义且可泛化视觉特征那里展现出了强大的能力。这些模型借助自监督或语言监督的方式来训练，它们能够有效抽象出图像里的高层语义信息，所以这些预训练的视觉基础模型大多被应用于图像内容理解任务当中，而直接把它应用于图像重建和生成任务上，但鲜有人去探索。

基于这个情况，香港大学CVMI Lab提出了一个大胆假设，阶跃星辰AIGC团队也提出了一个大胆假设：原本是为视觉理解任务设计的预训练视觉基础模型，它的潜在特征能不能也直接当作图像重建与生成的鲁棒结构化表征呢？

出于对这一猜想进行验证的目的，我们去探寻了一个基础视觉模型别具一格新的应用方向，此方向为，运用被冻结的预训练得到的视觉基础模型去构建离散的视觉 Tokenizer，而后把该视觉 Tokenizer 在图像重建以及自回归图像生成任务方面予以应用。

我们察觉到，相较于传统的视觉Tokenizer模型，视觉基础模型所驱动的图像Tokenizer，在这两项任务之上，全皆展现出优越的性能 。

探索性发现

为了验证视觉基础模型能否构造高质量的视觉Tokenizer，我们首次进行尝试，使用不同的进行冻结处理的预训练基础视觉模型，来提取图像特征，把提取出的图像特征送入VQGAN的编码器当中，进行端到端训练，在训练阶段只有量化器和解码器里的参数会被更新，之后用它来完成自回归图像生成任务。

实验表明，冻结的视觉基础模型提取的图像特征，能够直接用于图像重建，并且，训练好的视觉 Tokenizer 在自回归图像生成任务上的表现，比传统的视觉 Tokenizer 模型更优。

这一发现凸显了预训练视觉基础模型，也就是VFMs，构造高质量视觉Tokenizer的巨大潜力。

核心思想

基于我们探索性发现，冻结的视觉基础模型 (VFMs) 能直接构造高质量视觉 Tokenizer 且端到端训练，我们对构造的视觉 Tokenizer 结构进一步优化，利用视觉基础模型 (VFMs) 提取图像多层特征 (Multi-level Features Extraction)，其有助于捕获图像低层细节特征以及高层语义信息。句号

与此同时，可留意到，现有的量化机制也就是 quantization，皆是针对图像块即 patch 逐个进行量化，然而图像当中的物体通常形状并非规则，故而我们设计了区域自适应的量化也就是 Region-Adaptive Quantization 方案，此方案能够进一步削减潜在特征空间的冗余程度，提升视觉 tokens 的利用效率。

此外，视觉基础模型的参数处于冻结状态，在这种情况下，于重建图像内容之际，我们还设计了语义特征重建的目标函数 (Semantic Reconstruction Objective)，以此来提升视觉 Tokenizer 的语义保真度哦。我们把基于视觉基础模型 (VFMs) 的 Tokenizer 称作 VFMTok 。

VFMTok 架构图

关键技术细节

VFMTok基于冻结状态的预训练视觉基础模型（VFMs）作编码器取多层级语义特征，此为方便图像重建，意图同时捕获图像低层细节特征与高层语义信息，VFMTok以等间隔方式抽取预训练基础模型（VFMs）多层特征（multi-level features）。

为了达成区域自适应量化机制，VFMTok借助可学习的「锚点查询」结合可变形注意力机制，对多层级特征进行区域自适应的特征采样，以此来实现区域自适应量化机制。

这种方式，能聚焦于采样图像中模式一致的区域，随后，VFMToks 对可学习「锚点查询」（Anchor Queries）进行量化 (quantization)，此种方式，能够有效提升 token 的利用效率，即用更少的 tokens （256）来表征一张图像。

因为每一个层级都有其独特的要求及对应的操作步骤，所以在进入下一层级之前，必须要先满足该层级的要求并完成相应操作，无法短时间跨越多个层级。

为达成这一目的呢，VFMTok 解码过程里设计了个共享的轻量级视觉变换器也就是 ViT 啦。此 ViT 接收对于区域进行自适应量化后的 tokens，还结合一个能学习的掩码 token 以及一组能学习的位置编码也就是 Positional Embedding 当作输入，进而分别生成用于图像重建以及语义重建的特征哟。共享 ViT 的这种设计既削减了参数量又确保了语义保真度呢。它的双重目标函数是：

训练完成之后，VFMTok能够被运用到图像自适应回归任务之中，依照next-token prediction的方式，去生成高水准的图像内容。

实验亮点与分析

1.卓越的重建生成质量与效率

大量的实验已然表明，基于视觉基础模型也就是 VFMs 构造出来的视觉 Tokenizer，它其实就是 VFMTok，具备高质量的图像重建能力，同时还具备高效率的图像重建能力，另外还具备自回归图像生成能力。

2.消融实验的有力证明

单独使用受冻的 VFM 当作编码器，线性探针准确率，也就是 linear probing，从 VQGAN 的百分之二十三点一，提高到了百分之五十六点四 。引入区域自适应量化，该量化为Region - Adaptive Quantization，还引入语义特征重建，此重建为Semantic Reconstruction Objective后，VFMTok仅用256个Token就能在重建质量上全面超越VQGAN基线Tokenizer，VQGAN基线Tokenizer使用576个Token，这里重建质量为rFID 0.89 vs 0.95 。

总结与展望

VFMTok 首次证实，冻结的视觉基础模型提取的图像特征，能有效用于图像重建与生成，同时可提升 Tokenizer 语义表征能力，让自回归图像生成模型收敛更快，还能实现 CFG - free 的高保真图像合成，VFMTok 提出区域自适应量化机制，借助有效利用图像区域固有冗余实现紧凑编码，减少视觉 token 数量时提升性能，达成高效且高质量的自回归图像生成。

在图像重建里，大量实验验证了VFMTok的有效性，同理，自回归生成中，大量实验也验证了VFMTok的有效性，由此确立了预训练视觉基础模型 (VFMs，此模型可构造高质量、高效率Tokenizer) 的主导地位。

以这样的情形可看出，借助VFM的先验知识，是去构建高质量潜在空间的必经途径，还是构建下一代Tokenizer的关键，这比任何从起始就开展的正则化或者约束更为根本，更加有效，预训练视觉基础模型具备巨额潜力，值得我们于未来朝着深层次挖掘，最终或许能探寻出一个能够有效兼容全部生成模型的、语义丰富的、高质高效的「统一Tokenizer」。

VFMTok的论文已经被公开了，VFMTok的代码也已经被公开了，欢迎那些对其有兴趣的同学去阅读，欢迎那些对其有兴趣的同学去复现，欢迎那些对其有兴趣的同学进行深入讨论。

作者介绍

本文作者主要来自香港大学CVMI Lab，还来自阶跃星辰AIGC团队，阶跃星辰AIGC团队主要致力于图像生成底模研究，致力于图像编辑底模研究，致力于世界模型研究，致力于RL后训练研究和落地，欢迎志同道合的同学交流，欢迎志同道合的同学加入，一起为AIGC社区贡献力量。