苹果新品发售的热度还没消退，大家都在讨论新手机的硬件进化。

苹果在 AI 领域的表现依旧平平，缺乏突破性的产品，其 Apple Intelligence 服务在中国市场推出遥遥无期。

近期苹果公司人工智能部门与硬件部门的人才纷纷离职，这些情况累积起来，让苹果的前景显得不太明朗。

尽管苹果在大型模型方面经常表现不佳，但有一个不温不火的事实：苹果在计算机视觉方面的智能探索是其一直以来的优势。

开发涉及图像、视频和三维的巨型模型时，面临一个突出的难题。图像、视频和三维属于不同的视觉类型，它们各自拥有独特的数据规格和表达形式，研究过程中几乎必须单独应对，导致视觉模型被分割成三个彼此隔离的学术分支，阻碍了视觉领域的整体化发展。

不过大型语言模型凭借一致性的词汇切分方法，已经证明了自己具有出色的适应本领。

但是，视觉人工智能领域目前仍存在明显分割，各类任务与数据类型需要特定的处理工具：针对图像、视频及三维资源，通常要采用各自独立的解析系统，这些系统往往只专注于 高清复原 或 意义解析 中的单一目标，很少能同时兼顾两者。

为此，苹果公司研究团队开发了ATOKEN，这是一种面向视觉领域的通用标记方案，旨在突破现有瓶颈，成为首个能跨多种核心视觉类型执行整合化分析的解析工具，并且能够平衡图像复原效果与概念阐释能力。

这一发现表明，朝着研发具备普遍性与扩展性的图像表示，实现了关键性进展。

AToken 是一种新型视觉分词器，它能在图像、视频以及三维资产上同时完成高保真重建和语义理解。不同于以往那些只针对单一类型数据、只擅长重建或理解的分词器，AToken 将各种视觉信息编码到一个共享的四维潜在空间里，在同一个体系下整合了不同任务和模态。

详细来说，研究团队运用了 纯粹的 Transformer 架构，并运用 四维旋转位置编码 来应对各种分辨率和时长的视觉数据。为了保障训练过程的平稳性，研究团队设计了一种 非对抗性的训练指标，将感知误差和 Gram 矩阵误差融合在一起，从而达成了当前最优秀的重建水准。此外，借助逐步式练习，AToken 先从单个画面开始，再扩展到动态影像和立体模型，并且能够兼容接连与分离的隐含标记。

ATOKEN 对图像、视频以及三维物体都采用了同样的分词方法，借助一个通用的四维表达方式，能够兼顾高保真度的重建和语义层面的解析工作。

核心创新：统一四维表示

ATOKEN 的主要突破体现在构建了一个公共的稀疏四维潜在结构，用以表示所有视觉模态，具体表现为特征与位置组合的集合形式，

在这种表示下：

这种稀疏表达方式可以灵活应对各种不同的图像尺寸和动态时长，在同一个系统框架里就能直接处理多种视觉数据类型。根据这种通用的底层特征编码，该系统会输出两种不同的映射结果：z_r主要用于图像复原工作，z_s则用来分析场景含义，同时还可以根据需要采用有限标量压缩技术进行特征离散化处理。

Transformer 架构

ATOKEN 架构运用了稀疏结构的Transformer编码器与解码器，它运用了四维RoPE定位技术，采用了非对抗性的训练方法，并且以重建和理解作为双重目标进行优化。

ATOKEN 采用纯 Transformer 架构，不再使用传统的卷积方法，该系统运用：

渐进式训练

四阶段逐步递进的训练计划，持续提升模型性能，同时证实多模态学习不但不会降低单一模态表现，还能使其更优。

ATOKEN 采用了精心设计的四阶段训练课程：

这种逐步深入的训练方式表明一个重要发现：采用多种形式的数据进行训练，能够提升而不是降低单一类型数据的处理效果，这种情况与以往在处理多个学习目标时普遍存在的“不同任务间相互影响”的观点大相径庭。

实验结果与性能

ATOKEN 在众多评估标准中均展现出 显著优势或突出水平，其综合表现 达到了 市场顶尖水准，并且 具备 强劲的竞争优势

图像分词（Image Tokenization）

ATOKEN 即使压缩比例非常高，依然能够实现高品质的图像复原，能够保留图像中的精细纹理，细节信息，以及文字的清晰程度。

视频处理（Video Processing）

视频重建在时间上与专用方法表现一致，运动方面同样流畅自然，并且能够处理任意时长的视频片段。

三维资产处理（3D Asset Handling）

图 7：三维建模在色调统一性方面表现更佳，这是源于 ATOKEN 从图像及视频训练中习得的跨领域色调认知技能。

AToken在下游应用中，既能用于制作任务，比如连续和离散符号的图画创作、文字转影片、图像变立体模型，也能用于解析任务，例如多类型大语言模型，并且各种评估测试中展现了相当不错的成果

这些发现表明，运用综合视觉解析的下一代跨模态人工智能技术正逐步变为可能。