文 观察者网心智观察所

数日前，科研领域举世瞩目的名牌综合性学术周刊《Nature》，发表了一篇源自中国的聚焦人工智能相关方向的研究论文。这于顶级学术刊物之上并非罕见之事，然而此篇论文的重要程度却极不一般：它出自北京智源人工智能研究院，其关键成果是一款名为“Emu3”的具备多种模态的大型模型，并且它想要解答的问题，乃是整个人工智能领域在过往五年间一直未能解决的核心关键问题——我们可不可以运用一种统一的途径，使得机器能够同时掌握看、听、说、写，甚至连做出行动也能学会？

这个问题听觉上予人简单之感，然而其复杂程度，能够致使全球最为顶尖的人工智能相关实验室，陷入持续不断的争论之中，且争论不止，有始无终，一直进行下去。

被OpenAI用以令人惊艳世界的Sora，所倚靠的是扩散模型；Google的Gemini将多模态进行整合的时候，运用的是复杂的编码器拼接方式；试着统一的Meta的Chameleon，然而在性能方面却始终没有办法和专用模型相竞争。但智源给出的答案，是一个看上去朴素到近乎偏执的抉择：仅仅采用“下一词预测”。

这个选择的意义，可能需要一些背景知识才能理解。

论文前言

一场关于“语言”的豪赌

要是你去询问一位身处2020年的AI研究者，未来的多模态智能会长成啥样，他极有可能给出这般预测：图像生成是单独的图像生成部分，文字理解是独立的文字理解范畴，视频处理是专门的视频处理领域，随后我们借助某种“胶水”将它们粘连起来。这并非是懒惰之举，而是当时的技术实际状况——不同模态的数据特性差别极大，专注于某一方面通常就意味着高效。

实际上，在过往的几年时间当中，这条路线收获到了极大的成功。Stable Diffusion使得普通的民众也能够去生成令人惊艳的图像，GPT-4让对话AI变得具备一切能力，而各种各样的视觉-语言模型则是在问答、识别、描述等相关任务方面持续不断地刷新着纪录。然而问题也跟着出现了：这些模型犹如一位技艺高超但仅仅擅长单项运动的运动员，要让它们共同协作开展工作，需要复杂的工程架构、精细的模态对齐，以及数量众多的人工干预。

更为关键之处在于，这样一种呈现出“专科化”态势的发展路径，暗藏着一个会让人内心感到不安的假设，仿佛机器智能从本质上来说便是碎片化的，而我们始终都得针对每一种能力去单独训练一个模型。

Emu3挑战的，正是这个假设。

智源团队有着这样的核心洞见，那就是，要是我们将图像、视频、文字通通转变成同一种“语言”，也就是离散的符号序列，那么让模型去学习如此一个任务，即“预测下一个符号”，能不能就足以把所有多模态能力都涵盖了呢（类似如下图的情况）？

此构思可不是毫无先前的例子，早在2020年的时候，GPT - 3就已然证实了，仅仅凭借预测下一个词语，语言模型能够展现出令人惊叹的推理、翻译以及编程能力。然而，要把这一范式延伸至图像和视频领域，会遭遇极为不同的挑战：有一张纵横尺寸达到512×512的图像，倘若以简单的办法转化成符号，所需或许达到几十万个token，这个数量对于Transformer架构来讲构成了具有灾难性质的计算负担；而且，图像所具有的空间结构以及视频的时间连续性，同文字那里存在的线性叙事相比有着本质的差异，单纯的“下一词预测”真的能够将这些复杂的关系捕捉到吗？

智源的答案是肯定的，而Emu3就是他们的证明。

一个分词器的艺术

想要领会Emu3的技术进展，首要的是领会它的那个被称作“视觉分词器”的东西，也就是Vision Tokenizer。它看似不重要，实则是整个相关系统的基础支架，是整个系统得以构建的根基所在，是极其关键的部分，是不可或缺的支柱，是整个系统得以正常运转的关键要素的一部分句号。

设想一下，你得透过电报这种形式，跟一个从来都没看过图片的人去讲述一幅画。你绝对没办法传导原始的像素数值——缘于那太过冗长复杂了；你同样不可以仅表述一句是“一幅风景画”——因为这太含糊不清了。你所需要的实则是一种既紧致又具备丰富表现力的编码模式，能够在局限的符号里留存充裕的视觉讯息。

做事的正是Emu3的视觉分词器，它能把一张512×512的图像，压缩成仅4096个离散符号，压缩比达64:1 ，对于视频，它在时间维度上再压缩4倍，让一段4帧的视频片段，也只需4096个符号来表示，这些符号源自一个有32768个“词汇”的码本，你能把它想象成一本视觉词典，每个“词”代表一种特定的视觉模式。

甚为精妙的一点在于，此分词器乃是专为视频原生所设计的。传统的图像分词器于处理视频之际，仅能逐帧进行编码，将帧与帧之间的时间关联全然予以忽略；然而Emu3的分词器借助三维卷积核，能够同时对空间和时间维度的信息予以捕捉。在实验里面，这种设计凭借四分之一的符号数量，便达成了与逐帧处理不相上下的重建质量——这不但意味着具备更高的效率，更意味着模型能够切实“理解”视频的动态本质，而非仅仅是处理一堆静态图片。

凭借这个分词器，图像以及视频已然转变为如同文字那般的符号序列。后续要做的事情，便是促使一个Transformer去学会预测这些序列里的“下一个符号”。

当简单遇上规模

拥有Emu3的模型架构，这样来概括，它属于一个标准的大语言模型，然而词汇表当中多了32768个视觉符号，是这样的情况。

可以改写为：在AI研究界，这般极简主义设计是颇为少见的。那些主流的多模态模型，像LLaVA、BLIP - 2还或者是Flamingo，都运用“编码器 + 语言模型”的复合架构，首先得用一个专门的视觉编码器，一般是CLIP，把图像转变为特征向量，接着再借助适配器将这些特征注入语言模型。这样的设计所具备的好处在于能够复用已然存在的预训练组件，然而其代价却是系统复杂度迅猛攀升，还有模态之间潜藏的隔阂，视觉编码器与语言模型终究是独立开展训练的，并不能完全保证它们对于世界的理解是尽皆相同的。

Emu3选了条更激进的路，不用任何经过预训练的视觉编码器，不用任何复杂的模态融合机制，只用一个从一开始就从零展开训练的decoder - only Transformer，所有多模态知识，都是在统一的下一词预测任务里从数据中学习而来的。

这种秉持“大道至简”理念的设计哲学，于实践期间，转化成了令人惊叹的实验成果。

此图像生成任务里，Emu3，于人类偏好评估中，得分70.0，此分数超越了Stable Diffusion XL（其分数为66.9，这本是扩散模型之标杆）；于视觉语言理解的12个基准测试里，它的平均分达62.1，此分数与采用复杂编码器架构的LLaVA - 1.6（分数为61.8）持平；于视频生成的VBench评估中，它获得81.0分，该分数超过了专门的视频扩散模型Open - Sora - 1.2（分数为79.8）。

仅用“预测下一个符号”训练的模型，其生成方向与理解方向看似矛盾，却在这两个方向上同时达到了专用模型的水平，这些数字的意义就在于此。此前人们普遍认为这是不可能的，毕竟扩散模型与自回归模型的数学基础截然不同，擅长理解的架构通常不擅长生成，擅长生成的架构通常不擅长理解。Emu3的成功，就如同一位运动员在短跑比赛与马拉松比赛中都赢得了冠军，这不仅打破了记录，更突破了人们对于专业化边界的认知。

规模定律的启示

倘若讲单点性能的突破能够归结于工程技巧甚至于数据质量，那么，Emu3 论文里最有着科学价值的发现，却是源于它对于规模定律 Scaling Laws 的系统性研究。

规模定律属于现代AI研究里的圣杯之一，它阐明的是模型性能跟模型规模、数据规模之间的数学联系，要是我们清楚这个联系，便能预测一个更大模型的表现，而无需真正去训练它，对于常常耗费数百万美元计算/resources的大模型研发来讲，具备极为重要的实用价值。

此前，针对规模定律展开的研究，主要聚焦于纯语言模型。对于Emu3而言，其具有的贡献是，它证实了多模态学习同样依照可预测的规模定律。并且，这是至关重要的一点，不同模态共享同一套数据扩展指数。

详细来讲，不管是从文字转变为图像的情况，还是从图像转变为文字的情形，又或者是从文字转变为视频的状况，在训练数据量实现翻倍的时候，模型的验证损失都是按照0.55的指数进行下降的。这表明多模态能力的提升并非是互相独立的，而是依照同一的数学规律的。利用基于较小模型所获取的实验数据，研究团队精确地预测了拥有70亿参数模型的性能，其拟合优度超过0.99，误差不到3%。

这个有所发觉的意义，远远超过学术所涵盖范畴，它隐晦地表明着，往后的多模态智能，有可能并不必然得为每一种能力，单独去设计训练策略，仅仅只要将不同模态的数据混合到一块儿，运用统一的目标来进行训练，在规模扩大以后，相应能力便会自然而然地涌现出来，这极为显著地简化了研发的路径，降低了技术方面的门槛，并且也使得通用人工智能AGI的愿景，变得更加具备可信度。

论文的另一个亮点，是Emu3在机器人操控任务上的出色表现。

于CALVIN基准测试里，这是个评估机器人执行长序列任务能力的标准测试，Emu3在“连续完成五个任务”的指标那儿，达成了87%的成功率。这表明机器人于接受语言指令之后，能够逐个完成一系列复杂操作，类似“拿起桌上的杯子”，还有“打开抽屉”，以及“把杯子放进去”等情况，每一步都要求视觉感知、语言理解跟动作规划的紧密配合。

这个结果揭示出了Emu3框架的深层潜力，它并非仅仅只是一个内容生成工具，而是更有可能成为通往具身智能的一条便捷途径。传统的机器人学习，需率先专门设计感知模块，接着设计决策模块，随后设计控制模块，而后还得费尽周折地将它们整合到一起。然而Emu3的思路却不同，它会将视觉观察予以转换，把语言指令予以转换，把机械臂动作也予以转换，统统转换成符号序列，进而让模型在统一的框架之下学习它们彼此之间的关联。

论文里呈现出了一个让人记忆深刻的事例，给出一段烹饪视频的开头两秒，Emu3能够推测接下来两秒会出现什么情况，锅中的食材会怎样进行翻炒，就如同下面的图示那样，厨师的手会朝着哪里移动，蒸汽会以怎样的状态升腾。这样一种“世界模型”的能力，被视作是通往更高级人工智能的关键所在，一个切实理解物理世界的模型，应当能够对行动的后果作出预测，而不是仅仅去记忆静态的图像与文字之间的联系。

与海外同行的比较

在全球AI研究的版图上，Emu3处于什么位置？

那最直接的比较对象，是Meta的Chameleon，这可是另外一个尝试着去统一多模态学习的模型，它呐同样采用了token化以及自回归预测的范式。不过，Chameleon在发布的时候面临着一种尴尬的处境，虽说架构达到了统一，然而性能跟专用模型相比较存在着明显的差距，特别是在图像生成质量方面。Emu3的突破之处在于，它证实了这个差距能够被弥合，关键就在于视觉分词器的质量以及训练策略的优化上。

相比于OpenAI的路线，差异更为根本，OpenAI的Sora代表了扩散模型在视频生成方面的巅峰，其视觉质量与时间一致性让人惊叹不已，然而扩散模型存在着内在限制，它实际上是个生成器，并非理解器，要使Sora“理解”视频内容并回答问题，就得额外嫁接一个视觉语言模型，这又踏上了模态割裂的老路。那种名为Emu3的自回归范式，是以一种天然的状态统一了生成与理解，其中生成是去对视觉符号进行预测之举，理解是来对文字符号展开预测之为，而它们是在同一个模型当中，凭借同一种方式来达成完成的这种情况哦。

Google的Gemini采取来一种更具折中性质的策略，它的确整合了多种模态，然而其内部架构依旧依赖预训练的视觉编码器，以及复杂的模态融合机制，基于这种设计所具备的好处是能够对已有的技术积累进行快速利用，不过其代价则是系统的复杂性以及潜在的模态偏见，Emu3的从零开始训练的策略，尽管计算成本更高，可是带来的却是更为纯粹的多模态表征，亦即所有模态的知识都是在同一个优化目标之下共同习得的。

从具备开放性的这个角度来进行观察，Emu3所拥有的优势展现得更为显著。撰写那篇论文的作者做出了承诺，要将关键技术以及模型予以开源，这其中涵盖了视觉分词器、训练代码以及预训练权重。这种情况与OpenAI对待Sora和GPT-4所采取的封闭策略构成了极为鲜明的对照。对于中国乃至整个全球的AI研究社区来讲，这表明了一条全新的技术路线变得能够被复现、能够被改进、能够在其基础之上得以建立。

商业化的想象空间

社会价值的转化是技术突破最终所需达成的，Emu3的架构具有一定特性，这些特性为商业化创造出独特的可能性。

首先需关注的是部署之效率，Emu3的核心乃是一个标准的Transformer，这就表明它能够直接去复用大语言模型已然极为成熟的推理基础设施，其中涵盖：vLLM的动态批次处理、PagedAttention的内存优化、各种各样的量化以及剪枝相关技术。论文已然提及，研究团队是基于FlagScale而开发了支持无分类器引导的推理后端，于维系生成质量的同时达成了低延迟以及高吞吐之成效。这为大规模的服务搭建了相应基础。

其次，存在着应用的统一性特点。传统的那些多模态服务，基于不同的能力需求，就得分别部署诸多不一样的模型，这不同的能力各自对应着不同功能的多种模型，比如说有的模型来处理图像生成工作，有的被用来开展视觉问答任务，还有的负责视频理解一块，如此这般的部署方式，可以说是带来了极为显著的运维层面难以处理的复杂程度并且致使资源出现不少浪费情况。而Emu3有着的单一模型架构，这就表明了仅靠其一套部署，就能够对多种多元的能力起到支撑作用，借助这样的架构，实实在在地大幅降低了服务在其发展过程中所产生的边际成本。

当一个模型同时拥有生成以及理解能力，并且能任意处理属于图像、视频、文字的全部组合时，传统意义上的“输入—输出”界限就趋于模糊化，这是极具想象力的交互形态的大变革， 可以是一个用户，对模型设置要求，上传一段产品演示类视频以生成配套图文说明书，也能够按照自己给定的场景描述让模型生成视频，同时等待模型实时回答关于视频内容的各种问题，甚至由用户提出，让模型“想象”一个物理过程的最终成果，就像“要是我把这杯水倾倒在键盘上会出现怎样的情况”这种。原来，这些交互，在此之前，是需要复杂的多模型进行协作的，而现在呢，有可能在单一模型之内流畅地完成。

在特定的垂直领域当中，Emu3的潜力同样是值得予以关注的。于教育场景里，存在着一个能够生成演示图像的、解释概念的、回答问题的统一助手，它相比分离的工具组合而言，显得更加自然；在电商场景之中，从产品图片的生成开始，到变体的创建，再到用户问询的回答，这些都是能够在同一个模型当中去完成的；于医疗影像分析方面，统一的多模态理解有可能会帮助医生更为高效地去处理报告以及图像。

自然，要从实验室原型转变为商业产品，这中间存在着一段漫长的路程。论文也十分坦率地探讨了当下所存在的限制状况：其推理速度依旧具备提升的空间，视觉分词器在压缩比率以及保真程度之间存有一定的权衡考量，对于长视频的处理能力还需要进一步强化。然而这些属于工程优化范畴内的问题，并非范式研究中那种毫无出路的情形。

一个范式的开端

回到本文开头的问题：Emu3的真正意义是什么？

于技术层面而言，它证实了称作“下一词预测”的作为多模态学习统一范式的可行性，这并非属于增量式的改进，而是针对主流技术路线形成的根本性挑战。要是Emu3的结果能够进一步予以扩展，也就是更大的模型、更多量的数据、更长一点儿得上下文，那么AI领域也许正伫立于一次范式转移的门槛位置呢。

产业角度而言，它给中国AI研究确立了个新标杆，大模型竞争里，中国团队常被视作快速跟进者而非规则制定者，Emu3登上《自然》，不仅因为学术声誉获认可，更在于它提出了一条区别于OpenAI、Google、Meta的技术路线，且拿实验证实这条路是可行的，此种原创性贡献，是构建长期技术影响力的根基。

站在更为宏观的角度去看，Emu3获得成功这件事暗示的是一种存在可能性的未来，那就是或许智能的本质是预测，预测下一个词语，预测下一帧画面，预测下一个动作。当这些预测任务整合在同一个框架里时，涌现出来的可能不只是更强的模型，而是对于“理解”以及“创造”自身的全新诠释。

处于论文末尾部分所写下的内容为：“将统一的下一符号构建模型当作世界模型来讲，其提供了一条具备希望的途径，而这样的情形下的模型，它整合了感知、语言以及行动。”这所表达的内容，不仅仅是一项技术方面的愿景，而且还属于一种哲学层面的立场：智能这种事物，有可能并不需要被划分成为彼此相互独立的模块，它能够呈现为持续不间断的、整齐划一的、自然而然生长起来的状态。

当然，一篇论文没办法回答所有问题，Emu3的上下文窗口长度不足够，处理小时级视频依旧是挑战，它的推理能力和专用语言模型比较仍存在差距，它对于真实物理世界的“理解”到底有多深，还需更为严格的测试，不过它已经跨出了关键一步，证明了一条更简洁且更统一的道路是存在着的。

在AI的发展历程当中，可以这么说，最为关键的突破之处，通常来讲并非是去构建出更具复杂性的系统，反而是探寻到更为简单的原则 这一情况。从反向传播开始计算下去 接着到注意力机制方面，由强化学习一直延续到扩散模型那里，每一回产生的飞跃 全部都是源自于对复杂性所做的简化效果。Emu3所具备的贡献，大概就是把多模态智能存在的复杂性，简化成为了一个质朴的问题 那就是：下一个符号究竟是什么呢？

这个问题的答案，将塑造AI的下一个十年。