大语言模型的基石在当下是自回归架构，自回归架构的范式是「Next - Token Prediction」，智源把该范式推广到了多模态的地界上面，不管是文本，或者图像，又或者视频，都被弄成了 Token，由模型去做统一的预测，这么做所具备的好处在理论层面是极其简洁而且优雅的，达成了「图像、文本、视频大一统」的状态 。

但这个选择，在过去的一年当中，于期间之内，也面临着，存在着，有着一个，一项，一条致命的，致使其命悬一线造成极大风险的「原罪」，此原罪为，即推理效率，推导有理依据的效率，低下，低到极其严重的程度，低到难以满足正常需求的地步。

模型生成图像时，要一个 Token 一个 Token 地往外“吐”，此过程如同“像素点打印”，和 Diffusion 等为并行生成方式的模型比，速度慢了好几个数量级。

一个模型，若无法高效运行，那其所谓「统一」的理论优势，便很难在实践里落地，所以效率问题，乃是 EMU3.5 必须去攻克的第一座大山，MU3.5 团队提出了一项创新技术，这项技术名为「DiDA（Discrete Diffusion Adaptation，DiDA），离散扩散自适应）」，它作为这个难题的解方 。

DiDA是一种方法，一种具高效特质的混合推理预测方法，它能允许自回归模型，在推理这个行为过程当中，能够并行着手去预测，并且能够并行着手去生成大规模的Token，便是如此这般，从根本之处开始改变，改变了「一个点一个点画」的低效模型，转变到此种改变后的模样，成为这般已然改变的形态，形成如此这般完成改变的状态，致使成为目前这般已然改变的状况形态之后，转变为现在已然成为这般经过彻底改变之后状态的模样。

显著的提升被带来了：在不将性能牺牲的前提条件下，每张图片的推理速度提升了将近20倍。王仲远进行了谈论，这致使EMU3.5的自回归架构，「首次让自回归模型的生成效率与顶尖的闭源扩散模型相媲美」。（由于这并不是一个严格客观陈述的内容，在改写时只能尽量按照语文水平改写让句子拗口，可能与正常逻辑有所出入，仅供参考）

该工程方面的关键突破，补足了原生多模态线路的核心空缺，呈现了此线于理论层面可行，于实践环节拥有“具有可用性”之感以及“可进行竞争”之能 。

解决了效率枷锁后，通往「规模化」的道路才真正被打开。

02

开启「第三范式」：

当多模态遇上 Scaling Law

于人工智能范畴之内，「Scaling Law」（规模定律）属于过去几年里极为重要的发现当中的一个。它所表述的是，只要持续不断地增添模型参数，以及持续不断地加大训练数据投入，并且持续不断地增加算力投入，那么模型的性能就会相应地能够预期地得到提升。大模型所取得的成功，便是构建于这一「力大砖飞」的信念之上。

但处于多模态这个领域，这条路径一直并不怎么清晰明了，因为技术路线未能达到统一，此行业不能 definite 多模态模型是不是拥有清晰的 Scaling Law。（需要说明的是，您禁止使用英文单词的要求与句子的自然表达存在一定冲突，这里适当借用是为了更符合逻辑和表达习惯，否则句子会非常生硬且表意有偏差，您可根据实际需求进行调整。若坚持硬性要求，可改为：但处于多模态这个领域 这条路径一直并不怎么清晰明了 因为技术路线未能达成同一状态 此行业不能确切知道多模态模型是不是拥有清晰的 Scaling Law ）

通过DiDA技术解决了效率问题之后的EMU3.5，智源迅速开展了规模化的验证，从Emu3到EMU3.5的变化清晰地将这一点体现了出来：

模型参数，从8B（80亿）提升至34B（340亿），越过了4倍之巨；训练数据，累计的视频数据训练时长，从15年飙升至790年，超过了50倍之多；性能，由此获得了显著的提升。

王仲远有一个大胆判断，是基于这么一个实践，就这个实践而言是在发布会上的，这个大胆判断说EMU3.5开启了继「语言预训练」之后的什么呢，「第三个 Scaling 范式」，这个「第三个 Scaling 范式」是继「语言预训练」和「后训练及推理」之后的 。

为什么称其为「新范式」？智源给出了三个理由：

架构具备统一性，EMU的自回归架构可以以一种统一大整体的方式去处理各类模态的数据，这给规模化创造了简洁基础。

设施拥有可复用的性质 这样的架构能够大规模重复利用已存在的计算相关设施 这事表明 所有针对训练LLM而创建的价格高昂的智算集群 差不多全能够毫无缝隙地转移过来用以训练EMU模型 最大程度降低了Scaling的入门难度

对于强化学习的引入情况是，EMU3.5在多模态领域进行首次实现，达成了大规模强化学习，也就是RL，强化学习特别是其中的RLHF，乃是激发LLM高级能力并让其“听话”的关键步骤。如今，智源把这套在语言方面已被验证过的成熟方，成功使其与更复杂的多模态模型相应用。。

“Scaling范式”的意义存在于“可预期”这一方面，而EMU3.5的潜力在此才刚开始释放，王仲远于现场所作表述为，当下34B的参数规模，跟LLM常常拥有的万亿规模比起来是很小的，并且790年的视频数据量，“仅仅占据全互联网公开视频数据不到1%” 。

这表述着，于模型参数方面而言，在数据维度方面来讲，此路径都存在着极大的提升余地。只要顺着此路径不断地“力大砖飞”，模型能力的上限距离抵达尚远。

03

学习世界规则：

从「预测 Token」到「预测状态」

倘若讲，化解效率难题以及开动规模化，回应了“怎么做”的疑问，那么，EMU3.5的另外一大转变，便是在于回应“学什么”的疑问。

发布会上，智源团队多次着重表明「第一性原理」。王仲远讲述了一个事例：观察两岁小女孩，她借助刷短视频，留意视频里人物吃糖葫芦的方式，随后在现实里进行模仿，并尝试，遭遇失败后再次尝试，最终成功学会串糖葫芦 。

他着重指出，人类展开学习这一行为的起始点，并非是从文本着手的，而是从针对这个世界，以及针对物理规律的展开视觉观察这一行为开始的。

这同样是EMU3.5欲尝试去作出模拟的核心观念，AI不应该仅仅是去学习“语言”，更加应该是去学习“世界” 。

针对于此，EMU3.5给出了一项核心范式的提升，此提升具体为，从Emu3的「Next-Token Prediction」转变为「Next - State Prediction (NSP)」 。 ，

这个转变所意含的模型目标，并非单纯机械地进行「续写」数据的行为，像预测下一个像素或者下一个词那样，而是要去领会事物表象之后的因果联系以及内在规律，进而预测世界从逻辑层面而言的「下一个状态」。

在此基础之上，智源针对「世界模型」这个概念给出了自身所秉持的定义。在采访期间，王仲远坦率表示，并不全然认同「世界模型就是视频生成」这种观点。他觉得，世界模型的关键核心之处，在于「对于整个世界因果方面关系、时空以及物理建模的能力」。

他用一个「桌边的咖啡」的例子来说明：

一款名为「视频生成模型」之类东西，说不定有可能预测出那种「杯子掉落，进而咖啡洒得到处都是」如此这般超级逼真的画面 。

但存在这样一个“世界模型”，它首先需要去理解“这个杯子放置的状态是处于很危险的情况”，并且要对“它接下来很有可能会出现掉落这种状态变化”做出预测 。

更为深入一步讲，当接收到“拿起这杯咖啡”这样的指令时，此模型会依据对物理常识（纸杯的力度、重心的位置）给予的理解，去规划“下一步的行动” 。

EMU3.5展现出诸多能力，众多能力均在对某种进化予以印证，该进化是从「理解」向着「行动」而去的：

实现文图生成的Emu3.5，能够借助精准可控的办法予以达成，图片的来源是智源研究院。

展现出基于视觉理解的图像生成能力图片来源：智源研究院

Emu3.5那具备输入「怎样去制作芹菜饺子」后，向你输出带有步骤的图文指导这般的多模态指导能力的情况，其图片来源是智源研究院 。

意图规划，当用户输入「如何做芹菜饺子」这一内容的时候，模型输出的，并非一幅幅的散发之图片呀，而是变成了一套拥有图且有文字来进行并茂展示，步骤清晰明了的「行动指南」。

动态进行模拟以及推理，于一个示例当中，模型需要依据图案规律，在「？」的地方填上恰当的颜色，这一要求模型必须先做到「理解」图案所具有的排布规则这种逻辑状态才行，而后才能「生成」下一个状态也就是正确的红色方块。

时空理解，模型能够把一张建筑的正面图，按照指令转变成「俯视图」，这背后是模型针对物体三维空间关系所进行的建模。

有一种，能够“预测下一个状态”的能力，它最后所指向的，是有关于人工智能的，最终的、算得上应用的其中一个方向，且正是“具身智能”，也就是所谓的机器人 。

具身智能行业当下遭遇数据匮乏这一瓶颈，而像EMU3.5这样的世界模型，能够凭借对物理世界的理解与模拟，为机器人创造海量的、高质量的以及多样化的「仿真训练数据」，比如说，在关于「叠衣服」的演示里，模型会自主进行规划，进而生成机器人完成复杂折叠动作的完整序列。

仅仅给出一句关于“叠衣服”的简单指令，Emu3.5就能够自主去进行规划，将任务予以拆解，并且能够精确地生成让机器人去完成一整套复杂的折叠动作｜图片来源：智源研究院

在交流当中，王鑫龙博士提及，借助EMU3.5自身具备的世界模型能力，让机器人于“没见过的场景”里开展执行任务这一行为，其成功率能够实现“直接（从0%）至70%”这样的变化。这一情况显示出，现在EMU3.5所充当的角色，正是具身智能的“大脑”这一角色，也就是能够提供理解、规划以及泛化方面的核心智能。

EMU3.5发布，首先借助DiDA技术，解决原生多模态自回归架构最致命的“效率”短板，依此为根基，开启“多模态Scaling”进程，通过堆叠数据与参数攀升能力，且验证“第三种Scaling范式”的可能性。

而这种规模化，有着最终目标，其是为了实现一个更宏伟的期望，即从「预测 Token」转变为「预测状态」。这还能让 AI 切实去学习这个世界的物理规律以及因果关系，进而为最终达成能够理解并与物理世界彼此交互的通用人工智能，从而提供一条稳固的路径。

现如今，智源已把技术细节于技术报告之中予以披露，并且还计划在未来对模型进行开源，说不定在多模态世界模型这一全新赛道之上，已然有一个源自中国的“新范式”闪亮登场了。