上海创智学院、新加坡国立大学以及复旦大学共同推出全模态端到端操作大模型RoboOmni，将视觉、文本、听觉以及动作模态予以统一，达成动作生成以及语音交互的协同控制。140K条语音 - 视觉 - 文字「情境指令」真机操作数据被开源，引领机器人从「被动执行人类指令」朝着「主动提供服务」的新时代迈进。

即便在平常生活里头，人类极少去发出那种生硬的、命令式的指令，像「把杯子放到桌上」这样的，更多情形下，我们真正的意图是隐匿于对话当中的，是潜藏在语⽓里面的，甚至是隐含于环境声音之中的。

「这果汁酸得很」，其所表达的意思实则是想要去更换成其他种的饮品；当听到雷声突然间响起，便晓得应当去把窗户关上并且收下晾晒着的衣物；凭借声音辨别出是爷爷在进行交谈，则会积极主动地去询问爷爷是不是想要喝他最为喜爱的热茶而非可乐；处在多⼈同时展开交谈的情景之中，还需要分辨出究竟谁才是那个发出指令的⼈。

当下，机器⼈最终得以听懂这些“潜台词”了！由复旦⼤学和新加坡国立⼤学共同联合发布了RoboOmni，它不但重新对机器⼈交互的“情境指令”这一新范式进行了定义，而且凭借全模态端到端的统一架构，使得机器⼈首次拥有了“察⾔观⾊”的认知能力。

具身交互范式革命：从「显式指令」到「情境指令」

图1，是按照指令类型以及输入，针对机器人操控模型给出的分类。一款名为RoboOmni的产品，借助整合跨模态情境指令，达成了端到端多模态交互和动作执行的一体化。

当下主流的VLA模型存在两大局限，其一，现有模型大多依赖精确、显式指令，像「拿起苹果」这样的，无法理解隐含意图。其二，现有方法的指令输入严重依赖文本，就算使用语音，也得先通过ASR技术转成文字，这就丢失了语调、情感、说话人身份等副语言关键信息，更无法感知门铃、雷声等环境声音的语义。

这表明了，以往的机器人，是那种需要“精确编程”的，略显迟钝的执行者，而并非那种可以“察言观色”的，具备智能的伙伴。

由复旦联合新国立提出的称之为「跨模态情境指令」（contextual instrcution）的新范式，其意在彻底改变这一现状，它存在这样的要求，即机器人要如同人一般，主动去融合语音对话，以及环境声音与此同时还有视觉观察，进而从多模态上下文中推断出用户的真实意图。

这已不再是单纯的指令执行情况了，而是使得机器人具备着真正的情境理解能力。它宛如一个贴心的私人助理，能够从一句嘀咕当中读懂潜台词，能够从一段对话当中读懂潜台词，还能够从周围的环境当中读懂潜台词，进而让服务变得自然从而主动且精准。

RoboOmni 架构：全模态端到端统一模型设计

图2展示的RoboOmni，采用的是Perceiver-Thinker-Talker-Executor模型结构，其通过在共享表征空间里，将视觉、文本、听觉以及动作模态进行统一，以此来实现动作生成以及语音输出的协同控制。

之所以研究团队提出RoboOmni，也就是一个基于全模态大模型的端到端框架，以此来解决传统方案的局限，是因为它真正达成了从意图识别、交互确认再到动作执行的完整闭环。不同于那种需要把语音转文字（ASR）的「拼接」系统，RoboOmni在一套统一的模型里，直接将语音、环境声音以及视觉信号融合起来去推断意图，并且能够借助语音交互进行确认，进而输出动作token去执行操作。

那核心部分呢，是一种统⼀的端到端架构，这种架构呈现为「感知 - 思考 - 回应 - 执行」的模式，再细化来说就是(Perceiver - Thinker - Talker - Executor) ：

简⽽⾔之，RoboOmni 通过统⼀端到端架构设计实现了：

OmniAction，是一个大规模数据集，它是专门为「具身情境认知」而量身打造的 。

对于主动式机器人而言，其必须要从音频里边、视觉所进行的观察当中去推断其间隐含着的意图，然而，现有的数据集是缺乏的，缺乏那种包含了视觉与音频的模态组合的情况，以及那种包含意图推理所需要的推断指令的情况。

先是为了弥补这一不足，接着研究团队构建了OmniAction，它是首个大规模具身情境指令数据集，该数据集内涵基于语音、环境音频、声音事件和视觉的情境指令，还有动作轨迹。

图 3：OmniAction 数据集构建流程。

海量规模与丰富多样性

六大情境指令：精心设计的「认知考题」

OmniAction的核心所在是其六大情境指令类型，这六大情境指令类型共同组建起了对机器人“情商”以及“智商”进行考验的立体维度：

高标准数据构建流水线

为确保数据的真实性与⾼质量，研究团队采⽤三阶段严谨流程：

生成文本剧本：依据真实机器人任务，借助大模型把直接指令改写成富含情境的多⼈自然对话。实现高保真听觉：运用MOSS-TTSD、CosyVoice等人造声音与声音还原技术，制造带有真实口吻、语气、重叠对话声音，并精确混入环境音和背景噪音。严格进行人工验证：经过严谨人工校验，保证任务意图能够精准恢复，一致率高达98.7%。

推出 OmniAction-LIBERO 仿真基准

为促使领域朝着发展的方向推进，研究团队还依据LIBERO基准，发布了OmniAction-LIBERO仿真基准。该基准提供了240个评估任务，这些任务涵盖多种不同的指令类型，并且包含真实志愿者的录音版本，它为此为公平、系统地评估模型的「情境理解」能力确立了新的标杆 。

实验结果：全面超越传统级联方案，从指标到体验的跨越

研究团队为全面评估RoboOmni，设置了严谨的对比实验，基线模型涵盖了当前最具代表性的开源VLA模型，采用两种主流范式进行对比，其一为真值文本基线，即直接输入原始文本的情况，避开了ASR带来的文字识别错误，其二是ASR文本基线，也就是语音先经Whisper转文字后再输入，代表了当前语音交互的常见方案，这两种基线意在验证端到端全模态处理的必要性。

核心突破：情境指令任务完成率碾压级领先

表格1呈现的是，RoboOmni于OmniAction-LIBERO基准之上的性能展示情况，在四大任务套件当中领先幅度极大，在六种情境指令之下同样领先幅度极大。

如下呈现，在那包含四大任务类型、六种情境指令的 OmniAction-LIBERO 基准当中，RoboOmni 获取到了 85.6%的综合成功率，呈现出一种压倒性的优势，远远超过了 OpenVLA（3.9%）、$\pi_0$（4.4%）、NORA（25.9%）。在其他传统 ASR 级联方案成功率大多是低于 10%的这种状况之下，RoboOmni 在全部的六种情境指令上都维持住了 76%以上的高成功率。

关键发现：

端到端音频处理存在着必要性，级联基线在即便使用真值文本的情况下，无法捕捉音色、没法捕捉语调，也捕捉不了重叠语音等副语言信息，然而RoboOmni凭借直接处理音频信号，完整地保留了这些关键情境线索。意图处于模糊状况下的一种鲁棒型式的识别 ，在那种既含有涵盖多个能够进行操作的物体又存在动作选择的意图构成十分复杂的任务环境之中 ，也就是所谓的Goal和Object那类任务层面 ，基准线模型展现出来的性能出现了极为急剧的下降 ，表现为最佳的基线仅仅达到了16.3% ，然而RoboOmni在这些特定任务范围里却依旧维持着85.8%以及84.你%的较高成功率 。以不同情境指令的认知难度差异来说，对于模型来讲，双⼈对话任务是相对简单的（约 88%），重叠语⾳任务也是相对简单的（约 88%），⽽⾮语⾳线索任务是最具挑战性的（约 82%），这是因为它⼀⽅⾯需要识别环境声⾳，另⼀⽅⾯还需要将其与其他模态信息进⾏整合标点符号。

真实世界表现：从仿真到现实的完美迁移

图4，有关于RoboOmni的成功案例演示，此演示是在WidowX250S真实机器人上所呈现的。

带有图4的真机演示，进一步证实了其能力能够毫无缝隙地转移至现实世界，RoboOmni呈现出三重核心能力，。

对意图进行精准识别的能力，它能够把视觉以及听觉方面的线索加以精确融合，进而推断出用户的意图情况。就算是举例来说，也能够凭借语音的具体相关内容去识别那些目标物体，与此同时，借助视觉方面所呈现的场景来判断得以正确放置的位置（就好像识别出当下的场景是吃火锅，所需要放置的容器是火锅，而并非是其他的物品那样）。具备有效的主动相互进行交互的机制这点很关键，在推断出用户潜在的意图之后，就会主动地提出具有澄清性质的问题（就像「是否需要依靠我本人以完成……？」这样的表述），并且在获得用户给予确定性的认可之后才去执行相应的动作，以此来确保每一个行动都是经过深入慎重地思考的，且完全符合用户内心真实的意图。具有可靠的物理执行特质，能凭借此在布满多个干扰物的复杂场景里精准地定位目标物体，而后还可极度细腻地置于指定位置，充分彰显在了真实环境中的可靠稳健实操操作功力 。

主动服务能力：不仅是执行，更是主动服务

图5，主动服务能力存在定性以及定量评估，左图呈现出意图识别准确率，右图是交互案例进行对比。

于协作之中，方能体现真正的智能。如图5所示，在专门针对主动协助能力的评估里，RoboOmni针对意图的识别准确率高达88.9%，这一准确率显著优于其他模型，其中GPT-4o再加上ASR的准确率仅为55.6%。

更值得被赞许的是它的「认知智能」，其中包括，主动澄清机制，当碰到像「蛋饺」这类模糊指令时，它不会不加思考地去执行，而是主动去询问「要我把蛋饺放进火锅里吗？」，还有多模态完美融合，在门铃场景当中，它能够依据对话上下文以及环境声音信号，提出「我听到门铃响了⸺应该把鱼丸放进火锅里吗？」，另外就是自然对话流维护，它一直采用「您希望我…… 吗？」等具备尊重性、协作性的语言模式，这和基线模型经常发出的直接命令或者陈述形成了强烈的反差。如此⼀系列的所具备的能⼒，致使 RoboOmni不能再仅仅算是单纯的那种只负责指令执⾏的器械了呢，反⽽是变成了那种能够切实地去领会情境、随之主动地给予服务的具备智能特性的伙伴了哟。

架构优势：效率与性能兼得

图6，(a)，借助OmniAction预训练，能够极大程度地提升训练效率，(b)，端到端建模明显提升推理效率，延迟仅仅是级联方案的一半 。

RoboOmni 的优势，并非仅仅在于效果，而更是在于效率。深入分析能够表明，其架构设计以及大规模预训练带来了巨大增益：就如同图6 (a)展现的那样，经过 OmniAction 预训练的模型，仅仅需要 2K 步微调便能够达到将近 90% 的准确率，这展现出了卓越的训练效率；如同图 6 (b)显示的一样，端到端架构消除了 ASR 瓶颈，其推理速度是传统级联方案的将近两倍（延迟仅仅为 0.49 倍）。

未来展望：通向通用具身智能之路

RoboOmni的现身，标明了机器人交互范式从那种“服从命令的工具”朝向“洞察意图的伙伴”的根本性转变，这一转变展现在三个层面，。

在交互方面，从那种「精确指令 - 呆板执⾏」的模式，转变成为「⾃然交流 - 主动理解 - 确认执⾏」的模式；在感知方面，从单模态⽂本的形式，拓展到语音、视觉、环境声音的全模态融合形式；在架构方面，从存在信息损失的级联系统，演进为端到端的统⼀模型。

RoboOmni所代表的不⾂服于只是技术突破，更在于交互范式的极具 ⾰新性。当机器⼈得以理解 「⾔外之意」这件事，能够 在察⾔观⾊⽅⾯有所作为，⼈与机器的关系会从此前的单向命令转变为双向协作。它使得技术隐没踪迹 于⽆形之中，智能融合进⾃然⾥，最终达成让技术适应⼈、⽽不是让⼈去适应技术 那样的终极⽬标 。