在2021年接近尾声的时候,商汤科技于港交所举行敲钟上市这一行为。此一时刻仿若整个计算机视觉行业所经历的一场成人礼,它意味着在那之前持续数年时间的狂欢以及出现的争议,最终有了一个暂且安放的点。
商汤智能汽车事业群中身为灵魂人物的武伟,当时担任商汤绝影智能云研发总的经理,他亲眼目睹了商汤在过去十年里从无到有,历经诸多波折最终实现上市的整个历程。然而,就在商汤上市进行敲钟的那个瞬间,他察觉到自己已然置身于新的岔路口之上。
武伟表示,他喜爱初创公司的那种氛围,于相对未知之域,众人迅速尝试犯错,以突破新技术,直至其切实于产业落地而发展起来。就这样,武伟就开始考量自身而下一程该迈向何方,要不加入某个初创团队,要不干脆自己再度开展创业之举也。
到了2022年举办CVPR期间,有一个特别的情况出现了,武伟偶然间机遇巧合地和特斯拉团队开展了一次针对技术方面的交流互动。就在那个时候,他们彼此之间达成了内心的一种默契,都认识到了这样一个情况,世界模型是AGI领域全新的基础设施。
武伟做出了选择,是在三年之后,他告别了凭借自己一手打造而成的“绝影”,于2025年5月发起创办了流形空间(Manifold AI),随后此刻他又站到了另外一个全新的技术风口之上。

Manifold AI流形空间创始人兼CEO武伟
流形空间,在成立3个月的时间里,接连获取种子轮,以及天使轮这两轮融资,融资总额达到一亿元,进而成为了世界模型领域的一匹“黑马”。
在数学范畴之中,“Manifold”被径直翻译成为“流形”,此乃一种具备简洁特性同时又拥有普遍适用性的几何结构,它于局部的状况下简单到能够实现线性化,而在全局层面又普遍到足以对复杂的高维空间予以描述,出身于数学领域的武伟,正在尝试探寻一种具备“既简单,又通用”这种特质的方案,去打造一个能够理解并且可以预测物理世界情况的大脑。
这是个几近完美的技术理想没错,然而当下那会儿的世界模型赛道着实是特别至极的复杂异常,技术目前依旧处在早期阶段,所有的相关情况还都没有呈现出收敛的态势,市场所展现出来的热闹程度简直就比如说像2023年初的LLM所出现的“百模大战”那般。
在今日,一篇由斯坦福大学教授 李飞飞所撰写的长文, 《From Words to Worlds:Spatial Intelligence is AI’s Next Frontier(从词到世界:空间智能是AI的下一个前沿》, 引发了整个硅谷对于空间智能与世界模型的讨论, 此长文中李飞飞提出世界模型需具备的三项能力, 分别为Generative、Multimodal、Interactive(生成式、多模态、交互性)。
李飞飞感到,紧接着的世界模型预期会让机器于全然新颖的层次达成空间智能,这般达成后将会开启当下AI体系里依旧普遍匮乏的重要能力,而运用世界模型能够给人们塑造更为美妙的世界。
世界模型概念正处于火热状态,然而,那些押注世界模型的厂商,一定要给外界一个具备充分性的理由,目的是吸引更多的资源,使其能够涌入这个尚属年轻的领域,如此才存在让愿景变成现实的可能性。
而当下武伟需要去做的事情是,在确切的技术理想以及不明确的市场环境之间,保持一种微妙的动态平衡状态。
1.世界模型与VLA之争
最常问武伟的问题当中,次数最多频繁的那个,是“为何世界模型会比VLA更具优势” 。
于当下的具身智能范畴之内,世界模型以及VLA(Vision-Language-Action)模型,二者属于一对“影子对手” 。这二者经常会被放在一起来进行讨论,而且各自都拥有了大量的追随者 。然而之所以把它们说成是“影子对手”,缘由在于这样的一种对比本身并不容易站得住脚 。
于商业领域当中,撇开场景需求去谈论技术的好坏,近乎等同于“耍无赖”。无论怎样了不起的技术革新,都难以避免地要借助服务各个行业,以此寻觅到其在世俗范畴内具备的“产业价值”。
世界模型,以及VLA,实际上是运用不一样的方式,去处理同一件事情,这个事情就是,使得机器能够领会人类的抽象指令,进而把它转变为在复杂的现实世界里能够进行执行的具体物理动作,最终完成任务。
武伟持有这样的看法,按照他的观点来讲, VLA的实质是把高维度的视频领域进行一种降维操作,使其降低到语言领域,接着要将视频于文本指令达成对齐,随后借助大量的机器人经验数据,像是轨迹的数据、动作的数据,来开展实施对齐以及训练的工作,目的是让机器拥有读懂语言指令的能力,并且能够基于模仿学习,高效无误且可靠地去完成具体的任务。而它的范式本质是依据已有的VLM基座模型,在着手做“机器翻译”任务有关事宜中的一种的“后训练” 。
他认为,这种训练方式会造成两个弊端。
一方面,VLA模型于训练之际与特定的机器人本体紧密相连,若更换一个机器人形态,比如说从人形机器人转变为四足机器狗,不然,甚至是变更一种机器人本体构型,那么该模型便需要诸多后训练数据再次进行适配,如此一来,部署成本极为高昂。
从另一个方面来说,VLA模型仅仅是了解事情是这样的,然而却不清楚事情为什么是这样的,其根本实质是借助大量去模仿进而学习到某一种经验,并且是在有需要的那个时候把该经验给复刻出来呢。它仅仅能够去执行它曾经见过的动作,一旦碰到在训练数据里从来都没有出现过的、需要进行推理跟规划的那种新颖场景,也就是长尾问题当中所说的长尾部分,它就会陷入毫无办法的境地,它没有办法去预测一个动作所引发的连锁反应 。
与之形成别的情况的是世界模型 ,它践行的做法把既定常规做法颠倒过来 ,它把语言提升到视觉方面的范畴 。它属于一种能够对所有场景进行模拟的生成式模型 ,经由去学习数额极其巨大的世界领域的知识 ,使得模型能够明白世界的因果关联的规律 ,进而衍生出具有“Dreaming(等同于具备想象)的能力” 。
在武伟眼中,于实际应用场景之中,这般预测能力借由两种路径展现。
第一种,它呈 Agent Model 模样,也就是智能体模型,借在线模拟以及推演这种方式,进而获取更为优质的决策。
他列举了一个形象的范例:“我瞅见一个人在哭泣,我该拿什么办法呢?”VLA兴许仅仅会靠着模仿学习的验核回击去给出一个公式化的回应;然而世界模型会开展推理:“假设我去抚慰,对方没准儿会对我心怀感激。”这段推理进程,便是世界模型于开展在线模拟,要去获取更优的决策。
一种是充当作为Environment Model(环境模型),借由离线强化学习致使物理智能体获取更优的泛化能力。武伟期望世界模型变成一个Omni Simulator,也就是一个能够模拟物理智能体交互环境的通用仿真器。
关于这种通用仿真器,它和传统依赖图形学的物理仿真引擎存在着本质区别,由于后面提到的物理仿真引擎不“可微”,所以它根本没办法成为一个能够用来学习、可以持续进化的系统。
因此,在武伟的蓝图中,VLA只是一个过渡方案。
具有心智推演能力,也就是能于脑中模拟因果、预判后果以及优化行动,乃是使得AI首次具备世界模型的关键所在,而世界模型旨在通过预测环境变化以做出更优决策,并非像传统AIGC那样还原现实,武伟向「甲子光年」表示,世界模型已然成为AGI的重要基建 。
总的来讲,世界模型拥有的心智推演能力,即Dreaming能力,其本质实际上仍然是一种颇为强大的预测能力,这种能力使得世界模型在理论层面更能够借助更节省的方式,达成跨本体、跨场景的泛化,这同样是在现阶段,以武伟作为代表的那一派觉得世界模型胜过VLA的根本缘由。
理论上证明可行性后,接下来的课题,就关于“如何做”。
2.世界模型的技术混战
世界模型所在的这个战场,极为年轻,最早能够追溯到,2018年那篇名为《World Models》的论文 。
在这篇文章里提出来了“Mental Model”这个概念,借由一个RNN针对世界状态开展建模工作,把世界状态编码到隐空间当中,之后借助隐空间来进行状态的迭代预测 。
在2024年到来之际,这个方向呈现出真正的爆发态势。OpenAI所拥有的Sora摇身一变,成为首个具备文生视频能力的深度学习模型。自那之后,AIGC技术路线开启了与“视觉世界模型”的深度融合之旅。
整体上看,武伟将当下的技术脉络大致归纳为两大派系。
有一派是通过实际物体创建模式即借助模型再现世界,这一派别的目的为产生与实实在在宇宙中一致的视频样式范畴的能够相互作用的空间。
有着代表性的选手当中有一款叫Google Genie系列了,它是以自回归技术路线当成主要部分的,会针对视频和动作也就是latent action去做tokenize这件事呢,将其转变为离散的token,之后再依靠自回归模型来训练呀。
还有一个具有代表性的玩家,那便是由斯坦福大学教授李飞飞所创办的WorldLabs 。
今日,李飞飞借着空间智能的视角,有条理地阐释了其对于“世界模型”的界定之看法,于业内备受瞩目。她觉得,一个真正拥有空间智能的世界模型应当存有三项关键能力,一是生成式(Generative),即能够造就出具备几何与物理一致性的世界;二是多模态(Multimodal),也就是能够处置并且理解如图像、视频、文本、动作等多样形式的输入;三是交互性(Interactive),意味着能够依据输入的动作预估世界的下一个状态 。对她而言,这是促使AI越过语言理解范畴,切实联结想象、感知以及行动,进而开启创造力、机器人学以及科学发现之门的要点。

而就技术策略而言,武伟觉得,WorldLabs的办法跟Google稍微存在差异,运用了Geometry Forcing(几何强迫)这点,或换言之展现出“物理注入” 的行为风格状态现象效应影响特点。这类情况是在数据标注阶段之时,就已然有着引入稠密点云、三维一致性等显式出来的物理方面信息的情况,并且强力地把物理约束注入到训练过程之中,进而达成生成更具备3D一致性的场景工作成果表现。
有一派是隐空间交互,这一派系的目标并非复现世界,而是要训练出一个能够与世界交互的智能体。
工作中,Google Dreamer系列是该派中极有代表性的,其核心思想是,凭借世界模型把真实世界压缩至一个“隐空间”(latent space),于这个虚拟的隐空间之内训练智能体 。
这条路径使得 Dreamer v3 切实具备泛化能力,它于一个游戏(像 Atari)里开展训练之后,不用对参数作出修改,就能够直接在一个全新的、前所未见的游戏环境当中,达成泛化 。
“Dreamer系列”外面呐呀,还存有另外壹条途径哟,那便是Meta的V − JEPA系列呀呢。它在本质层面上呢呀也同样是于构建壹个空间世界模型喽呀,也同样是在隐空间区域之内去开展表征推演哒哦。
然而,和Google的Dreamer依靠强化学习来趋近最优策略不一样,V-JEPA系列引入了一条新的思路,借助sampling(采样)以及能量函数评估的办法,去探寻最优的执行状态。所以,它不再只是依靠强化学习来进行最优策略趋近,而是在能量空间里找寻最优解,这是一类更“可解释”、物理一致性更为强的智能体建模方式。
采用此方法时,V-JEPA2能够借助海量的视频数据,特别是第一人称视角的那种视频数据,并且再加上少量的机器交互数据,进而训练出一个世界模型。
尽管发展进程飞快,然而武伟觉得现有的路径有着共同的短处,那就是任务适配性不太强,并且跨尺度的泛化本领较弱,换句话讲,就是一个针对自动驾驶进行训练的模型,没办法应用于室内机器人。
流形空间所要达成的,是能够于不一样尺度相互迁移、实现统一的“具身世界模型”。
武伟告知「甲子光年」,Google、WorldLabs等国外团队,对于世界模型的研发策略,更多呈现为“Top-down”(自上而下),乃至于诸多是源于学术研究,并非产业落地。相较之下,国内特别是初创企业,更适宜采用“Bottom-up”(自下而上)路径,此路径更类似特斯拉的路线,也就是先着手做领域模型,与此同时开展一些落地应用,借助场景反馈数据持续完善模型能力,进而训练基座模型,经过循环往复,不断对上层的领域模型予以优化,从而构建数据飞轮。
当下,有个流形空间宣称自己是全球仅有的、布局全域世界模型的团队,该团队成员早前参与了自动驾驶世界模型DriveScape的研发工作,最近又独自研发了适用于机器人场景的RoboScape,以及用于无人机场景的AirScape。

这些领域模型,皆基于自行研发的LongScape架构,此架构结合了Auto-regressive与DiT混合建模方式 。因架构具备相对同构的特性 ,所以它们能够借由MoE这种方式 ,便利地"混合"成为一个更具通用性的基座模型 。
武伟承认,关于怎样利用世界模型达成具身智能这个事情,当下还没有谁弄明白,大家都在依据自己对技术的理解去探寻某些可行的途径。而且流形空间极为独特,甚至比VLA的核还要厉害,关键就在于做出了一个重要决策:决定从着手进行预训练开始。
3.一定要做预训练吗?
现阶段,数量极其庞大的VLA,乃至世界模型,皆是于既有的视频或者语言模型之上开展“后训练” 。
武伟解释说,要是你没有十分良好的预训练,或者模型在预训练里未获取Dreaming能力,那么在没见过此类样本数据的情况下,它实际上并不清楚物理世界的运行规律究竟是怎样的。正是由此引发的结果,使得模型需要诸多后训练数据来补充,致使模型的部署成本相当高 。
对于流形空间而言,它尝试借助预训练,促使模型切实学到物理世界的先验知识,进而理解因果规律。
武伟说,在我们的方案当中,世界模型开展了颇为良好的预训练,它见识过近乎人类全部的动作空间以及任务完成的数据 。当这个具备强大先验知识的基座模型去适配一个全新的机器人本体或者场景任务时,后训练所需的数据量就会更少,这会极大地降低模型的部署成本 。
如今所做出的这个特定选择,实际上也是从GPT所取得的成功当中获取到了相应灵感。武伟回忆道,在GPT尚未出现之前,AI针对翻译、客服、QA等各种各样不同的任务,都要去单独开展模型训练工作。然而OpenAI借助海量的预先训练,促使模型斩获了极为强大的先验知识,进而让其在下游任务方面,仅仅凭借少样本甚至零样本的情况,便能够达成任务目标。
对此目标予以达成,流形空间于数据管线方面,有着对应创新,在模型架构设计方面,也存在相应创新,于训练方法方面,同样有着相当创新。
在数据这一方面,武伟坦白表示,鉴于技术根本就没有达成收敛的状态,并且不存在相关的标准能够清晰明确地规定什么样的数据会更加适宜用于训练世界模型 。
对流形空间而言,其做法是,整体数据构成方面是,有70%的互联网数据以及30%的真机采集数据。其中,针对互联网的数据存在筛选也很严格这种倾向情况,具体选择方面表现为,流形空间选用大量ego-centric也就是基于第一人称视角呈现出的数据,其原因出于,这种数据与机器人的推理domain之间的差异相对更小。与此同时,在用于训练世界模型这个范畴的数据上,最好是能够涵盖更多数量的任务,如此有助于数据的variance也就是方差。有一个细节值得留意,那就是流形空间呈现出更倾向于使用包含着失败状态恢复的相关数据的态势,这样做会增强模型具备的纠错能力。
在模型架构设计方面,流形空间所提出的具身基座模型,强调一种能力,这种能力是Reasoning(推理)、Dreaming(想象)、Acting(执行)三位一体的,在训练方法上也是如此。
武伟作出解释阐述说,世界模型一般情况下仅仅着重突出Dreaming能力,然而对于具身基座世界模型而言,Reasoning以及Acting同样具备重要意义。 其中,Reasoning能力意味着具身智能体的思维链,对解决常识问题能够起到帮助作用;Acting属于一种特殊的Dreaming模态,是具身智能体实现优化的最终目标 。
在目前,世界模型所面临的最大的技术方面的挑战,乃是实现此三种能力的协同提升。这是由于三种模态的数据其自身本来就是异构的,若要使得它们的能力能够同步提升,那么就必然会涉及到种类繁多的架构设计以及训练使用的技巧。而这些复杂程度颇高的工作全部都需要在预训练的过程当中去完成,如此才能够在最大的程度上降低后期模型于实际部署环节之中的难度以及成本。
武伟说出这样的情况,传统的视频生成模型,尽管也是历经了大量的预训练,然而该模型对于每一帧画面当中的“主体”,关注度是不足够的,反而是会去关注每一帧画面里的所有细节,如此一来,就很难将算力运用在最需要的地方了。
流形空间运用创新举措,于视频生成质量与动作这个方面,构建起了一种正向关联。这致使模型予以训练时,Dreaming能力的提高能够一致地反馈至动作质量的提高之上。
武伟表示,我们应该或许是在该行业领域内第一个可以达成做到这一情形的对象。达成此种状态之后,流形空间往后接下来的目标方向是相当清晰的啦。那便是要同步一同去探寻摸索世界模型的产品化进程。这可是一家初建创建的企业为了能够走得久远长远所出现产生的定然必然选择呢。
4.攀登高峰,沿途下蛋
对于公司的发展战略而言,武伟所施行的策略极为务实,他把这一策略归纳成了一句中国创业圈的特定说法,也就是“攀登高峰,并且沿途下蛋。” 。
“攀登高峰”乃是打造出通用的具身世界模型基座,“沿途下蛋”指的是在这个进程当中,把RoboScape、AirScape等领域模型(Sub - domain)先行开展一些产品化以及商业化操作,借此来产生营收,从而支撑团队能够走得更为长远。
落地场景方面,武伟给出了这般决定,颇为出人意料,即率先考量机器人领域,同时,无人机方面也会位列优先。而且呢,他做出决定不会顾及,完全不纳入自动驾驶领域 。
在旁人眼里这是一种反差,毕竟他曾经是自动驾驶领域当中的顶尖玩家 。然而武伟的想法格外清醒:“并非是说世界模型在自动驾驶这个领域作用不显著,相反它的作用实际上还是比较突出的” 。
他放弃的缘由在于产业结构,武伟判定,自动驾驶产业正处在产能出清阶段,巨头正在形成且出现收敛现象。在这个时期,算法迭代仅是其中一个环节,差异化似乎更多在于这么多年的工程化部署以及与合作伙伴的一些深度协同,。
相比另外的情况而言,其中机械装置和无人驾驶飞机的市场呈现出更为分散破碎的状态。这儿一位名为武伟的人持有这样的观点,即何种工作种类存在于人的就业范畴之中,那么就会有与之对应的同样数量的工作种类由机器人来承担 ,这样的一个市场能够接纳更多的参与者。
更为关键的是,具身智能属于一个着重强调软硬件综合能力的赛道,依据自动驾驶以往的行业经验而言,大厂于软硬件系统的构建方面并未展现出太大的优势。
武伟分析道,大厂在ToC以及偏软的事务方面更拿手,然而具身所属的市场是偏软硬一体且更为碎片化的。处于自动驾驶领先地位的地平线和Momenta是创业公司,从事无人配送的新石器同样是创业公司,这些均非大厂所孵化。具身需要具备很强的落地部署以及软硬件系统工程能力,而这不见得是大厂所擅长的,组织规模变大后对于新技术的反应转而会变慢,这些情形都是创业公司的机遇 。
具体而言,于无人机范畴以及机器人领域之中,流形空间着重聚焦于怎样促使硬件本体具备自主推理的能力方面 。

基于RoboScape的机器人预测执行能力

基于AirScape的无人机预测执行能力
武伟称,当下,机器人以及无人机依旧处于主要由人类实施控制的阶段,无人机出货量尽管很大然而重点是借助人工飞手来操控;机器人硬件呈快速发展态势,不过更多的情形是运用遥控器去操作。我们将重点放在朝着智能化、自主推理的方向予以发展 。
不过,从长期来讲,武伟预估,世界模型要开展产品化,还有一个关键的前提条件,那便是轻量化。流形空间已把模型量化蒸馏配置到边缘端的推理系统里,能够促使机器人进行自主移动操作,还能让无人机实现自主导航。武伟宣称:“我们基于算力层面选用了英伟达的芯片,未来也会把国产芯片当作多元化的选项来予以思考。”。
实际情况是,就流形空间当下的业务布局而言,世界模型的预训练,这是一个行业级别的复杂难题,不同的领域模型,这同样是一个行业级别的复杂难题,世界模型的产品化,这还是一个行业级别的复杂难题。对照创业公司目前的规模来看,假如真正要达成在“攀登高峰”之际还能“沿途下蛋”的目标,这对掌舵者的能力有着极为高的考验。
5.用数据驱动的方式做事
终归来讲,创业跟在大公司担任高管是不一样的,除去得思索怎样“行事”之外,更为重大的难题在于怎样去应对“人”以及“钱”方面的问题。
从有着千人规模的龙头企业高管职位,转变到仅有几十人规模的初创公司担任CEO,武伟的心态发生着改变。他所带领的团队能够划分成两队人员,一队是有着丰富工业界经验的资深人士,另一队是极具天赋的00后群体。比起通过高额金钱去挖掘人才,他更加看重人才所具备的能力密度,而非单纯的数量。
他竟然将AI的训练思维转移于团队管理方面,打算采用“数据驱动”这种方式去开展事情,。
传统的管理像是“监督学习”,而他更倾向于“强化学习”。
「甲子光年」被武伟告知,如果这个团队的同学能够完成这件事情,并获得一个正向的结果,那么你实际上就必定应该鼓励这种成果,要及时地给出一个reward(奖励),采用类似强化学习的方式,促使整个团队趋向最优解。你绝不能强行让天才00后都听从‘老司机’的想法,让其去避开陷阱,所以这样一来有一些闪光点反而会被埋没掉 。
当下,流形空间已然获取了亿元级别的资金投入,而且拟定在2025年末到2026年年初期间,正式推出其第一代依据WMA路线的基座模型。武伟透露称:“我们期望成为经由产品驱动的公司。整体的融资进度依旧是跟产品研发的进度相契合。”。
关于公司的长期规划,武伟进行着严肃的思索。他期望流形空间能够“促使Physical AI Agent实现向前的一大步跨越 ”,并且期望公司“通过自研以及赋能达成的机器人数量多于市场总量的10%”。
好像他引用了物理学家费曼提到的那句有名的话语,那句话是,不能够进行一种创造行为之时,对于我来说,去把握理会它就成为不存在可能性的事情 。
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/279297.html
