2025年年末,人工智能(AI)正经历一场范式转变。
Meta首席科学家,图灵奖得主杨立昆,也就是Yann LeCun离职去创业了,“AI教母”李飞飞发表了一篇内容颇为丰富的万字长文,题目是From Words to Worlds: Spatial Intelligence is AI’s Next Frontier,这篇文章直接指出了大语言模型在理解物理世界层面存在孱弱之处,她所在的创业公司World Labs发布了首个能够生成“3D可导航世界”的AI模型Marble,他们二人都将关注点转向了——世界模型 。
在中国,朱政,为其和自身共同参与创立的极佳科技,自2023年年中起,已然处于全身心投入这件事情的态势之中了。
到底什么是世界模型?
在朱政的认知里,其本质属于一种具备预测性质的能力,这种能力能够使得AI清楚,特定的某一个动作会给周遭环境带去怎样的变化,而这般情况更加贴近人类大脑的运行机制。他列举了一个饶有趣味的事例:职业棒球运动员能够在仅仅零点零几秒的极短时间内,成功接住以高速飞过来的球,然而如此短暂得近乎转瞬即逝的时间,实际上并不足以让视觉信号顺利传递至大脑皮层,而这一动作得以完成,是受益于人类大脑海马体存在一个专门负责构建世界模型的区域,该区域能够洞察物理层面的规律,进而针对即将发生的各类情况做出预先的判断。
随AI由数字世界步入物理世界,这般预测能力愈发重要,像自动驾驶、机器人,皆需世界模型的助力,还在推动世界模型的研究向前走。
这一直都是朱政兴趣的归属之处。早年间,他于中国科学院自动化研究所进行科研活动,同时也在清华大学展开学习,那时起他就在致力于让汽车以及机器人明白世界,他所研发的BEVDet算法被多家汽车企业采用,该算法在KITTI、nuScenes等相关榜单里排名处于首位。他本人更是已经连续四年被选入斯坦福大学的“全球前2%顶尖科学家榜单”。
可创业属于一个全新的课题,他务必得走出舒适的圈子,于研究的那种前瞻性、工程的可行性以及商业化的残酷性之间寻觅巧妙的平衡 。
很幸运,极佳科技在两年多时长里有了挺好的发展,朱政所主导开展的自动驾驶世界模型DriveDreamer已进入中国20家主要车企以及自动驾驶公司的方案之中,借助世界模型进行训练的GigaBrain-0也使机器人任务成功率提高了50%,就在最近三个月期间,极佳科技马不停蹄地完成了4笔A轮系列融资,总共募集资金5亿元 ,投资人包含达晨财智、华控基金、华为哈勃等 。
2024年11月28日,北京极佳视界科技有限公司的联合创始人,担任首席科学家职位的朱政,于南方周末科创大会上进行演讲,并且被评为南方周末2025年度科创力人物。
硬科技创业,研究、工程、商业化缺一不可
南方周末问,你是出身于计算机视觉领域呢,随后又转向了世界模型领域,从那个以“感知 - 分割 - 识别”作为核心的计算机视觉领域,去到了以“预测 - 生成”作为核心的世界模型领域,这里面存在着哪些挑战呀?
朱政称,在大模型火爆之前,CV领域存在诸多生成工作,其中涵盖了GAN和Diffusion,这二者是当下世界模型的关键所在。他还开展了诸多相关工作,像是借助扩散模型处理单目深度估计的感知方面情况 以及进行数字合成等事情 ,这两者整体有着承接关系 。
当然,世界模型是一项全新的挑战,它整合了大模型、视频生成、自动驾驶以及具身智能等方面的知识,特别是从判别式AI到生成式AI的范式转换,需要持续不断地学习新的技能。
南方周末:你什么时候开始关注世界模型这条路线的?
朱政称,“世界模型”这一概念事实上很早就已经出现了,它起码能够追溯至2018年的一篇名为World Models的论文,在2018年12月于加拿大蒙特利尔举办的第31届神经信息处理系统大会 。
NeurIPS 2018
前文提到,David Ha与Jürgen Schmidhuber发表了一篇名为World Models的论文,该论文提出了一种生成式神经网络模型,此模型能够以无监督的方式进行快速训练,甚至能够使智能体能完全在其自身实际模型所生成的梦境里展开训练,同时还能将这一用以实践的策略迁移至真实环境之中 ,在此之后,Google的研究者开展了一系列的探索活动。
从2021年起至2022年,于自动驾驶范畴,我们开展了诸多具影响力的BEV相关工作,还进行了不少具影响力的OCC方面工作,随后便开始思索下一代数据会是怎样的情形,在那时,世界模型也已然开始呈现出一些商业化即将爆发的迹象。另外,在那个时候,我们已然察觉到模仿学习存在的局限性、强化学习所具备的潜力,以及生成模型所拥有的威力,所以转至世界模型,这是一种非常顺其自然的选择。
南方周末:2021年是你在清华大学做研究的最后一年?
朱政:是的,也是创业的前两年。
南方周末:在2023年跟黄冠一起创立极佳科技是怎样的契机?
朱政称,他有一位师兄,两人出自同一个实验室,彼此相识已超过十年。之前他长期身处学术界,积累了诸多科研成果,且一直期望这些成果能够在工业界得以落地;他的师兄较早进入产业界,曾先后在微软、三星、地平线任职,拥有更为丰富的产业经验 。
2022年下半年的时候,Stable Diffusion发布了,紧接着GPT也发布了,这给我们带来了极大的震撼,科研范式的转变带来了新的一轮创业风口。2023年初,我们达成了一致,成立了极佳科技。
那一直是我兴趣所在的物理智能,在我读博之际,我所从事的工作是视觉目标跟踪于机器人系统上的运用,然而彼时的机器人主要依赖预设规则,大模型兴起之后,机器人行业已然被彻底改变,尤其是VLA即视觉语言动作模型的问世,首次使机器人拥有了执行通用操作任务的可能性。
《南方周末》提出询问说,物理智能属于一个规模巨大的课题,你们在当时的情况下,究竟是基于何种原因,从而选择了世界模型这个切入的口子呢?
朱政表示,在创业刚开始的时候,我们去拜访了好多自动驾驶公司,从中发现了一个痛点,这个痛点学术界一直都没留意到,具体是,当下用于路测的数据里,有超过99%的数据都是晴天时日道路上车辆处于直行状态的数据,缺少阴雨天、雾天、雪天以及行人突然出现等特殊情况的数据,然而世界模型能够生成这些数据。
以前大家都觉得,那些搞得自动驾驶的公司积累了数量多达上亿公里的路测数据,按理来说不可能缺少数据,然而实际上,corner case数据它会掩藏身处范围极其海量的数据里头。要是持续运用模仿学习或者监督是学习的话,只会叫自动驾驶系统抵达对应人类司机表现的平均水准。唯有强化学习能够使得系统超越原本人类的水平,就跟类似比如说碰撞率以及接管率等达到某条限定工业方面可准许的红线那样,然后才能够达成进入商业进行交易的目的。所以,在工业这个圈子里头是格外着重关注强化学习的。
南方周末:从科学家到企业家,给你带来了哪些不一样的感受?
朱政称,针对于硬科技创业来讲,进行研究,施予工程,实现商业化,这三者之间的联系是极为紧密的,缺少其中任何一个都是不行的。
于开展创业行动以前,我切实早已弄好了世上规模最为巨大的用于人脸识别的数据集合以及开展训练的系统,还深度投身于自动驾驶BEV方案的原型设计以及进行量产之工作,各自造就了超过亿元的能够落地实现的收入。
然而,学校所处环境当中的项目验收具有相对宽松的特性,容错的比率有着更高的水准。而论及创业的公司,其行事的节奏极为快速,呈现为更注重朝着目标行进,从一个项目起始之际便需要对商业的闭环予以考量。
两年,接入近20家车企和智驾方案商
南方周末:世界模型受到广泛关注起码是在2024年下半年了,极佳科技于2023年踏入这一领域之际,进展顺畅吗标点符号? ,进展顺利吗标点符号?
朱政称,中国产业界相当乐意去尝试新事物,世界模型所提供的数据能够极大地改善数据分布,进而助力训练出更为鲁棒的VLA。
我们的第一个客户是长安汽车,这份记忆清晰留存,那是在公司成立后没过多久就谈下来的。到了2024年,也就是公司成立的第二年,国内差不多20家主流车企以及智驾方案商,均成为了我们的客户,这里面涵盖了理想、小鹏、比亚迪、小米等等。
南方周末,于具身智能这个领域之中,世界模型究竟是以怎样的方式去生成数据,进而又将这些生成的数据用于训练呢?
朱政称,我们要先去训练那世界模型的基座模型,借助互联网视频来做预训练,且运用大量新数据开展后训练。待训练完成之后,我们会采集一部分真机数据,将此交给世界模型去做表观、视角、行为等方面的泛化。而这些新数据会与原有数据混合在一起,以供训练具身模型使用。
南方周末:世界模型,会动摇具身智能的“数据金字塔”吗?
朱政:我觉得它不会动摇金字塔的结构,但会优化数据的使用。
传统借助计算机图形引擎生成的数据可称作仿真1.0,这类数据最大的问题是存在巨大的Sim2Real鸿沟,在这种情形下,训练只能更多依靠成本高昂的真机数据,此前有一家公司训练一个VLA模型起码需要采集1万小时的数据,成本达到上亿元。

世界模型所产出的数据,能够被归为仿真数据,我们通常将其称作仿真2.0,它更趋近于真实世界,并且还能够大幅削减训练成本。我们已然在VLA训练过程中采用了10%的真机遥操数据以及90%的世界模型数据,收获了良好的成果 ;我们甚至于进行了一些更为极端的实验,使得世界模型与真机数据的比例达到100:1,模型依旧具备较强的通用性与泛化性。
若讲世界模型首个阶段为数据生成器,后续还有哪几个阶段呢,南方周末问 ?
朱政表示,整体划分成三个阶段,在数据得以生成以后,第二阶段所涉及的是提供闭环仿真训练器。
具身智能模型之内也存在那种Scaling Law的瓶颈,当平均下来的任务成功率达到大概90%之后,模型的性能就处于饱和状态了,数据在这样的情景里再怎么增长也不会致使性能有所提升。剩余约着10%的成功率或许得依靠强化学习去进行解决。然而真机强化学习有着效率低并且损耗大这样的状况;所以在将来需借助世界模型当作闭环仿真模拟器 。
到了最末的那个阶段,世界模型会演变成VLA的后续一代。在此处或许存在两条途径,其一为VLA会接纳世界模型的思维与能力,其二为VLA懂得同步预估未来状况和奖励,朝着世界模型去演化。
南方周末:要进入下一阶段,挑战是什么?
朱政表示,第二阶段会有更多空间探索方面的要求,这对世界模型的建模能力提出更高要求,同时,对拟合物理规律的能力也提出了更高要求。
当然,预测未来的能力本质上也是世界模型,接下来,训练世界模型的时候,要对数据分布做更优设计,像新场景、失败轨迹这类数据 。
世界模型本质是掌握物理规律、预测未来
南方周末称,今年世界模型特别火,硅谷那边有好多新进展,像李飞飞的Marble,谷歌的Genie 3,LeCun的JEPA等等。极佳科技打算做的世界模型是哪一种呢?
朱政表示,从应用方面来讲,前两者更加倾向于影视游戏领域,它们注重的是视觉效果以及创意性,拿李飞飞的Marble来说,虽然能够从静态场景当中生成3DGS以及网格,然而对于机器人训练而言还是不足够的,这是由于机器人需要动态交互环境;LeCun的JEPA更多的是基础研究性质。
我们存在着差异,重点聚焦于自动驾驶以及具身智能场景,更加重视真实性,更加重视可控性,更加重视对物理规律的遵循程度。
究竟是怎样的情况,使得世界模型能够“学会”对往后的情形展开预测,并且掌握物理方面的规律呢?这是南方周末所关注并提出的问题 。
朱政称:存在以下两种方式。其一为隐式建模,其中较为突出典型的是LeCun的JEPA。其二是显式建模,像视频生成范式那样,能从一张图预测出未来状态所产生的变化 。
举个例子来说,当人类处于开车状态时,大脑会在当下时刻进行想象,想象油门加速之后将会冲到哪一个位置,想象方向盘向左边打过去会产生怎样的情况,这便是一种显式的预测,然而,也存在着某些时候,并没有进行想像,而是凭借直觉做出判断,这种情况就类似于隐式的预测。
南方周末:你们采取的是什么方式?
朱政称,我们的Video World Model借助大量2D视频展开隐式学习,与此同时,还在构建3D World Model,通过把2DGS和显式物理结构例如mesh、Material Point或者粒子系统相绑定,达成对刚体、柔体的物理可信模拟。
换一种说法来讲,前者是促使模型去“观看”数量众多的视频,进而在自然而然的情况下知晓玻璃杯能够被摔碎,衣服是可以进行折叠的,而后者则是直接向它“告知”物理方面的规则以及定律。
有的两种方式,各自存在着利与弊,Video World Model在训练数据方面十分丰富,上限也相对更高,然而,在对于物理规律进行精确建模这一方面却是有所欠缺的;至于3D World Model,它的各类绑定依旧是要依赖逐场景去开展优化工作的,这是相当耗费计算量的,并且没办法达成完全自动化的状态。
故而 ,于自动驾驶这般数据充沛 、标注繁多的情景之中 ,Video World Model已然足矣 ;然而在具身智能交互情景里 ,尤其是牵涉柔体 、流体之际 ,我们更趋向于选用3D World Model 。
《南方周末》:你们最先基于世界模型进行训练的那个VLA模型,也就是GigaBrain - 0,它的表现状况是怎样的呢?
朱政表示,就任务完成度以及成功率等定量指标而言,世界模型极大程度地提高了VLA在各个方面的泛化性,于Zero-Shot实验当中,其平均任务成功率从大概30%提升至了80% 。
来自南方周末的询问,问及在2025年时你们所呈现出的融资态势极为迅猛,还询问当前此刻在研发层面而言最为花钱的是哪些具体的环节,?
朱政,其工作内容包含,世界模型的预训练,世界模型的后训练,VLA的预训练,VLA的后训练以及本体开发 。
南方周末,整个具身智能处于快速迭代状态,此快速迭代中每次迭代都意味着一轮洗牌,并且,世界模型也存在并非通往通用智能必由之路这种可能性,你会不会产生这样的焦虑呢?
朱政强调,对于通用物理智能朝着以世界模型作为核心方向收敛这一点,我们是持有深切且坚定的信念的,它不但能够对数据量方面的问题予以解决,而且还能够对数据的泛化性问题加以处理,鉴于于此,我们是不会产生焦虑情绪的。
2027年之前,商业化主要靠to B场景驱动
南方周末:就在不久之前,极佳科技把GigaDatasets、GigaModels以及GigaTrain这三大基础设施对外开启了开源模式,这样的情况是不是能够就此理解成你们内心期望将自身定位成行业平台呢?
朱政表示,此时我们仅仅是将这三个框架予以开放,期望各个机器人公司能够在之上搭建和自身需求相契合的世界模型 关于“平台”此种极为宏大之事宜 或许暂时尚未趋向于这一阶段 具身智能具备其独特性 当下仍处于科研、共创的时期 。
南方周末:目前你们在产品落地方面有怎样的规划?
朱政说出这样的观点,即我们觉得通用物理智能涵盖三件事情,其一为智能,其二是场景,其三乃本体 。
这三件事存在顺序,必须得先搞智能,接着弄场景,最后才做本体。在智能没达到一定程度时去讲场景或者本体,是没法达成商业闭环的。故而我们一方面要做适配物理AI的原生模型,另一方面要做适配具身大脑的原生本体。
南方周末,于智能这一方面领域,你们是否会去打造所谓的“通用大脑”这样的事物,以此来为其他的本体公司给予支撑呢?
朱政表示,现阶段落地呈现出还是软硬一体的状况,存在一款模型适配一款本体的情形,这是由于模型开发所关涉的数据采集等诸多方面,都没办法脱离本体的构型限制 。
而“通用大脑”以及“一脑多形”或许属大趋势,往后,待模型水准抵达某一临界值,具身智能产业链会各尽其责,本体公司只需尽力做好本体,将成本予以降低并使搭载模型得以落地 。
南方周末:这个时间点会在什么时候出现?
朱政:应该会很快,未来2-3年内。
极致科技,已然推出了自身的机器人本体,商用化进程怎样,南方周末曾言及 ?
朱政提到认为实现具身智能商业化存在两个阶段,在未来两年直至2027年之前,其商业化主要由to B场景来驱动,在迈入2027年之后,其商业化将转而主要依靠To C场景对其进行驱动 。
现今,有二三十家客户已然购买且使用了我们的本体以及世界模型套件,我们已然落实了诸多to B场景,像是在全国五六家的人形机器人创新中心以及各地的高校,开展数据采集、科研等工作 。
南方周末研究员 丁莉
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/279672.html
