https://mp.weixin.qq.com/s/h3UIMZn46LA2m570p9pKkw

或许有小伙伴要问了，这有啥用啊？

简而言之呢，要是把这个模型放置在扫地机器人之上，那么它便能够在进行打扫的同时，清晰地辨识出家里的3D结构；要是放置在自动驾驶方面，那便是在行车之际，精准地算明路面状况。

有一种火影里宁次白眼的那种味道了。

请注意，白眼具备这样的能力，即360°无死角进行透视，拥有极远的洞察力，还能够看穿查克拉的流动，这与该模型所具有的全方位空间感知以及长序列且不丢失细节的特点相对应。

图源由AI生成

也就是，这是蚂蚁灵波新近开源的LingBot-Map，它是一个专门为那种纯自回归的、呈流式的3D重建而塑造的基础模型。

与之前具身智能视觉方面的3D重建有所不同，此次，LingBot - Map达成了速度快、精度准、力度狠这样的效果——。

打破了“既要实时、又要记路、还要省显存”的不可能三角。

这种Level的流式3D重建，并不简单

于谈论“流式 3D 重建为何困难”此话题之前，咱们得先区分两个概念，即普通 3D 重建，还有流式 3D 重建。

因为它俩可以说是完全两个维度的技术。

先来看传统离线3D重建（离线）。

它的本质，以一种微妙的表述来说，大致是“事后诸葛亮”，原因在于，得先拍完完整的视频，存储下所有的帧画面，然后再集中算力进行全局建模。

这样做存在着缺点，这缺点显著地表现为，速度相对迟缓，耗费显存资源，并且无法达成实时交互，在应用范畴方面，其能被运用在影视建模这样的静态场景，以及数字孪生这类静态场景情境当中，然而，它根本就没有办法供那需要进行实时决策的机器人所使用，也根本没办法为自动驾驶所采用。

但是，流式3D重建却并非如此，它是在线的那种，它真的能够满足具身智能的核心刚需：

每一帧都单独计算，拍摄的同时进行建模，感知的同时做出决策，这与人类一边行走一边辨认道路的视觉逻辑极为相符。

尽管似乎显得简易，然而于达成的进程当中，得到业内众人认可的状况下是有三座难以翻越的障碍横在眼前的。

图源由AI生成

第一，记太多就爆显存。

要是模型硬是存储所有的历史帧，几千帧之后，显存就会直接被填满，消费级的显卡根本就无法运行，工业设备也承受不住长时间的运行。

第二，记太少就忘光光。

若仅仅是对最近的几帧进行缓存，那么模型便会出现灾难性的遗忘情况，在长时间运行之后，轨迹将会疯狂地漂移，与此同时，重建场景还会出现扭曲变形的状况，这就等同于一个人行走了较长时间之后，忘记了自身所处的位置。

第三，精度速度不可兼得。

当处于建模精准的状况时，却会导致推理慢得出现卡顿现象，而当实时性达到要求时，画面又会糊得好像马赛克一样，始终都没办法找到那个平衡点。

更为关键之处在于，此前绝大多数的流式方案，要么是依赖于测试时进行的优化，要么是运用未来帧的信息来做全局校准，要么是加入人工设计出来的关键帧规则，而非端到端的纯粹推理。

LingBot - Map所走的是极为艰难的纯自回归路径，它严格依照因果规律，单单凭借历史帧的信息来推断当前帧，不存在任何后处理，不存在对未来帧的依赖，也不存在人工优化规则，所有的能力都完全依靠模型进行端到端的学习。

正是由于存在纯自回归的那种约束，这就好比是让蒙上眼睛的人仅仅靠着过去的记忆去走迷宫，既要做到行走得快速，又得要求把路记得准确，并且还不能够过多地消耗脑力……

难，是真的难。

但蚂蚁灵波这一次，还真就把这个硬骨头给啃下来了。

像人一样选择性记忆

LingBot-Map背后技术的灵感，来源于人。

打个比方，咱们身处大城市四处溜达，然而竟能够全然不迷失路途指向，这可不是由于我们的脑瓜如同录像机那样全程进行“录制”，核心要点在于大脑所施行的乃是选择性记忆此项行为操作。

说白了，就是只记住有效、关键的帧。

LingBot - Map的关键所在呀，是完完全全地把那种机制给复制了，而且复制得毫无瑕疵，这个被复制的机制呢，有着一个名字叫做几何上下文注意力，英文名称就是Geometric Context Attention，简称为GCA。

进一步来讲，LingBot-Map借助GCA，针对记忆实施了极为精巧的分层结构化管理。

首先存在着锚点，也就是所谓的 Anchor它具备着一种作用，能够使得机器人记住自身所处位置的起始点。

任何3D重建，都必然需要一个绝对的坐标系，以及一个尺度基准，这就如同人类若进入一个陌生的房间，便会下意识去记住门口的位置，将其当作参照系，以此来防止自己迷路。

LingBot-Map的锚点模块，就是起到这样的一个作用。

它会将初始的几帧画面锁定当作基准，把全局坐标以及尺度固定下来，这样做之后，就把纯自回归模型容易出现的尺度模糊、坐标漂移等问题给解决掉了，给整个重建过程确定好了原点。

其次，存在一个位姿参考窗口是Pose - reference Window，它的作用是用以记住“我旁边有啥”。

因为光有起点是不够的，要想走得稳，还得看清脚下的路。

于是，团队就在LingBot - Map当中设置了位姿参考窗口，这个窗口仅仅保留那最近的k帧具有的完整高维特征。

这部分记忆，虽属短期，然而信息极为丰富且密集，如此便能确保模型精准抓取局部的几何之细节，进而使当前帧能够丝滑地与前几帧拼接一块儿，让每一步都踩得极为精准。

最后那便是轨迹记忆，也就是Trajectory Memory，它有着能记住“我所走过的道路”这般的作用。

这也是LingBot-Map中非常关键的一个步骤。

对于那些，既不是起点的它们，也不在眼前的它们，而是归属于很久以前的它们，是中间历史画面的它们而言，模型不再存储，不再存储它们庞大的，它们具体的，它们图像像素细节的那些东西。

变为，它把那些历史帧的宏大信息给极致压缩了，压缩成了仅仅就是6个极简的Token，这里面包含相机Token、锚点Token以及寄存器Token，而且还给它们打上了时间戳，也就是位置编码。

相较于传统因果注意力，LingBot - Map的单帧信息增长量直接下降为原来的八十分之一，纵然处理时间长达万帧的视频，显存的消耗量也几乎保持不变。

因为三大模块协同发力，所以这就是LingBot-Map打破不可能三角的关键原因，是这样的情况，没错的，确实如此。

那么这套打法效果又如何呢？

实测拿下新SOTA

以从论文里所展现的实验结果而言，LingBot - Map于诸多权威基准测试当中，全方位超越别的流式模型，稳稳占据SOTA的位置。

首先是长序列稳定性。

对10000多帧的超长视频序列展开测试时，模型在整个过程里始终维持着稳定的重建质量，并未呈现出任何显著的轨迹漂移。需明白，同类的纯自回归模型通常几百帧便会开始出现扭曲，而具备万帧稳定的表现，直接将行业纪录予以刷新了。

其次是速度与精度双突破。

主流分辨率为518×378，在此情况下，推理速度达20FPS，相较于同类流式方法基线，快了近乎一倍、接近两倍，完全能够满足机器人、自动驾驶对于实时性的需求。

于权威数据集譬如Oxford Spires、ETH3D、Tanks & Temples等的测试里，轨迹误差下降了约77%，3D点云建模精度以及全局一致性，远远超越了所有的流式竞品，甚至在表现上高于部分离线优化模型。

而且，仅需13.28GB模型运行显存，普通消费级显卡便能流畅对其进行部署，从而彻底摆脱对高端专业显卡依赖性。

相比于那些同类方案动不动就有30GB往上显存需求的情况而言，LingBot - Map达成了“技术顶尖、落地亲民”这种状态，使得流式3D重建拥有了具备规模化商用的基础。

而且效率测试的数据更加直观。

就对比全历史帧缓存方案而言，LingBot - Map通过64帧窗口设计，达成了推理速度的提升，从3.12FPS提升到了19.95FPS，并且显存有所压缩，从36.06GB压缩至13.28GB，速度提升达到了6倍，显存降低了63%，再者，同时其精度反而更高，这印证了GCA记忆机制的优越性。

在看过LingBot - Map背后所蕴含的技术以及所展现出来的效果之后，另外有一个话题是值得去聊一聊的：

LingBot-Map的开源绝不是为了单点刷榜、秀肌肉。

补齐另一块具身智能关键拼图

若是大家长期关注蚂蚁灵波，就不难发现它在下一盘大棋。

仅仅在今年1月，蚂蚁灵波便已经陆续开源了多款模型：

先是能感知世界的 LingBot - Depth，然后是可理解物理规律的 LingBot - World，接着是用于控制身体的 LingBot - VLA，最后是全球首个具身世界模型的 LingBot - VA。

今日，LingBot - Map开源，此行为成功补齐了那关键拼图，该拼图内容为“边走边记、理解并重建连续真实三维空间”。

这便说明了，蚂蚁灵波正式搭建了“认识-造就模型-开展模拟-实现控制”全流程具身智能技术体系，从看清世界、塑造模型，直至明白世界、操控身躯，构建起圆满的技术循环。

就全产业落地而言，此行为有着重要作用，有三个例子能够清晰表明这点：

为此，总结而言，LingBot - Map的现身，能够讲是机器领会真实物理世界跨出的关键一步。

与此同时，蚂蚁灵波持续进行开源，在这种情况下，我们能够清晰地看到，具身智能朝着规模化落地的方向发展，正以从未有过的速度朝着我们快速走来。

Hugging Face：

https://huggingface.co/robbyant/lingbot-map

ModelScope：

https://www.modelscope.cn/models/Robbyant/lingbot-map

GitHub：

这是一个网址链接，它展现的是位于github平台上，由Robbyant所进行相关操作处理后形成的lingbot - map这个具体的内容。

Paper：

学术论文链接，网址为，https://arxiv.org/abs/2604.14141。

Homepage：

https://technology.robbyant.com/lingbot-map