李飞飞「具身智能」又出新研究了。

机器人学习领域有一个极具挑战性的“圣杯”级任务，那就是执行通用的日常家庭移动操作任务。我们借助一款新型双臂移动机器人，其最新成果 BEHAVIOR Robot Suite（简称 BRS）正在努力攻克这个极为困难且尚未解决的难题。

在日常生活里，你是否思考过这样一个问题：机器人究竟需要拥有哪些能力，才能够切实地帮助人类完成家务任务呢？BRS 是为了应对这项任务而产生的。简单来说，BRS 是一个综合性的框架，它的作用是掌握机器人在多样化家庭任务中的移动全身操作。倒垃圾时，BRS 能让机器人应对；摆放衣物时，BRS 能让机器人应对；清洁马桶时，BRS 能让机器人应对。

例如，基于 BRS 的机器人可以帮助用户捡垃圾：

将扔在地上的物体重新放在架子上：

还能帮你清洁马桶，看起来是一个任劳任怨的机器人：

Party 过后帮你收拾桌子：

还能帮你去衣柜拿衣服：

这么全能的机器人是如何实现的呢？我们接着往下看。

方法介绍

论文主页：

机器人需要具备哪些关键能力才能有效执行日常家务？

研究团队经过分析，确定了成功执行这些任务所需要的三项全身控制能力。其一为双手协调；其二是稳定且精确的导航；其三是广泛的末端执行器可达性。

搬运大型重物需用双手操作，在房屋中检索工具要依靠稳定精确的导航。复杂任务，像一边拿着杂货一边开门，就需要把这两种能力协调运用起来。而且，日常物品分布在不同位置和高度，这使得机器人得能够根据情况调整其触及范围。

机器人硬件经过精心设计，它配备了双臂，还有移动底座以及灵活的躯干，这些是实现全身操作的关键。

这类复杂设计给策略学习方法带来了挑战，尤其是在数据采集规模化方面，同时也在全身协调动作方面带来了挑战。

研究团队为了应对这些挑战，推出了 BRS。BRS 的目的是通过全身操作技术来解决各种真实家庭任务。

BRS 具有两项重要的创新，这两项创新相互配合，从而能够解决机器人在硬件以及学习方面所面临的挑战。

JoyLo

为了能够实现对高自由度移动机械臂的流畅控制，并且便于为后续的策略学习收集数据，研究团队推出了 JoyLo 。JoyLo 是一种通用框架，用于构建经济实惠的全身远程操作界面。

研究团队在 R1 机器人上达成了 JoyLo，其设计目标包含以下方面：

项目提及，JoyLo 的成本总计未达 500 美元。同时，团队贡献了物料清单以及组装说明。

WB-VIMA 策略

WB-VIMA 是一种模仿学习的算法。它的目的是通过利用机器人所具有的内在运动学层次结构，来对全身的动作进行建模。

WB-VIMA 有一个关键见解，即机器人关节间存在强烈相互依赖关系。上游链接（像躯干）的小幅移动，会致使下游链接（如末端执行器）出现大幅位移。为保证所有关节间的精确协调，WB-VIMA 把下游组件的动作预测以上游组件的预测为条件，以此实现更同步的全身运动。

此外，WB-VIMA 能够通过自注意力来动态聚合多模态的观察。这样它就可以学习到具有强表现力的策略，并且还能够减轻对本体感知输入的过拟合情况。

实验

实验探讨了以下问题：

对于问题 1：BRS 适用于各种家庭任务，比如扔垃圾：

机器人首先导航至客厅里的垃圾袋处并将其捡起，这是子任务 1。接着，它携带垃圾来到一扇关闭的门前，此为子任务 2。随后，它打开了那扇门，即子任务 3。之后，它移动到室外，最后把垃圾袋放入垃圾桶，这是子任务 4。

机器人会打扫餐桌。它先从客厅出发，接着导航至厨房的洗碗机（这是子任务 1），然后打开洗碗机（这是子任务 2）。之后，它移动到游戏桌（这是子任务 3）去收集碗（这是子任务 4）。最后，它返回洗碗机（这是子任务 5），把碗放入洗碗机内并关闭洗碗机（这是子任务 6）。而稳定且精确的导航是完成这一任务最为关键的能力。

视频链接：

对于问题 2：JoyLo 能够为策略学习提供高质量的数据

研究团队针对 10 名参与者开展了全面的用户研究。其目的是评估 JoyLo 的效果以及它收集的数据对策略学习的适用性。下图呈现的是将 JoyLo 与 VR 控制器以及 Apple Vision Pro 进行比较的情况。

效率优势：

用户研究结果（10 名参与者）。

用户体验：

用户研究参与者的人口统计数据和调查结果。

对于问题 3：WB-VIMA 始终优于基线方法

实验表明，WB-VIMA 在所有任务上都全面胜过基准方法。端到端任务的成功率比 DP3 要高 13 倍，比 RGB-DP 高 21 倍。其平均子任务表现分别比 DP3 好 1.6 倍，比 RGB-DP 好 3.4 倍。

五项具有代表性的家庭活动的成功率情况。其中，“ET”指代整个任务，“ST”指代子任务。

评估期间的安全违规情况。WB-VIMA 与环境物体碰撞的情况极少，同时几乎不会因为施加过度力量而使电机失去动力。

对于问题 4：WB-VIMA 组件对任务性能的影响

研究团队对 WB-VIMA 进行消融实验，把自回归全身动作去噪模块移除掉，同时也把多模态观察注意力机制模块移除掉。实验显示，只要有任一组件缺失，性能就会明显下降。在“将物品放上架子”任务的“打开衣柜”子任务里，移除自回归去噪模块后，成功率一下子降低了 53%；而多模态注意力机制缺失的话，各个任务的表现都会全面减弱。

「放置物品到架子上」和「铺展衣物」任务的消融实验结果。

最后，研究团队还展示了几个失败案例。包括：

1) 尽管机器人已经抓住把手，但未能完全打开洗碗机；

2) 未能按下冲水按钮；

3) 未能从地板上拾起垃圾袋；

4) 未能抬起地上的箱子；

5) 未能关闭衣柜门。