henry 发自 凹非寺

量子位 | 公众号 QbitAI

你见过这样的“盲眼”机器人demo吗？

它没有任何设备辅助，也缺乏相关探测装置，却自行搬动一个重达九斤的凳子，接着攀上高约一米的书架，最后以倒立的姿态跃下地面。

不光耍酷，干起活来，搬箱子也不在话下。

还能一个猛子跳上桌子。

手脚并用爬坡也照样OK。

这些流畅组合动作源自亚马逊机器人部门FAR（Frontier AI for Robotics）所公布的首个足式人形机器人项目OmniRetarget的科研成就

OmniRetarget让强化学习策略能在复杂环境中掌握长时段的“移动与操作结合”能力，同时达成从虚拟环境到人形机械的无需先验知识迁移。

网友称：既能进行跑酷，又可以从事工作，这难道不比特斯拉的擎天柱厉害百倍吗？

接下来，让我们一起看看他们是怎么做到的吧！

基于交互网格的动作重定向方法

OmniRetarget是一个开源的数据生成系统，它能够把人类动作示范，转变为多种多样且品质上乘的运动学基准，这些基准主要用于指导人形机器人的整体动作协调。

不同于那些常常无视人、物体及环境之间复杂互动联系的动作重定向技术，OmniRetarget借助一个交互框架来刻画机器人、物体与地面的空间接触特性，借此确保关键互动得以维持，并产出符合运动学规范的替代动作。

另外，维持与任务关联的沟通，可以提升数据的有效扩充，从而将一次演示成果扩展到多样的机器人构造、地面状况和物件布局，以此来降低各类变体数据采集的开销。

OmniRetarget在与其他动作重定向技术相比较时，展现出整体性的方法性长处，具体涵盖了硬性限制、物体间互动、地面环境互动以及数据强化等多个核心层面。

接下来就让我们具体来看。

OmniRetarget首先运用交互网格的约束优化技术，接着将人类示范动作映照到机器人上。

这项研究将交互网格界定为一种立体构造，其作用在于维系人体器官、物件以及外界环境彼此间的位置关联性。

交互网络的节点包括重要的机械臂或人体连接点，以及从物品和场景中选取的坐标。

借助对网格进行压缩或拉长，研究能够做到在维持相对位置布局和接触关联的同时，把人的活动转译给机器人使用。

构建交互网格时，研究人员针对用户指定的关键节点坐标，以及随机选取的物体与环境坐标点，执行了德劳内四面体剖分技术。

为了确保接触点更为精准，物体与环境的表面数据采集频率，要高于身体连接部位的采集频率。

研究旨在降低人类示范动作中关键点与对象或环境采样点，以及机器人对应关键点与相同对象或环境点之间的形变程度，通过最小化拉普拉斯形变能，使机器人动作在空间布局和接触方式上尽可能贴近人类示范。

拉普拉斯坐标可以评估每个重要位置和周边位置之间的相互联系，这样在调整方向时能够维持局部的空间构造和接触状态。

算法在每一个时间节点，都要解决一个非凸的约束优化课题，目的是找出机器人的具体位置，这包含底座的方向和移动，以及全部关节的角度，整个过程必须符合几个硬性要求，比如避开碰撞，关节和速度的界限，还要确保支撑的脚不会打滑。

改进需借助顺序二次规划类迭代手段，各帧运算以先前帧最优结果为起始点，旨在确保时间维度上的连贯性与流畅度。

因此，采用交互网格技术能够适应各种机器人外形和多样的交互方式，关键在于修改交互网格里重要节点的关联方式以及碰撞检测机制。

此外，每一次对空间和形态的改进都被当作一个独立的优化课题，进而创造出丰富多样的路径。

OmniRetarget能够将一个单独的人体示范，转变出大量不同的数据集合，它通过调整物体设置、形态或地貌特点，并且是按照可变参数的方式进行的。

每遇到一个全新情境，该研究都会借助预设的动作库与改进后的动作目标库来反复求解优化课题：以减小交互空间的变形程度为标准，能够获得一套新的、符合运动学原理的机械臂操作方案，并且确保其中仍然维持着初始交互中的基本空间布局和接触条件。

机器人与物体互动时，需要提升物体的空间方位和几何形态，以此产生丰富的交互方式，具体包括强化姿态与平移，同时于局部坐标体系内建立互动网络。

为了防止机器人整体跟随物体进行刚性位移，研究在优化过程中增设了限制条件，使下半部分锁定在标准路径上，而允许上半部分寻找新的协同方法，借此产生富有变化的互动行为。

机器人与地面互动时，探索调整设备基座垂直位置和水平方位的方法，同时设定附加条件，旨在创造丰富多样的地面环境。

最终，在形成优质运动学基准方法后，研究运用强化学习来修正动力学偏差，即培养一个基础性方案，将那些轨迹转变为符合物理条件的操作，达成从模拟到实体的直接过渡。

依靠清晰且维持沟通的参照信息，OmniRetarget只需要极少的激励就能精确跟随，无需进行复杂设置。

学习期间，机器人不能直接获取清晰的场景和物体数据，仅借助自身感知和参照路径作为完成复杂工作的基础信息：

对于奖励机制，研究选取五种奖励类型，包括身体追踪、物体追踪、动作速度、软关节约束以及自碰撞检测，以此确保动作的精确性，并且通过整合物体属性与机器人运行状况实施领域随机化，从而增强模型的适应性。

另外，相仿的操作会集合起来进行练习，以便迅速提升策略的聚合速度，而各异的使命（例如搬运箱子和在平台上攀爬）则运用不同的策略配置。

实验结论

在实验环节，研究集体初始呈现了OmniRetarget所能达成的丰富动作范畴，涵盖日常物件处置和地貌互动情形。

随后进行了针对当前顶尖标准的量化检测，考察了在运动参数评估和后续方案成效方面的水平。

正如先前所演示的，配备OmniRetarget的宇树G1完成了一个仿照波士顿动力的跑酷动作。

这项延续半分钟、环节繁多的工作凸显了OmniRetarget制造精准且普适基准行为的本领。

OmniRetarget展现出良好的扩展能力，当在全部强化数据集进行训练和检验时，其成功率达到了79.1%，这个数值与仅应用标准动作时获得的82.2%结果相差不大，这表明通过运动学强化虽然并未明显削弱表现，却确实有效拓宽了动作的适用范畴。

最终，该研究集体把OmniRetarget同PHC、GMR以及VideoMimic这些开源重定位基准进行了对照分析。

实验基于OMOMO、内部MoCap和LAFAN1数据集展开评估工作

测试数据表明，从运动学角度衡量，OmniRetarget在穿透程度、脚部滑动情况以及接触维持能力方面全面超越所有参照方法，即便出现轻微穿透现象，也能通过强化学习进行修正。

通过下游强化学习策略的检验，可以看出，优质的重引导行为能够显著提高策略的达成度，OmniRetarget在所有作业里都大幅度超越了参照系，超出幅度达到百分之十以上，并且它的运作状况更为稳固。

One more thing

值得注意的一个情况是，OmniRetarget背后的Amazon FAR这个机构，它由华人学者领导，而这个机构成立的时间还不到八个月。

FAR公司原先名为Covariant，该企业是知名机器人技术组织，其创始成员包括来自加州大学伯克利分校的Pieter Abbeel、Peter Chen、Rocky Duan以及Tianhao Zhang。

Pieter Abbeel是Rocky Duan和Tianhao Zhang的指导老师,他负责指导他们,并且对他们有重要影响。

他叫Pieter Abbeel，在机器人学界地位很高，担任伯克利机器人学习实验室的负责人，同时还是伯克利人工智能研究实验室的共同负责人。

去年八月，亚马逊已经同Covariant签署了协议，获得了该公司技术的非排他性授权，并且雇佣了Covariant的四分之一员工，此外，Covariant的创始人Pieter Abbeel、Peter Chen、以及Rocky Duan也将加入亚马逊。

现在Rocky Duan是Amazon FAR研究的领导者。

OmniRetarget这次的表现非常出色，是Amazon FAR在两足机器人方面迈出的第一步。

不得不说，亚马逊（Amazon）的机器人，确实令人瞩目。

已经开始期待他们之后的工作了！

参考链接：

这条推文提到了汤姆狼的账号，账号ID是Thom_Wolf，这条推文的发布时间是1974774416815857779，内容是关于某个话题的讨论，这条推文获得了大量的关注和转发，引起了网友们的热议，很多人都在评论区表达了自己的看法，这条推文的影响力比较大，很多人都在分享和讨论这条推文的内容。

关于亚马逊公司的新消息，该公司研发了新型协变人工智能机器人，这些机器人具有创新的技术特点，它们能够在复杂环境中执行任务，并且能够与人类进行高效的互动交流，亚马逊公司致力于推动人工智能领域的发展，这款新型机器人代表了公司最新的技术成果，它将有助于提升生产效率，改善工作流程，亚马逊公司希望通过这些创新科技，为全球用户提供更加优质的产品和服务

亚马逊正在组建前沿人工智能机器人团队，该团队将彻底改变自动化领域，通过引入创新技术，显著提升生产效率，为工业领域带来革命性突破。

这个网址指向一个名为OmniRetarget的GitHub页面,用户可以通过这个链接访问相关内容,网站提供了丰富的信息资源供大家查阅,内容涵盖多个方面,非常值得一看。