1. 首页>>分享

寻找AI领域桥梁?论坛特性可补AutoGPT与机器人控制方案短板

「Veni, Vidi, Vici.」 ——凯撒大帝

目前AI领域存在着一种尴尬的错位情形,AutoGPT、MetaGPT等LLM智能体,其能力令人惊叹,然而却全都处于数字世界之中;SayCan、RT-2等机器人控制方案,能够对物理世界进行操作,可是却需要专用接口以及实时连接,使用的门槛被困在了实验室。两边之间缺少一个能够进行扩展性的交互信道。

一种交流形式称作论坛,其诞生于互联网早期,几乎算得上和网页本身一样古老,它天然具备异步特性,即不需要对方在线,机器人能够自行安排执行时间,它还是多智能体的,一个论坛能够容纳无数个Agent,这些Agent各自监听各自的任务,并且它具有持久化特点,每一条指令、每一次执行结果都会永久保存,从而形成可搜索的交互知识库。

相较于微信群以及Slack而言,论坛的线程结构更适宜于复杂任务的分发以及追踪;相较于直接的REST API来讲,论坛将机器人交互嵌入到了人类能够读懂的社会语境里;相较于语音控制而言,论坛不受距离以及噪声的限制,能够支持任意复杂的指令;相较于专用的机器人控制GUI来说,论坛属于通用基础设施,用不着为每个机器人单独去开发界面。帖子便是指令,回帖即是执行报告。

视频1 论坛指令驱动机器人靠近屏幕并拍取试卷上传

杨仝教授所在的北京大学团队所发布的AgentRob框架,首次借由Model Context Protocol(MCP)把在线论坛、LLM智能体以及物理机器人这三方进行了贯通,用户只要在论坛那儿点一下机器人,现实世界里的机器狗或者人形的机器人马上就会做出响应。

篇关于论文的链接是这样呈现的,它是https://arxiv.org/abs/2602.13591。

开源的代码,其链接之处在于,https://github.com/PKULab1806/AgentRob。

AgentRob采用三层架构。

AgentRob三层架构:论坛 → 智能体 → 机器人

最底层是论坛层,采用开源论坛平台提供持久化线程结构。

整个系统之中存在着智能体层,从功能上来说它是整个系统的大脑,在此基础之上,基于MCP(这是Anthropic推出的AI工具标准协议,被称作「AI界的USB-C」)设计生成了8种标准化工具接口,这些接口把元操作涵盖其中,也包括读操作、写操作以及身份管理操作,对于任何一种MCP兼容的Agent框架来讲,都能够直接进行接入,就是这样。

最高的那一层是机器人层,借助视觉语言模型也就是VLM控制器,对自然语言指令做出分解,使其成为物理动作原语。

核心Agent像一个永不下线的版主,持续轮询论坛。

一旦察觉到 somebody @ 自身,LLM 便领会帖子的内容,提取能够执行的指令,接着调配相应的机器人去开展执行操作。在执行完毕之后,Agent 促使 LLM 将原始返回的数据生成一段供人类可以读懂的摘要回复到论坛里。

全过程全然自动化,用户所见到的情形,仿若那般与具备可操作性能的机器人的论坛用户展开对话。

系统支持,轮询模式,此模式为默认每30秒进行扫描,支持HTTP服务模式,该模式是外部按需触发,还支持单次运行模式,此模式用于调试测试。

在LLM没办法使用的时候,Agent会自行切换,将基于规则的指令提取当作降级的方案。

更为有意思的是,多智能体共存了,同一论坛之中,能够同时存在多个具备不同形态的Agent。

有着四条腿的机器狗会进行监听,其对应的是@quadruped,具备人形的机器人会开展监听,对应的是@humanoid,当在同一个帖子里@这两个机器人的时候,它们会各自凭借自身独立去提取指令,并且各自凭借自身独立去执行指令。

为避免回复陷入死循环,全部Agent帖子都带有元数据标签,别的Agent会自动绕道而行。恰似论坛之中潜藏着一支纪律严谨的机器人队伍。

北大团队让AI智能体「入侵」论坛,指挥真实机器人执行任务_北大团队让AI智能体「入侵」论坛,指挥真实机器人执行任务_

视频2 论坛发布复杂指令驱动机器人获取保险箱密码

We Rule

从帖子到物理动作

Agent获取指令之后,奇妙之事于机器人层面切实发生。VLM控制器借由迭代的工具调用循环把自然语言剖析成动作原语。就拿四足机器狗来讲,控制器展现出四个动作原语(移动、招手、比心、后空翻)以及两个感知原语(前置摄像头拍照、云端图片上传),人形机器人对移动和招手这类动作予以支持。

比如说有这样确切的事例:有用户于论坛之中发布帖子,其内容为「@quadruped 去门口瞧瞧是不是有人」这样的表述,接着 Agent 通过轮询的方式检测到了该帖子,紧接着 LLM 提取出了相应的指令,随后 VLM 把这个指令解析为「要移动到门口这一动作 → 进行拍照这一行为 → 对图像予以分析」这样的动作序列,之后机器狗将这些动作执行完成,最后 Agent 进行回帖,回帖内容是「已经抵达门口了,拍摄到了走廊照片,并没有发现有人存在。」。

从虚拟到物理,一帖之间。

整个交互进程中,所有参与的个体都能够见到,进而塑造出一个具备透明度、可用于搜索的执行日志,并非仅仅局限于一次性的远程操控行为,而是在着手构建一个面向社区层级的人、机器以及智能体相互协作的知识库。

安全方面团队也做了充分考虑。

于权限方面,论坛角色体系被映射成机器人操作权限,唯有「机器人操作员」这一角色才能够发出指令。

在指令的所属层面,LLM安全过滤器会对那些有可能致使物理伤害出现的指令予以拦截,比如「撞墙」、「从桌子上跳下去」这类指令。在透明度的对应层面,所有Agent所发布的帖子都必须强制进行身份标签的标注。

将机器人在物理层面,限定于已定义好的边界范围当中去开展操作行为,并且为其配备硬件等级别的紧急停止按钮。凯撒所拥有的权力,最终并未能够得到有效的约束,然而AgentRob的设计者清晰地明显吸取了相关的教训。

视频3,论坛里,指令驱动的机器人,去获取屏幕上的二维码,还要驱动机器狗,促使人类进行阻止。

从征服到生态

该研究有着四项核心贡献,其一,首次提出了论坛中介的智能体 - 机器人交互范式,其二,基于MCP提出了8种标准化工具框架,其三,在机器人和机器狗上实现了端到端执行闭环,其四,构建了多形态Agent共存机制。

将来团队计议拓宽更多机械体,像是无人车、机械臂等,还有多模态交互,即机器人于论坛分享图像视频,以及机器人间协作,借助论坛线程联合达成复杂任务,再者是社区驱动的机器人学习,其终极目标是搭建基于论坛的去中心化机器人网络,也就是社区自治的机器人团队。

“维内,维迪,维奇” 之后,凯撒对罗马的格局做了改变。

在「We Land, We Rob, We Rule」过后,AgentRob打算去改变人与机器人交互的那种局面。

不过这一次,征服者不是一个人,而是一整个社区。

团队成员有,刘文睿,王雅萱,张迅,王砚舒,卫家燊,向一帆,王宇行,叶明燊,戴思颖,刘智琦,徐英杰,陈昕阳,孙恒喆,沈吉滪,贺晶晶,杨仝。

参考资料:

这是一个链接,链接的内容是https://arxiv.org/abs/2602.13591。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/279964.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息