机器之心报道

机器之心编辑部

智能体是近期人工智能领域备受关注的概念，它融合了大语言模型的强大功能，并整合了工具的使用、与环境的互动以及自我决策规划，从而可以像一位虚拟助手那样处理各种复杂工作。

「计算机使用智能体」是一种能直接在电脑中替代人类执行操作的智能体，这种智能体不同于传统的对话式 AI，它不仅限于解答问题，而是通过模拟人类使用鼠标、键盘以及操作软件的方式完成任务。Simular Research 开发的 Agent S 框架，是该行业中的突出范例之一

一年前，Agent S 在 CUA 的「OSWorld」测试中获得了 20.6% 的结果。后来，它的能力进一步增强，Agent S2 把行业表现提高到了 48.8%。紧接着，Agent S3 刚刚打破了之前的记录，性能提升至 69.9%，比之前的顶尖水平高出 10%，并且非常接近人类能力的 72%。

加州大学圣巴巴拉分校的助理教授、Simular研究负责人王欣睿表示，未来将迎来计算机使用超越人类的新阶段。

Agent S3 是在 Agent S2 的根基上直接打造而成的，它简化了整体架构，并增加了本地的代码助手，使得在 OSWorld 平台上的效率提高了62.6%，从而达成了当前最佳的水平。

此外，Agent S3 首次运用了支持并行扩展的 CUA 架构 ——Behavior Best-of-N (bBoN)，这种架构不再需要单个智能体反复执行，而是从多次执行过程中选取最优表现。这种技术实现了性能的显著增强，将正确率由62.6%提升至69.9%，同时揭示了智能体体系如何仅通过增加多样化执行频次，即可达成不断优化的效果。

目前，Agent S3 已经放出了相关论文，并且完全开源。

接下来看 Agent S3 的技术和实验细节。

方法改进

计算机借助智能体描绘了这样一个前景：软件能够自主运行，替人完成订票、填写单据、操控软件等任务，人们无需亲自操作。

目前，即便是能力最强的 CUA，当工作变得繁琐繁重时也容易发生失误。一个小小的差错、一次迟缓的反应，又或者一个突如其来的提示框，都可能使整个操作流程走偏方向。微小的偏差会持续累积，原本应该顺利的自动化过程最终却让人感到沮丧。

CUA当前遭遇的主要障碍在于结果差异显著，表现为表现极不稳定。个别智能体或某次能成功达成目标，但换一种情况就可能彻底失败。此类行为模式缺乏稳定性，使得CUA难以准确判断其表现，同时也暴露了在处理复杂且常规性任务时，确保持续可靠运作的艰巨性。

增强这种不稳定性的一种常见途径是横向放大（Broad Expansion）：不要只采纳一个个体的一次运作成效，应当增加个体数目，让它们同时开展多个运作流程，然后从中挑选最优的成效。

这种同时发展的方式借助了一个现象，那就是单个个体常常不够完美，不过它们往往能在不同的工作部分上互相补充并取得成效。然而，对 CUA 实行范围扩大也造成了特殊的问题。

执行过程记录非常复杂，信息量巨大，并且涵盖多种类型的数据，大部分内容对完成工作没有帮助，因此让记录的呈现、分析和对比都变得十分困难。此外，评价工作本身也很复杂：很多任务有多种可行的解决方式，而机器自动评价时常常无法确定某个执行路径是否完全正确。

所以，要达成对 CUA 的有效并行拓展，就必须采用全新的解决思路：

为此，Agent S3 推出了名为 Behavior Best-of-N 的方法，旨在达成 CUA 的同步拓宽，其核心构成包含两个要素：

动作描述性内容制作，根据行为记录，形成连贯的叙述文本，通过分析活动过程，构建详细的故事情节，最终输出具有描述性的文本内容

本文所提方法首先致力于构建事实记录。初始的智能体运作过程充斥着众多细碎的步骤，其中不少属于无关紧要或重复的内容。借助生成事实这一手段，可以将纷繁复杂的运作流程提炼为精炼的描述，仅聚焦于那些对任务达成起决定性作用的信息。而将上述事实按逻辑顺序排列组合，便构成了行为叙述，它详尽地展现了智能体在各个阶段的操作，从而提升了运作过程的透明度，也方便了不同实例间的横向对比。

最佳行为方案评选（最优行为判定装置）

获取行为描述之后，借助评估体系来分辨哪个执行过程完成工作最为出色。不同于直接对照初始反应，评估环节依据每个行为描述里的事实来做出判断。利用不同执行间的这些事实进行参照，评估者能够展开对比分析，由此认定哪个操作最为得当，并最终挑选出最优的完成方式。

另外，先前版本 Agent S2 运用了管理者与工作者之间的层级关系，然而，基础模型能力提升之后，这种层级反而带来了额外的负担。

所以，Agent S3 对该架构进行了简化，去掉了那个中间层级，并且增加了一个能直接编写和运行代码的原生智能体，这让方案的选择更加丰富，既可以应对编程工作，也可以处理图形界面相关任务，而且稳定性也增强了。

这些优化措施综合作用，实现了大约 13% 的效率增强，让 Agent S3 在单次执行中的成绩提升至 62.6%，刷新了目前的顶尖水平。

实验结果

本文的主要创新点 Behavior Best-of-N (bBoN)，在 GPT-5 平台上达到了 69.9% 的成功率，这比 Agent S3 单次测试的成绩提高了 7.3 个点；在 GPT-5 Mini 平台上，该方法的成功率也达到了 60.2%，相比 Agent S3 的表现增加了 10.4 个百分点

人类的表现大概在 72 附近，这些成果清楚地表明 bBoN 不仅是现有技术的巨大进步，还几乎达到了人的水准。

另外，这项研究在仅使用基础配置的情况下，比较了 Agent S3 和 Agent S2 的表现。实验表明，采用 Behavior Best-of-N 方法后，任务成功率增加了 13.8%，每个任务中大型语言模型的调用频次降低了 52.3%，整个任务的耗时也缩短了 62.4%。因此，Agent S3 不仅能力更强，而且效率更高。

增加智能体运行次数实现扩展

在 OSWorld 上观察到，智能体执行次数越多，其成效越显著。并行执行十次智能体时，成效最为突出：GPT-5 的成果为 69.9%，GPT-5 Mini 的成果为 60.2%。

如何选择混合模型集成？

bBoN 能够适用于多种模型架构。相关数据通过表格呈现，具体说明了 bBoN 在采用不同混合模型搭配时的成效与任务涉及范围。成效评估标准为：若某个任务中存在至少一条轨迹判定准确，则视为该任务达成目标，这对应着 Pass@N 的计算逻辑。

观察结果如下：

行为叙事与其他轨迹表示的对比

本文对行为叙事表示进行了消融实验。对比对象包括：

实验结果显示，叙事化行为在 bBoN 模型中表现更佳，较最优基准进步了 3.4 个百分点，这表明单纯通过图像片段难以全面把握任务进展，需要在状态转换环节构建事实记录，不能局限于对单个状态的描绘。

评判器对比

本文将 bBoN Judge 与 WebJudge 加以对照分析，针对 WebJudge 进行了调整，以便于从众多轨迹中挑选最优者，具体做法是先对每条轨迹单独进行排序，再从中选出名次最靠前的那个

bBoN Judge 整体上比 WebJudge 更出色；而 WebJudge 和反复执行多次的平均表现相比，仅实现了小幅度的改进。此外，bBoN Judge 在执行次数增多时，其可扩展性更为突出。

评判器与人类的一致性

这项研究调查了评估器可能改进效果的挑战，这部分任务占 OSWorld 的 44%，数据显示评估器在 78.4% 的挑战中给出了准确判断。经过深入检查确认：评估器实际上在 92.8% 的挑战中表现准确，这表明 OSWorld 的实际表现水平更贴近 76.3%。

这一发现证实，评价者与人的倾向性存在很大程度的吻合，这让它在考核 CUA 任务方面展现出了相当大的潜力。