谷歌和OpenAI的模型，在IMO 2025赛事中拔得头筹之后，再次在ICPC比赛中荣获金牌。

ICPC，被公认为全球最具挑战的大学生编程竞赛之一。

OpenAI和谷歌全部题目都成功应对，在人类参赛者中取得领先地位，难道人工智能编程能力真的已经非常强大了？

最新一项基准测试，直接打脸了全世界的顶尖模型。

这是SWE-Bench Pro，一个为衡量AI编程能力而设计的高级测试平台，直接应用于实际的企业工程工作。

与上一代SWE-Bench相比，Pro版本实现了三项重大革新，具体表现为，首先，其次，再者，

这一版本，堪称编程领域的终极挑战。在公开测试中，顶尖的算法几乎不堪一击。

GPT-5虽然获得冠军，但分数只有23.3%，Claude Opus 4.1以22.7%的分数紧随其后排名第二。

其他模型更是没有一个能打的，得分全部低于15%。

这表明，在更接近实际应用场景的编码工作中，大型语言模型的长距离推理能力仍然存在不足之处。

这份达两千一百页的学术报告，全面披露了SWE-Bench Pro的构建流程。

文献链接位于此网址，具体为https://static.scale.com/uploads/654197dc94d34f66c0f5184e/SWEAP_Eval_Scale%20%289%29.pdf，内容详实。

编码界，需要一场硬核考试

以往，诸如SWE-Bench之类的基准测试，常被视作衡量大型语言模型在软件工程领域能力的重要参照依据。

在各项测试里，多数情况下需要AI依据全部程序集合和文字说明，制作出代码的修改文件，

以SWE-Bench Verified为例，一流的大型语言模型已达成超过七成的通过率，这个成就相当显著。

但这也暴露了一个问题：

未来六个月到一年多的时间，目前的衡量标准可能将到达极限，难以继续准确评估人工智能的发展状况。

因此，Scale AI公开发布了SWE-Bench Pro。

它营造了一个更逼真、更严苛的「测试环境」，直击问题所在弥补当前参照标准的不足。

数据污染，与现实脱节

当前，已有的编码基准测试，存在两大缺陷。

数据质量存在严重隐患，部分基准体系源自公开的GitHub平台，其中受MIT、Apache协议约束的项目，更易遭受大型语言模型训练资料采集工具的扫描。

这样一来，人工智能在检测环节有可能采取不正当手段，因为它或许已经接触过相似的挑战。

另一方面，现有基准的任务太过简单，达不到「工业级别」。

以SWE-Bench Verified为例，在500个题目里，有161个题目仅需要修改1到2行程序代码。

这种做法在研究场所可以实现，然而在商业运作场合，通常需要处理分散在许多文档之中，并且包含成百上千行程序代码的繁琐调整。

这样的基准，根本无法反映AI在真实开发场景中的表现。

编码测试并非人工智能核心的终极目标，不过，一个更为严苛的参照，才能够确切衡量大语言模型是否达到了产业实际应用的要求。

SWE-Bench Pro：超100行代码难题

SWE-Bench Pro方案里，总计设有1865道由人工审核并强化的问题，这些问题被划分为三个不同类别，分别是公开类、商业类和保留类。

论文里，研究集体阐述了SWE-Bench Pro的三个主要价值，分别是，它拓展了基准测试的范围，它优化了代码生成任务，它提升了评估指标的有效性。

1. 巧妙收集设计，降低数据污染风险

SWE-Bench Pro采用了新颖的数据采集方式，有效规避了数据污染问题。

仅以GPL许可证授权的代码作为基础，创建一个开放集合，包含11个代码库，同时建立一个保留集合，里面收录了12个代码库

从真实初创公司搜集商业代码，用以创建商业集合，包含18个代码库，借此发现企业层面的问题。

举办公开活动：向HuggingFace平台发布七百三十一项范例，同时在本篇文献中呈现其相关数据统计与模型运作情况。这些范例均源自采用自由软件（copyleft）授权条款的公开项目。

商业集由276个商业问题构成，源自初创企业的代码库，该代码库是独一无二的，专属于初创企业，但因法律约束无法对外公开。

该集合里维持着858个议题，它们和公开集中的议题框架相同，不过使用的程序库不一样。

2. 任务升级，更具挑战、多样，更贴近工业

Scale AI为了提升工作难度，筛选掉了那些仅涉及少量代码调整的简单任务，只选取了必须经过多文件协作、进行深度改动的项目，以此作为处理内容。

参考解决方案通常包含四个文件多一点，代码量达到一百零七行上下，每个任务至少修改十行，超过一百个任务时改动会超过一百行。

这些代码库并非陈旧，而是持续得到更新，它们涉及多个行业，包括面向普通用户的软件、企业间服务以及程序员使用的平台。

此外，各个代码集合分别提交了五十到一百个范例，其中最多不超过一百个，以此防止对某个特定集合产生过度依赖。

3.人机协同验证，确保任务可解

有了以上难题还不够，最后一步，还需要确保它们是可解的。

因此，SWE-Bench Pro增设了以人来主导的补充检验步骤，该步骤由三个环节构成的人机互动程序组成。

它能够明确含糊不清的内容，增补不足的背景资料，此外，在限定可能答案的范围时，既维持了变通性，又防止了错误排除的情况发生。

Claude企业级第一

仅拿下17.8%「最高分」

各个一流模型在SWE-Bench Pro上的表现，具体展示于表1。

以首个任务通过率作为衡量标准，GPT-5和Claude Opus 4.1分别以二十三点三和二十二点七的通过率位居前列。

早期的代际模型，例如DeepSeek Qwen-3 32B、GPT-4o，其性能表现相当滞后，前者仅达到了3.4%，后者也仅仅为3.9%。

此外，公开集和商业集存在显著的性能差距。

最优方案在商业数据集上的表现都不及20分，这间接表明了，公司层面代码库管理的难度。

整体而言，大型语言模型在公开数据集上的通过率不超过百分之二十三点三，在商业数据集上的通过率不超过百分之十七点八，这个成绩远远落后于SWE-Bench Verified所达到的百分之七十以上的水平。

这背后的原因，究竟是什么？

不擅长的语言，也会影响性能

从编程语言维度来看，AI性能分化明显。

在Go和Python这类任务里，大部分模型成效显著，个别模型准确率甚至达到了30以上。

相比之下，JavaScript（JS）和TypeScript（TS）的变化幅度更为明显，依据所使用的模型，其处理成效在0%到30%以上之间有所差异。

此外，代码库的类别繁多，存在部分库，其中各类模型的处理成效均未达到百分之十。

有一些，还能达到50%。

仓库的构造方式、资料优劣，或故障状况等，亦为大型语言模型在编程工作中决定成效的缘由。

可以观察到，Claude Opus 4.1和GPT-5在许多代码库以及编程语言里，往往能够维持稳定的高性能表现。

失败原因，多种多样

研究人员随后让GPT-5充当裁判角色，用以审视并判别各个模型的失效情形。

操作流程依次为，首先人工设定普遍问题的归类框架，接着挑选尚未处理的案例，汇集其最近二十次对话记录，提供给GPT-5作为指引，由其进行分析并归类问题。

结果显示，顶尖模型的失败原因，覆盖了各种情况。

总而言之，SWE-Bench Pro是一套全新抗干扰、贴近工业环境的测试平台，未来有望作为衡量LLM编程水平的重要参照。

一作介绍

Xiang Deng

Xiang Deng目前担任Scale AI的研究工程师一职，主要工作内容是从事LLM的编程以及智能体的开发。

他得到了俄亥俄州立大学的博士学位，同时在中国科学技术大学获得了计算机科学学士学位。

Jeff Da

Jeff Da目前担任Scale AI的研究科学家一职，其工作重心在于强化学习，智能体构建，以及训练后的模型优化方面。

他早先在艾伦人工智能研究所和华盛顿大学，专注于衡量推理能力，探索多种形式的学习方式。

彩蛋

令人意外的是，Alexandr Wang作为首席AI官的留言板里，网友们更在意的是MSL的内部消息。