近期，苹果公司公布了一篇研究论文，由此引发了人们对于人工智能是否具备真正推理能力的广泛热议。

它引发了一个棘手的问题：现行的推理模式，是否已达到其能力的极限？

与此同时，OpenAI的前研究负责人Bob McGrew持有截然不同的观点。在《训练数据》播客中，他宣称：实现通用人工智能（AGI）所必需的关键进展已经取得，预计2025年将成为人工智能推理领域的起点。

这样的探讨究竟是对必要反思的深入，还是源于技术焦虑的「酸葡萄心理」表现？苹果公司是揭开了虚幻的假象，抑或是确实成为了真正的「酸苹果」？

AI推理遇到瓶颈了吗？

AI正站在重要的十字路口。

近年以来，语言模型领域迅猛发展，时至今日，众多新型「推理模型」接连亮相，其中包括OpenAI推出的o1、DeepSeek-R1，以及Claude 3.7 Sonnet Thinking等。

它们已不再仅仅是庞大数量的集合，更宣称引入了更为繁复的“思维机制”：在推理阶段，计算手段变得更加多样，其目标在于打破传统模型所设定的上限。

听起来颇具威慑力，然而众多严谨的研究成果却表明：人工智能或许已遭遇了其在能力上的极限。

这不但对它们当前的表现产生了疑问，还引发了人们的担忧：推理模型是否还能持续进步？

推理模型的承诺

与先前的语言模型相较，大型推理模型，即LRMs，已经发生了根本性的变化。

昔日，模型主要依赖预测后续词汇，但推理模型已掌握三项卓越的“超能力”：

思维过程：能够像人类那样逐步进行推理，例如在解决数学问题时能够详细列出解题步骤。

（2）自我反省：会检查自己的答案对不对

（3）智能分配算力：遇到难题自动「多想想」

关键想法很简单，也很有说服力：

人类解决复杂问题，不就是靠一步步地思考和推理吗？

那让AI也学学这招，不就变得更聪明、更会解决问题了吗？

事实已经证明，这一点毋庸置疑！OpenAI的o1模型一经推出，便打破了数学基准的记录，将先前的模型远远地抛在了身后。在编写代码、从事科研等任务上，其他推理模型也展现出了惊人的进步速度。

整个AI圈都沸腾了，大家觉得「新范式」来了：

未来不能再仅仅依赖砸重金、堆砌数据来进行训练了。在AI进行「思考」的过程中，给它更多的时间，便能够激发出全新的潜能！

这些令人鼓舞的成就，同时也引发了一个亟待探讨的实际问题：这些成果是否真的达到了我们预期的效果？

现实检验

推理模型到底行不行？

尽管推理模型展现出良好的发展潜力，然而，三个不同研究团队所进行的测试却为我们带来了一些意外的挑战。

在严苛的限制下，这些模型在实际应用中显现出诸多缺陷，然而，它们的发展与进步同样不容忽视。

这三项测试分别为：

（1）苹果的可控实验；

（2）亚利桑那州立大学对AI规划能力的测试；

（3）ARC测试对「模型越大就越强」的部分否定。

苹果的可控实验

目前，苹果论文《思考的错觉》最具争议。

他们主要关注那些类似游戏的谜题，诸如汉诺塔、跳棋挑战以及渡河难关等。

这样做不仅能够灵活地改变题目的难易程度，而且还能有效遏制AI通过记忆题库内容进行作弊的行为。

他们发现了三种截然不同的状态，对理解推理模型大有启发：

该论文的链接为：https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf，读者可通过此链接获取详细内容。

更奇怪的是，研究人员还发现了让人想不通的现象：

难题面前，这些推理模型却显得愈发消极，不仅未增加智力投入，反而出现了智力资源的减少。

这就像一个学生，碰到难题不想着多算几遍，反而直接把笔一扔。

当然，这也不全是坏消息：

在中等难度的任务中，推理模型的确能够在某种程度上，打破LLM依赖“死记硬背”的陈旧方法。

规划能力的证据

去年，亚利桑那州立大学的Subbarao Kambhampati教授及其团队对推理模型的“规划功能”进行了详尽的探讨。

Subbarao Kambhampati，目前担任亚利桑那州立大学计算与增强智能学院的教职，是该学院的教授。

他运用PlanBench工具对o1-preview进行了检测，测试结果显示：

在基础的Blocksworld任务中，模型的精确度达到了97.8%，这一提升可谓是相当显著。

OpenAI的o1系列大型推理模型在Blocksworld、Mystery Blocksworld以及Randomized Mystery Blocksworld这三大领域中的600个具体实例上，对其性能表现和平均运行时间进行了测试。

相比早期模型几乎「死伤过半」的表现，这堪称质的飞跃。

他同时指出，一个令人惊讶的情况是：即便我们向模型明确说明操作方法、提供算法的具体步骤，其表现依旧没有显著提升。

这表明，尽管这些模型的推理过程变得更加复杂，但它们与人类依赖逻辑进行的推理，或许并不完全相同。

换句话说，它们是在「推理」，但推得方式和人很不一样。

该论文的链接为：https://www.arxiv.org/abs/2409.13373。

ARC基准：AI推理试金石

为了凸显人类易于理解与人工智能难以理解之间的显著差异，Keras的创始人François Chollet与Mike Knoop共同发起创建了抽象与推理语料库（Abstract and Reasoning Corpus，简称ARC）。

在ARC-AGI-1测试示例中，左侧部分会展示输入与输出的对应关系，这有助于我们把握任务的特点。中间区域呈现的是当前的测试输入网格。而右侧区域则提供了用于构建对应输出网格的各种控件。

这项任务极具挑战性，在2020年仅实现了约20%的进度，但到了2024年，这一比例已上升至55.5%，这一成就的取得离不开推理模型的不断优化和技术的持续进步。

ARC-AGI-1随时间推移的最高分

得益于ARC Prize的激励，众多关键技术得以问世，其中包括测试阶段的微调策略以及由深度学习技术驱动的程序自动生成。

然而，有一个警示信号不容忽视：ARC测试对“规模越大则性能越强”这一观点持强烈怀疑态度。

换句话说，「无脑」堆算力、堆参数已经难以进一步提高成绩了。

这表明，尽管推理模型确实实现了突破，然而若要达到与人类通用智能相媲美的水平，现有的架构显然尚显不足。

未来的进步，可能需要从根本上换种思路，甚至重构模型结构。

Scaling，不再是唯一答案。

趋同的批评

理论与实证不谋而合

这些研究成果格外引人注目，其关键在于它们恰巧证实了Gary Marcus等学者长期以来的坚定信念。

自1998年起，Marcus便提出观点：神经网络在经过训练的领域内表现出色，然而面对全新的挑战，其性能便会显著下降。

如今，一系列实证研究为他的理论提供了有力支持。

Marcus不仅用“对大型语言模型造成毁灭性打击”这样的表述，对苹果公司的论文作出了回应。

听起来似乎充满激情，然而实际上并非情绪化的言辞，而是他多年来所持观点的现实体现。

他强调了重点：即便在训练过程中，模型已经接触过数千种汉诺塔的解决方案，但若是改变一下条件，它依旧难以保持稳定的应对能力。

这就揭示出一个本质问题：记忆≠推理。

背下了答案，不代表你真的理解了问题。

进步的「幻象」？

越来越多的迹象显现，目前所采用的推理模式或许更接近于一种高阶的模板对位方式。

它们表面上在进行推理，实则是在运用记忆中存储的类似问题的解决方案模板。然而，一旦问题发生细微的变化，其性能便会迅速崩溃。

这种解释能合理说明一系列令人费解的现象：

但别急着下结论：推理模型的进步是真的，只是复杂得多。

尽管推理模型暴露出诸多缺陷，然而这并不意味着它们毫无价值或是彻底失败。

相反，它们在很多方面确实取得了实质性突破：

这些发现表明，推理模型已经实现了显著的进步，然而，其功能并非无限，而这些限制的识别并非易事。

要深入理解它们的优缺点所在，就必须采取更为严谨的评估手段来分析它们的行为表现。

另辟蹊径，别有洞天

那走出瓶颈，还能有别的路吗？

好消息传来，研究已经揭示了几种潜在的新路径，这些路径或许能够助我们突破现有框架的束缚：

混合型架构，例如Kambhampati所提出的LLM-Modulo框架，它使得模型在具备学习能力的同时，还能阐释规则。这样的架构或许更适用于那些对严谨推理有较高要求的任务。

LLM-Modulo框架中，大语言模型（LLMs）扮演着思想发源者的角色，与此同时，众多针对不同领域的外部专家对备选方案进行细致的评估与审查。

与其追求那种能够承担所有任务的万能人工智能，不如将目光集中在特定的领域，例如数学、物理、法律等领域，针对这些领域的专用模型或许比所谓的“通用大模型”更为可靠和实用。

下一阶段的突破，也许就藏在这些「混搭」与「专精」的路径里。

推理模型的问题，可能是评估的问题

Open Philanthropy的高级项目专员Alex Lawsen对苹果公司论文所采用的研究手段表示了疑虑。

这篇论文的题目是《思考的错觉的错觉》，尽管听起来像是玩笑，但其中所揭示的问题却非常严肃，尤其是在方法论方面存在的缺陷尤为明显。

他的主要论断十分明确：众多被认定为“推理失败”的案例，并非模型本身存在问题，而是评估手段存在缺陷。例如：

若对这些情形不加区分地一概视为“推理能力欠缺”，实则是对模型理解的偏差。

该论文的链接为：https://arxiv.org/abs/2506.09250v2，读者可在此地址查阅相关内容。

模型没撞墙，是评估方式变难了。

当前的核心问题并非在于AI的推理能力究竟是否可行，而是：我们是否能够精确地判断其是否真正有效。

参考资料：

探讨人工智能推理是否遭遇瓶颈，同时分析相关讨论及发展动态。