[新智元导读]，斯坦福跟英伟达一块发布了分量不轻的论文TTT-Discover，弄破了「模型训练完就固定成型」这一铁定的规律。它使得AI在推理阶段的时候，针对特定的难题「当场长出脑子」，哪怕耗费数百美元的算力，仅仅是为了去获取一次打破纪录的极值。从重新撰写数学猜想一直到超越人类代码速度，这种「激进的进化」正在对机器发现的边界进行重新定义。

假设此刻的AI模型被视作一位学霸，其工作方式往往如下：于学校（预训练阶段）阅读海量书籍，继而将知识稳固于脑海之中（参数冻结）。

直至考试处于推理阶段之际，它们凭借的是「回忆」以及「逻辑推演」去进行答题 。

哪怕是如同OpenAI的o1这般能够「进行思考」的模型，也仅仅是于考场上多做了些草稿（CoT思维链），其大脑的回路（权重）依旧是处于被锁定的状态。

但恰恰是在本周，一篇标题为《Learning to Discover at Test Time》的论文突然出现，来自斯坦福大学以及英伟达的研究团队提出了一种新范式，这种范式不但会「打草稿」，并且敢于在考场上「现场长脑子」，它就是TTT-Discover（Test-Time Training，测试时训练）。

这是对「智能」定义的再一次挑战。

核心颠覆

该项研究的关键逻辑颇是违背常理，它并非致力于追求“平均分”，它单单渴望那一回的“满分”。

于传统的强化学习里头，我们期望训练出一个“全能选手”，它不但能够把这道题做正确，而且在以后碰到类似的题时也能够做正确。

可是，TTT-Discover 却讲，不对，科学发现（Discovery）并不需要「通用」这个东西。

举例来说，我们需要寻觅一种能够治愈癌症的全新分子，或者是要找寻出一个数学猜想的反例 。

只要我们寻觅到了这一个答案，哪怕模型于这个进程里出现严重的“偏科”状况，甚至为了这道题目将自身练得失去作用（过拟合），致使把其他所有题目都答错了，那又有什么关联呢？

只要那个答案是对的，人类就赢了。

在这个理念的基础之上，TTT-Discover运用了一种极为激进的策略，这种策略是：

在推理时期，针对当下特定的问题，借助强化学习，直接去修改模型的参数，实现现场进化。

赌徒心态，它对损失函数作出了修改，不再去追求那种所谓的「稳健」，而是转而鼓励模型去探寻那些极为极端的区域，这些区域有着极高的风险，不过回报有可能会非常巨大 。

利用完便舍弃：这般针对特定问题而进化产生的「特种兵」模型，在解答完题目之后便能够丢弃掉了。

战绩：它真的比人类聪明吗？

「不看广告看疗效」。

这篇论文最硬核的地方，在于它挑选的对手——全是硬骨头。

1. 数学界的「毫厘之争」

在那个著名的，困扰了数学家数十年的，被称作Erdős最小重叠问题的数论难题上，人类与此前最强的AI，也就是AlphaEvolve，围绕其展开的竞争已经达到了比拼精确到小数点后几位的程度。TTT - Discover加入竞争之后，直接将该问题的上界，从0.380924，压低到了0.380876。

勿轻视这小数点之后四位的变动，于理论数学的无人涉足之区域，每向前推进那么一步，皆是在重新书写历史 。

它构造出了一个非对称函数，这个函数极其复杂，有着600个分段，然而之前人类的最佳构造仅有51段 。

人类仍在借助积木搭建房屋，AI却已然开始运用3D打印去构建复杂的非对称建筑了，这恰似完全不同的两种状态 。

2. 碾压人类顶级程序员

于 GPU 内核优化（TriMul）竞赛里，任务为撰写出运行速率最为快捷的底层代码，。

这是极度考验工程师对硬件理解能力的领域。

这意味着，在今后，你所玩的游戏，你所运行的大模型，仅由于底层代码在此种AI的重新编写之下，性能便能够毫无缘由地提高一倍。

有一些「骚操作」被它给发现了，这些是全人类的工程师完全都没有想到过的，比如说算子的极其过激，也就是激进的融合，还有精度的压缩。

3. 算法竞赛的降维打击

在赫赫有名的AtCoder启发式竞赛里，其中包括ahc039以及ahc058，它不但战胜了先前最为强大的AI智能体，而且还跨越了人类金牌选手有史以来的最佳成绩。

如果当时它参赛，它就是当之无愧的第一名。

冷静一下，它不是万能神药

即便所取得的成绩极为显著，然而身为一则严谨的科普内容，必然得点明它存在的“阿喀琉斯之踵”。

第一，它是真的「贵」。

传统的 AI 回答一个问题可能只需要几分钱的算力。

TTT-Discover 要解决一个问题，在测试的时候，得展开几千次乃至上万次采样，此外，还要进行相关的训练。

该论文明确表示，解决一道单独题目的成本大概是 500 美元，这五百美元折合人民币大约是 3500 元 。

用来做小学奥数题？疯了。

用来设计下一代光刻机指令？便宜得像不要钱。

第二，它是个「偏科生」。

你不能指望用这个进化后的模型去和你聊天。

在解决那道数学题之际，它或许已然将“如何说你好”这部分的脑细胞，改写成了“如何计算微积分” 。

它是为了单点突破而生的一次性工具。

第三，它需要「打分器」。

这是最关键的局限。

目前它仅能够处理那些，好坏清晰可见的问题，这些问题存在连续奖励信号，诸如代码运行速度，越快越佳，还有数学边界，越小越优。

对于“写一首感人的诗”那样的问题，它目前没办法做到，对于“证明黎曼猜想”这种问题，它目前能做到的情况是，只有对或者错两种状态，而它现在对此也无能为力，。

作者简介

Yu Sun是本文通讯作者，他是「Test-Time Training (TTT)」这一概念的坚决宣扬倡导之人，以及该概念的整体规划创设者，他此刻是斯坦福大学的博士后 Fellow，并且他还是英伟达的研究员 。

图片来源是，https://yueatsprograms.github.io/ 。

他从加州大学伯克利分校取得博士学位，其导师在计算机视觉领域堪称超级权威，是 Alexei A. Efros，同时也是机器学习方面的专业人才，是 Moritz Hardt。

链接为https://openreview.net/profile?id=~Yu_Sun1 ，这是一串字符组合，它代表了一个特定的网络履历页面，该页面与名为~Yu_Sun1。

他的「核心思想」

对于众多的研究者而言，他们常常去追逐各式各样不同的热点，比如说，今天的时候去做Diffusion，到了明天又去做RAG，然而，Yu Sun却极其少有的，以一种死磕的状态，针对一个概念持续长达7年之久 。

他的核心信仰是：「学习不应该在训练结束时停止。」

他觉得，现存的神经网络，也就是那种先训练然后冻结的模式，是刻板僵化的。而真正的智能体呢，应当是在推理阶段，也就是测试时间的时候，持续借助参数更新去进行学习 。

TTT 三部曲：从「修补」到「颠覆」

逐个翻看他所罗列的论文清单呀，能够十分清楚明晰地瞧见这样一条进化线路呢，这条线路是于先前边缘地位的TTT向着主流地位推进变化的 。

于孙正尝试运用TTT去重新撰写深度学习的底层范式，将其从那种叫做「静态的模型」的状态，转变为称作「动态的过程」的情形。

这篇TTT - Discover，是他的成果，此成果属于这一长期愿景，且是最新的，还是最激进的。

关于智慧的另一种想象

TTT - Discover 得以出现，它不单单是一回技术方面的突破，而且更是一次在哲学层面之上的敲打。

过去我们认为的「博学」，是像百科全书一样无所不知。

但是，AI给我们呈现出了另外一种具备更强力量的智慧状态，那就是，为了去解决一个未知的困难问题，它能够在瞬间忘掉所有不相关的平凡事物，将全部的生命力都集中起来，去进行异化，去产生突变，一直到成为那把唯一可以打开锁的钥匙 。

即使这种进化是不可逆的，即使解决问题后它将不再是它。

这或许就是「发现」的本质代价。

真正的探索者，并非那种一心想要成为一本恒久正确的百科全书的人，他们更向往成为一颗流星，一颗为全然照亮未知瞬间，而不惜燃尽自身的流星 。

参考资料：

这个链接是https://arxiv.org/pdf/2601.16175 ，它指向一个文档，该文档的格式是pdf。