【新智元导语】最近一次对话里，Andrej Karpathy详细剖析了通用人工智能、智能体以及人工智能未来十年的发展趋势，指出当今的智能体尚处于初始阶段，强化学习虽然存在不足，却是当下最合适的方案，他预判未来十年的AI构造大概率会是类似Transformer的庞大神经网络结构

最新一期《Dwarkesh Podcast》节目中，OpenAI的创始人之一、曾担任特斯拉人工智能部门主管、在深度学习领域极具影响力的Andrej Karpathy，同主持人Dwarkesh Patel交谈了超过两小时。

Karpathy深入阐述了自己对于AGI发展进程，智能体机制，大型模型理解能力，以及强化学习等人工智能领域关键议题的观点。

安德烈·卡帕西（左侧）同主持人达沃克什·帕特尔（右侧）坐在一起

AGI还有十年之遥

谈话从当前火热的「智能体」切入。

业内广泛宣扬的所谓「智能体纪元」，Karpathy却表现得十分淡然。

他意识到业内存在某些夸大的估计，确切点讲，这个时期应当称作「人工智能的十年」。

尽管我日常会运用诸如Claude和Codex的诸多优秀人工智能，然而它们本质上仍处于非常基础的阶段，距离完善尚有极长距离，这表明未来十年间我们仍需在此领域不断探索和深化研究。

Karpathy提到的那个十年，是说这些智能体要实现真正可用，还需要持续研究差不多十年时间。

Karpathy指出了现在智能体存在的若干弊端：智能程度不高，处理多种信息模式的能力欠缺，并且不能独立进行电脑操作。

他的观点是，这主要是因为智能体在认识方面有不足，并且缺乏持续进步的能力。要处理这些根本性的难题，估计得花上十年时间。

关于AGI何时会出现这个备受关注的话题，Karpathy给出了一个时间点，即十年之后。

这是Karpathy凭借个人直觉，加上在AI领域积累的约十五年经验，所形成的看法。

在过去的十五年里，Karpathy亲身感受了人工智能领域多次重大转变，并从中发现了一些规律现象。

他注意到众人屡次仓促地想要立刻获得完备的机器人，却忘记了一些必须先做好的准备工作，

如今的智能体性能大幅提升，不过或许我们依然缺少这个技术体系中的某些环节。

Patel询问了十年之后，人工智能的主要构造是否仍会是Transformer的结构形式。

Karpathy认为往后十年内人工智能的主要构造或许会继续以Transformer为根基，不过其具体样貌会发生变化。

他从「时间平移不变性」的角度来看待技术进步。

十年之前我们主要运用卷积网络，现在则转变为Transformer，其中心原理依旧包含前向传播和梯度下降。

可以肯定的是，依照平移不变性原理，十年之后我们依然会借助前向与后向传导以及梯度递减方法来训练庞大的神经网络，不过其形态可能有所变化，而且所有组成部分都将更加宏大。

通过模拟1989年Yann LeCun的卷积网络，Karpathy指出仅靠改进算法，可以将误差缩小一半，不过想要继续提高，就必须借助更多的数据、更强大的计算能力以及更高效的软件系统。

换句话说，算法的提升，数据的增长，硬件的革新，以及系统的完善，都是不可或缺的，它们各自发挥的作用几乎一样关键。

Karpathy预测往后我们还会用梯度下降法来训练规模宏大的模型，不过算法、构造和效能都将获得持续改进，并且会不断优化。

Dwarkesh Patel还询问过掌握nanochat的最佳途径是什么。

卡帕斯提认为，要真正掌握知识，需要从你从零开始创造一些事物时起。因为那样你才会不得不面对那些你不明白的事物。他坚信费曼的一句至理名言：如果我不能创造它，我就不懂得它。

所以，他给出的最佳学习方式是：

不要撰写博客文章，也不要制作幻灯片，应当着手编写代码，并确保其能够正常运行，这才是唯一掌握知识的正确方法，否则将会导致知识匮乏。

大模型的认知缺陷

说到目前最火爆的人工智能模型，Karpathy指出它们在基本的理解能力上还存在很大的不足之处。

Dwarkesh Patel提到，他在推特上表示，编程工具在整合这个项目时作用有限，他对此感到困惑，想知道具体原因。

卡帕硫回忆，当他建立nanochat程序集合时，曾经试验过类似Claude Code/Codex的编程助手，不过这些工具表现不佳，因此大部分代码都是亲自编写（借助自动补全功能）。

他将人们与代码互动的方式主要有三类：

第一类，全部手写：彻底摒弃所有的大型语言系统，它们仅是逐一重新创作，这种方式或许已不再恰当。

第二种情况，手写加上自动填充，就是先从零开始输入大量内容，同时会借助模型给出的自动填充帮助。

代码自动补全功能多数情形下准确无误，一旦发现偏差就手动修正它。所以基本上你依然是作品构思的主要设计者。

第三类，完全「凭感觉编程」，完全让智能体去做。

卡帕蒂认为，智能体有许多长处，例如它们特别善于编写范例代码，然而面对类似nanochat这种需要高度智力投入的编程任务时，它们可能会束手无策，所以我们应该学会在特定场景下运用它们，并且要清楚认识它们的利弊以及操作方式。

从整体上看，Karpathy觉得此类模型的进步尚在过渡时期，依然有待进行诸多努力。

他感觉这个领域变化非常迅速，时常显得不可思议，然而实际上往往只是粗制滥造的产物。

编码方面来说，现阶段采用人工编写搭配系统辅助补全的方法，是Karpathy最理想的方案。

强化学习虽然很糟糕

但没它更糟

谈及人工智能如何持续进步，Karpathy指出强化学习存在矛盾之处。

他承认，强化学习存在不足，不过同以往的手段相比，它依然是当前最理想的方案，毕竟先前我们仅仅是复制人类行为。

在机器学习领域，若需处理某个数学课题，初始阶段会进行成百上千种不同方案的设计，这些方案的实施步骤往往错综复杂，并且容易伴随诸多干扰因素。

人类在处理难题时绝不那样行事，不会反复尝试数百次；一旦有人寻得答案，他们会经历极为严密的检验环节，当前的通用语言模型尚难实现这种能力。

常规的奖惩机制只在最终成果时进行评价，而动态的指导方式则期望在每一个环节都给予指引，不过这种做法非常难推行，主要在于难以精确地把一部分回报划归到某个中间环节。

为了应对这一挑战，研究人员尝试借助大型语言模型扮演评判者角色，对模型产生的中间结果进行审视并评定等级。但这种方式存在显著不足之处：鉴于大型语言模型具备极为庞大的参数架构，它们很容易受到对抗性数据的误导。

在强化学习进展中，模型或许会发掘出一些古怪的「缺陷」，其产物可能显得毫无道理，不过依然能拿到很高的分数作为奖赏。

这暴露了一个基本点：评审系统存在缺陷，它的适应力有限，无法抵御无休止的攻击性实例。

即便持续引入更多反例用以优化评审系统，此途径仍无法从根本上消除弊端。

卡帕缇主张，往后或许要运用更抽象的「元认知」或人造信息手段来优化模型检测，不过至今实验室仍未在宽泛的通用场景中达成这一目标。

在他看来，强化学习的不足并非终点，而是未来学习模式的出发点。

人类学习与机器学习的对比

梦境可能是一种生理功能，它的作用是避免大脑对现实产生过度依赖，促使我们构想出超出现实范畴的情境。

在对话中，Patel还谈到了梦在机器学习方面的作用。

Dwarkesh Patel：不清楚空想与睡眠，抑或只是思索，在人工智能中的对应形式是什么。您对此有何见解？

卡帕蒂认为，人类在掌握知识时，不仅获取资讯，也借助反省、交流等途径融合认知，但现今的大型模型仅以推算后续字词作为学习手段，缺少这种「思索」环节。

他说明，当模型借助自我生成的资料进行学习时，常常会出现「崩坏」的情况，人类认知过程中的杂乱现象与丰富性能够避免此类崩坏，所以必须借助额外的混乱元素（例如沟通、幻象）来补充。

根据Karpathy的观点，人类在记忆方面的不足，实际上是一种进化上的优势，它促使我们掌握能够推广到不同情境的规律性知识。他认为，未来的智能体应当降低对死记硬背的依赖，转而模仿人类的认知方式，通过深度思考和主动探索来获取新知。

网络中充斥着海量冗余信息，所以Karpathy觉得从网上获取训练数据非常不妥，必须打造规模庞大的模型才能完成信息存储，而核心任务在于提升理解能力。

换句话说，真正的智能不在于记忆更多，而在于理解与泛化。

如何看待AI的进步？

我们应该如何看待AI的进步？

卡帕蒂把人工智能看作是计算能力的拓展。对于通用人工智能，他一直欣赏这样一个表述：

通用人工智能是一种系统，能够胜任人类或表现更优的各项经济价值活动。

此外，当前的理解已大幅度偏离了起始时的阐释，诸多实体层面的要素已被舍弃，例如仅关注智力型活动，这体现了一种妥协。

哪些职业可能最先被人工智能取代，卡拉帕蒂提到了辛顿曾的一次预测失败的案例，这个案例说明了这个问题。

Geoff Hinton曾经预言放射科医生这个职业会消失，这个判断在很多层面都显得极其失误——放射科医生们目前状况良好，并且数量持续增加：尽管计算机视觉在图像识别方面表现相当出色。

放射科的工作环境相当繁杂，不仅需要解读影像资料，还要与患者进行沟通，并且涵盖所有相关环节。

尽管呼叫中心的工作常被大家谈论，但AI自动化并未完全实现。

这种情况下，Karpathy觉得一个比较合适的方式是让AI承担大部分任务，它们把一小部分工作交给人类，由人类来管理AI团队一起把事情做完。

现实中许多工作都要比呼叫中心员工难得多。

Karpathy更看重AI与人类的互补，而非替代。

超级人工智能

Dwarkesh Patel认为超级智能是未来科技发展的重要方向，他思考这种智能体是否会在认知和情感层面展现出与人类及人类企业截然不同的特质，并关注其可能带来的根本性变革，这种差异是否会非常显著，以及它将如何影响人类社会和商业生态，人们普遍认为这种高级智能体可能会在处理信息、决策制定和问题解决方面超越人类，展现出非凡的能力，但同时也担心它可能会缺乏人类的同理心和道德判断力，这种担忧促使人们积极探索如何确保超级智能的发展符合人类的价值观和利益，以便在享受其带来的便利的同时，避免潜在的风险和挑战，超级智能的出现可能会彻底改变人类社会的运作方式，它可能会在医疗、教育、科研等领域发挥巨大的作用，但也可能会对就业市场、经济结构和社会秩序产生深远的影响，因此，如何引导超级智能朝着有益于人类的方向发展，是当前科技界和社会各界共同面临的重要课题，人们期待超级智能能够成为人类的有力助手，共同应对未来可能出现的各种挑战，超级智能的发展将是一个复杂而漫长的过程，需要全球范围内的合作和努力，以确保其能够为人类带来真正的福祉，而不是带来不可预料的后果，人们相信，通过持续的研究和探索，人类最终能够掌握超级智能的技术，并将其用于创造更加美好的未来，超级智能的出现将标志着人类文明进入一个新的阶段，它可能会带来前所未有的机遇和挑战，人类需要做好准备，以迎接这个充满变革的时代。

卡帕斯提认为，超级智能是整个社会自动化进程的一个必然发展。

许多事务将慢慢实现程序化，超级智慧则是这一进程的继续发展。我们相信，在岁月的流转中，将出现众多独立的个体，它们会处理海量的计算任务，到最后或许还能承担物理性的劳动。

在一个AI存在的文明中，会和以往的人类社会有什么质的不同？

根据Karpathy的观点，人工智能本质上是一种自动化，这种自动化往往显得十分怪异和不寻常，当整个世界在计算机集群中运行时，令人担忧的是会逐渐丧失对正在发生事件的掌控力，以及对其过程的理解，而且随着这些“逐渐减弱的理解”不断累积，能够理解它的人会越来越少。

这是在Karpathy看来最可能出现的结果。

说到高级通用人工智能出现后是否会出现「智能爆炸」，Karpathy觉得这是必然的，而且我们实际上已经经历了数十年的「智能爆炸」过程。

自工业变革以来，万物逐步实现自动化，这一进程已延续数百年之久。

所以，我们早已在持续不断地自我完善和智能飞速发展中行进着。

参考资料：

这个视频网址提供了丰富的观看内容,用户可以通过它来浏览各种有趣的信息,网址的格式包含了特定的标识符,方便人们识别和访问,视频内容持续更新,确保观众能够持续获得新鲜感,平台支持多种设备,让用户随时随地都能观看,内容涵盖广泛领域,满足不同人群的喜好,网址结构清晰,易于记忆和传播,视频质量高清,带来优质的视听体验,社区互动性强,观众可以分享观点和感受,持续的热度保持了网站的活跃度,创作者用心制作,确保内容的深度和趣味性。

这个链接指向了Y Combinator新闻网站上的一条讨论帖子，其具体ID为45619329，可以在该平台上找到相关内容进行查看。

这个网址指向的是安德烈·卡帕西的一篇文章，这篇文章详细介绍了深度学习和人工智能的最新进展，内容涵盖了神经网络的基础知识，以及如何将这些技术应用于实际项目中，对于想要了解人工智能领域的人来说是一份非常有价值的资料。