谁曾料想，那个承载着童年美好回忆的宝可梦，如今竟然成为了检验大型模型性能的标杆！

在众多人的孩提时代，《宝可梦》这款游戏留下了深刻的印记——其操作简便，即便是年幼的孩童也能轻松掌握。

然而，要想顺利通过这款游戏，仍需精心制定策略，并且付出相当多的时间精力。

这款游戏，承载着无数人的童年记忆，如今却悄无声息地变成了众多科技公司竞相测试最新大型语言模型的宠儿。

从Anthropic到Google，各路模型竞相展示它们在“通关宝可梦”游戏中的卓越表现，以此证明自己在推理、规划和长期记忆能力方面的强大。

而且通关后，谷歌的CEO劈柴都要亲自发帖来庆祝。

真让人感到惊讶，都已经到了2025年，AI成功通关《宝可梦》竟然还能成为一则大新闻？

更不用说，这款宝可梦自1995年首次推出，距今已有30载，那么为何这款30年前的游戏却能成为检验当下最尖端AI模型的标杆呢？

这是因为最先进的AI也不一定拥有人类幼儿的感知和行动能力。

莫拉维克悖论

在LLM问世之前的1980年代，早期的人工智能技术已初露端倪，显现出了某种“智慧”的迹象。

人工智能领域的开拓者汉斯·莫拉维克、罗德尼·布鲁克斯以及马文·闵斯基等专家，揭示了一个令人困惑的矛盾现象。

实现电脑在棋艺上达到成人的水平相对较为简单，然而，要赋予电脑一岁婴儿那样的感知与行为能力，则显得极为艰巨，甚至可以说是难以实现的。

史迪芬·平克，这位语言学家兼认知科学家，视此为人工智能领域学者们最关键的研究成果。在长达35年的深入研究之后，他揭示了一个核心观点：

困难的问题是易解的，简单的问题是难解的。

四岁儿童的天生能力，诸如识别面部特征、握笔以及在家中行走、回答问题等，实际上却是工程学领域至今尚未完全解决的复杂难题。

新一代AI技术的出现使得股票分析师和石化工程师需警惕其岗位可能被替代的风险，然而，对于园丁、接待员以及厨师等职业来说，至少在未来十年内，他们无需担忧会被人工智能所取代。

这同样是所有顶尖模型所期望在宝可梦游戏中验证的——当前的大型语言模型是否具备感知力？

克劳德·奥普斯4仍在直播中沉迷于玩宝可梦，而且这一行为已经持续了超过12万步。

宝可梦作为评测基准，合理吗？

宝可梦正日益成为评估现代大型语言模型的重要工具，然而，它面临的一个显著问题是，现有的挑战普遍缺乏统一的标准。

Anthropic公司为Cladue模型配备了导航功能，并赋予了其读取游戏状态内存的能力。

该模型在道馆中历经数场较量，经过大约35,000次游戏内操作，终于抵达了电系道馆的顶尖挑战者面前。

然而，Anthropic并未对何为“动作”给出明确的定义，同时也没有具体阐述允许进行多少次尝试。

Google推出的Gemini 2.5 Pro版本已经成功通关了《宝可梦 蓝》游戏，并且在《宝可梦 红》这款游戏中赢得了第五个徽章。

然而，该系统需要借助额外的外部代码，以提取更为详尽的游戏状态文本信息，并据此进行决策指导。

完成这款游戏的过程颇为耗时，而且要想赢得第五个徽章，至少需要投入500多个小时。

同时API的使用会产生大量费用。

如何将广受欢迎的《宝可梦》游戏，转化为一个标准化的评估体系，甚至进一步拓展为适用于多种游戏的评估框架呢？

这就是我们今天所介绍的Lmgame Bench，该平台精心挑选了一系列难度适宜的游戏，同时引入了分级的测试体系，这使得它更加适合评估大型模型的真实性能。

请访问以下博客链接，获取相关信息：https://lmgame.org/#/blog/pokemon_red。

该测试基准由UCSD等重量级机构联合推出，其研究重点在于探讨如何利用广泛流行的视频游戏来对现代大型语言模型进行评估。

该研究论文的链接为：https://arxiv.org/pdf/2505.15146，请查阅。

Lmgame基准测试

Lmgame Bench采用了模块化的测试框架，其中包括感知、记忆以及推理等模块，以此方式对模型的游戏功能进行了全面的增强。

这些测试工具使得模型得以通过连续的交互循环，与模拟的游戏环境展开互动。

Lmgame-Bench运用了一种规范化的提示改进策略，旨在减少对提示信息的敏感度。

为了在缺乏任何外部游戏开发框架的条件下辨别模型性能，Lmgame Bench精心挑选了一系列难度适中的电子游戏。

这些游戏包括：

推箱子游戏中的得分计算方法是根据所有关卡中成功推至指定位置的箱子数量来确定的，这一统计涵盖了从极其基础的关卡到Sokoban 1989这款游戏中最为棘手的关卡，直至遇到第一个无法破解的困境。

超级马里奥兄弟这款游戏中，玩家的得分是通过累计在各个关卡中横向移动的距离来计算的，该距离以游戏专用单位来衡量。这一得分过程会一直持续，直到马里奥耗尽所有三条生命，或者成功通关游戏。一般来说，那些在物理直觉和空间推理方面能力更胜一筹的玩家，往往能够获得更高的分数。

俄罗斯方块游戏中，得分由已记录的方块总数与清除的行数（每行乘以10）共同构成，这一计算持续到游戏结束。不同型号的俄罗斯方块在游戏时长上有所差异，这主要取决于它们处理下落方块的高效程度。以o3-pro为例，它能够一次性清除超过10行方块，因此能够维持较长的游戏时长。

2048游戏中，方块值的合并会计算总和，比如两个2合并会得到4分。这个过程会持续进行，直到棋盘不再发生变化，即连续十个回合内没有合并或移动。此时，我们将公布所有合并后的总得分。鉴于游戏可以持续进行超过十万步，这为评估模型在长时间内的表现提供了有力的依据。

糖果消除指的是在规定为50步的对话过程中，所成功清除的糖果累计数量。尽管这款游戏操作起来并不复杂，但它却能够有效地反映出模型在优化移动策略和清除糖果方面的实际能力。

逆转裁判：需在案件各个阶段准确执行操作（如提交证据、选择对话等），直至耗尽五次错误决策的机会（即生命值）。该游戏旨在测试模型对情境的理解及推理水平。

模块设计

许多模型在视觉理解上存在脆弱性，导致对游戏状态频繁误判。

想要在游戏中取得成功，需要有效的记忆机制来实现长期决策。

Lmgame针对性的开发了三大模块。

感知模块负责将游戏初始画面或用户界面元素转化为有序的符号或文本形式的描述，以此降低对易受损害的视觉感知的依赖程度。

内存模块负责保存近期状态、行为以及反思记录，这样做有助于减少动作范围，并助力于长期计划的实施。

推理环节：整合来自其他模块的全部数据，同时可选择启动连续链条式的推理解析。

o3玩2048的记忆模块展示

Gym风格标准接口

尽管研究人员有所发现，但直接运用计算机操控智能体进行基准测试的过程中，却暴露出了不少严重的问题。

各类游戏对电脑的操作需求各异，若仅依赖屏幕截图进行观察，往往容易产生误解。

在对那些对延迟极为敏感的游戏进行测试时，若出现难以预料的延迟现象，这些问题无疑会降低测试结果的整体一致性和相互之间的可比性。

为此，研究团队开发了一套基于Gym风格API的标准化接口，旨在统一评估各项设置。

通过整合轻量级的感知与记忆辅助功能模块，确保稳定提示效果的差异化，并有效清除数据中的杂质。

在13个顶尖模型所进行的测试中，Lmgame-Bench展现出了较高的难度，但即便如此，它依然能够准确地区分出各个模型之间的差异。

o3模型位居排行榜前列，该模型因具备卓越的视觉感知力、空间推理技能以及长距离规划能力而备受瞩目。

然而出人意料的是，尽管o3在2048、推箱子和俄罗斯方块游戏中表现卓越，取得了全面胜利，但在糖果消除这项游戏中却明显处于劣势。

目前，利用Lmgame所提供的免费开源代码，任何人只需执行一个指令，便能够启动对任何受支持的模型与游戏组合的评估过程。

近期观察到的各类模型进展显示，在处理数学与编程相关任务时，融合强化学习技术能够有效提升大型语言模型的推理效能。

即便是最基础的强化学习算法，亦能显著提升模型的规划与决策效能，这种效能在与复杂环境相互作用的过程中显得尤为关键。

这些进展凸显了游戏环境作为评估LLMs的有效基准作用。

那些曾经广受欢迎的游戏，经过精心策划，旨在考验并提升人们的思维与认知水平。

这些游戏不仅具有很高的价值，然而目前尚未得到充分的开发和利用。

除了经典游戏，我们还拥有众多顶尖的3A级大作，展望未来，可以预见到评估体系将展现出极大的发展潜力与广阔的拓展空间。

Lmgame Bench的问世，正是在这样的情境下提供了回应：真正的智能不仅需编写代码、解决数学问题，更需在复杂、开放、动态的环境中不断进行思考、规划和采取行动。

而这场测试，还远未结束。

参考资料

请勿访问该网站，特别是其博客部分，尤其是关于《宝可梦红》的相关内容。

该链接指向的页面内容涉及对特定话题的讨论，其中对某些观点进行了详细阐述，并提出了相应的建议，旨在促进对该领域的深入理解和交流。