疯狂杀戮！谷歌新版Gemini超越o1，登顶竞技场总榜榜首！

经过6000+网友的匿名投票，他不仅数学成绩追平了学霸O1，还在其他五个项目上获得了第一名。

新型号称为 Gemini (Exp 1114)。结果一公布，连CEO皮查伊都亲自赶到站台。

Arena官方也第一时间公布了这个好消息，并向谷歌表示祝贺：

祝贺您达到这一非凡的里程碑！

这太尴尬了！承诺的谷歌是否遇到了瓶颈？没想到他的反手竟然是王炸。

我耽心。或许，只有OpenAI才能立即发布全健康版的o1与之对抗？

目前新模型可以在Google AI Studio中体验，官方计划未来提供API。

网友们也纷纷猜测这是否就是传说中的双子座2——

获得7项第一名，数学与O1不相上下

一夜之间，竞技场Imsys排名再次刷新：

从总体榜单来看，谷歌新模型Gemini（Exp 1114）的得分提升了40+，挤掉了此前一直霸占榜单的OpenAI模型（包括o1-preview、GPT-4o）。

而如果正面遭遇敌人1v1，新双子座似乎还有一半甚至更多的获胜概率。

整体胜率热图显示，Gemini（Exp 1114）对 4o-latest 的胜率是 50%，对 o1-preview 的胜率是 56%，对 Claude-3.5-Sonnet 的胜率是 62%。

同时，Gemini（Exp 1114）在个人项目上也非常出色，一举夺得6个第一名，包括：

最大的亮点是Gemini（Exp 1114）在数学能力上与o1模型不相上下。

要知道，根据OpenAI官方的说法，o1无需经过特殊训练就可以直接获得数学奥林匹克金牌，甚至可以在博士级别的科学问答环节超越人类专家。

但遗憾的是，对于编写代码这一重要功能，Gemini（Exp 1114）相比 Google 之前的版本有所提升，但依然没能进入前三。 （o1-mini/preview 仍然领先）

另外，在风格的掌控下，Gemini-Exp-1114也无缘前三，甚至还不如自家的Gemini-1.5-pro。 （排名在 o1、4o-latest 和 Sonnet 之后）

解释一下，Style Control是Arena今年推出的新功能，旨在确保分数反映模型真正解决问题的能力，而不是使用漂亮的格式和增加答案长度。

然而，也有意想不到的惊喜。 Gemini-Exp-1114 这次获得了视觉能力第一名，超越了 GPT-4o。

总体来说，大家对谷歌这次的反超感到非常意外。

目前Gemini-Exp-1114可以在Google AI Studio中体验，官方计划未来提供API。

这不，不少网友已经开始测试了，但似乎争议颇多——

网友们反应不一

首先总结一下，通过网友测试，目前已知有关Gemini-Exp-1114的信息如下：

其中32k上下文被大家诟病。有人直言，相比Gemini 1.5的200万个上下文窗口，这里不升反降！

或许是感受到了大家的不满，Google AI Studio 负责人赶紧出面平息事情：快更新了！快点更新吧！

安抚了大家的情绪后，大家终于说出了自己的看法。

通过其中一个家伙的观察，Gemini-Exp-1114这次也使用了思维链，在回答的时候能够像人类一样一步步思考。

而且，他数学真的很好？

Gemini-Exp-1114 正确回答了 2024 年美国数学奥林匹克预选赛 II 的第 1-8 题。

即使在相对薄弱的编码领域，也有人第一次尝试就成功了。

然而，翻盘总是不可避免的。

有人在基准测试中问了一道物理问题。结果，Gemini-Exp-1114虽然有思维链的加持，但依然回答错误。

即使是比较数字和计算草莓中“r”的陈词滥调仍然失败了。

更搞笑的是，有人问Gemini-Exp-1114“你叫什么名字？”

结果回答了claude（doge）。

事实上，大家一直在猜测Gemini-Exp-1114是否会是Google计划更新的传说中的Gemini 2。

但根据实测，相当一部分网友站出来表示否认。

毕竟看起来连老版本1.5 Pro存在的问题都解决不了。

甚至有人声称这是谷歌推迟发布更大型号（即Gemini 2）的策略。它会先做一个残版给大家玩，免得大家急着更新。

结合CEO皮柴放烟雾弹的做法，似乎有些道理（doge）！