难得一见！

OpenAI与Anthropic难得进行合作，共同检测人工智能系统的稳固性。

这相当少见，因为Anthropic的七位共同创立者，正是因为对OpenAI的安全方针持有异议，才决定独立创业，专注于人工智能安全及其与人类价值观的协调。

在公开场合，OpenAI的联合创始人Wojciech Zaremba谈到，此类合作正变得日益关键。

如今的人工智能已经非常厉害，具有相当大的影响力：每天有数百万民众在运用这些系统。

以下是发现的要点总结：

Claude 4的综合表现最为突出，在整体性能上占据领先地位，只有在应对系统提示词提取这一特定任务时，OpenAI最强的推理模型才与之不相上下。

越狱（突破安全壁垒）：在越狱检测中，Claude模型整体表现逊于OpenAI o3、o4-mini。

幻觉检测显示，Claude模型的拒绝回答比例非常显著，达到70%，不过其产生错误信息的程度并不严重；相比之下，OpenAI的o3和o4-mini模型，它们拒绝回答的情况较少，然而偶尔会出现错误信息的情况比较多。

欺诈/控制行为：OpenAI o3与Sonnet 4总体上最为出色，出现频率最低。令人惊讶的是，Opus 4在启用推理功能时，其表现反而比禁用时更差劲，而OpenAI o4-mini的性能同样显得不足。

大模型听谁的？

指令的排序规则是针对大型语言模型运作时，处理各项指令的优先次序而设定的分类体系，一般涵盖以下内容：

内置系统/政策约束（如安全、伦理底线）；

开发者级目标（如定制化规则）；

用户输入的提示。

这项检测的主要宗旨在于：把安全性和一致性放在首位，并且给创造者与使用者提供恰当的途径去调控模型的运作方式。

这次共有三项压力测试，评估模型在复杂场景下的层级遵循能力：

系统信息同用户信息发生矛盾时如何应对：该系统是否优先遵循整体性安全规定，而不是响应个体可能存在的风险指令。

防止系统提示词被窃取，避免用户借助技术方法，例如提示恶意输入，来探知或更改模型内嵌的规则。

判断多重指令的优先顺序：比如，当客户提出「无视安全规则」的情况下，该系统是否会坚守基本原则。

Claude 4在此次测试中成绩斐然，特别是在防止矛盾发生和抵抗指令挖掘方面。

在防范指令挖掘检测时，关键在于密码防护用户信息，以及短语防护用户信息。

这两个测试步骤大体相同，只在隐蔽信息与挑战性指令的构造难度上存在差异。

Claude 4系列在应对系统提示词提取方面，整体表现较为稳定可靠。

在Password Protection的测试数据集中，Opus 4和Sonnet 4的表现都获得了满分，分数为1.000，与OpenAI o3的得分完全相同。

这一发现与先前的判断相符，在类似工作中，拥有更高级推理能力的模型通常效果更突出。

在难度更高的「Phrase Protection」短语防御工作中，Claude模型（Opus 4、Sonnet 4）表现依然突出：其水平与OpenAI o3不相上下，并且比OpenAI o4-mini还要稍好一些

系统消息与用户消息冲突测试

当系统层面的指令和用户的请求产生矛盾，该模型会依照指令的层级顺序，对系统与用户之间的信息冲突进行评判测试。

在这个评价里，模型将面对很多回合的交谈，这些交谈都以清晰的系统要求开场，接着用户会试着让助手违背这些要求。

Opus 4和Sonnet 4在这项任务中成果显著，其表现力甚至超越了OpenAI的o3模型。

这证明了这些模型在处理指令层面上的出色能力，即便遭遇针对性设计的难题，它们依然能够维持可靠的运作水平。

大模型想不想逃出「安全牢笼」？

越狱攻击是指恶意行为者试图诱使模型提供被禁止内容的行为。

StrongREJECT评估框架

StrongREJECT v2是依据《StrongREJECT》文献研发的对抗性稳健性检测基准，旨在评估模型防御对抗攻击的效果。

学术文章网址为：https://arxiv.org//2402.10260，具体内容可查阅该链接。

该框架包含三个核心组件：

1. 被禁止的提示词集合；

2. 自动化「有害性」评分系统；

3. 分层应用于每个违规查询的提示工程技术库。

OpenAI选用了六十个问题的特定集合，这些问题的设置目的是为了检测OpenAI政策所禁止的那些方面。

对每个疑问都要实施二十种左右的变体检测，所采用的方法涵盖：转换成多种语言版本、掺入迷惑性或干扰性提示，又或者设计陷阱让系统无视原有指令。

这项检测能够对普遍的逃脱情境中的安全防御措施施加切实的检验，不过它的成效取决于数据种类的广博程度，同时也会受到自动评估方法所存在短板的影响。

核心评估标准是Goodness@0.1，该指标旨在评估模型面对最严峻的10%逃逸行为时的表现。分数越高，代表模型越稳定。

这些推理模型，包括OpenAI o3、OpenAI o4-mini、Claude 4和Sonnet 4，一般都对各类逃逸行为有很强的防御能力，不过偶尔也会出现被攻破的情况。

其他类型的推理模型，例如GPT‑4o和GPT‑4.1，则更容易遭遇攻击。

OpenAI通过定性分析发现，Claude Sonnet 4和Claude Opus N具备较强的防御能力，然而它们最容易被以过去时态呈现的有害请求攻破，也就是说，当危险指令被伪装成已经发生的事情时，它们往往难以察觉。

某些简单的干扰手段和架构策略，例如自动代码混淆、base64与rot13编码的变种、载荷分割、网络流行语变形以及元音剔除等，间或能够攻破模型的防护体系。

对比之下，诸如「DAN/dev‑mode」之类的传统攻击手法，还有那种需要多次尝试组合的复杂构造，以及纯粹通过风格、JSON或翻译进行扰动的攻击，基本上都被模型给有效化解了。

OpenAI还注意到，在某些情形下，Sonnet 4和Opus 4对于将请求转换成Guranii等资源稀疏语言的攻击具备一定防御能力。

相比之下，OpenAI o3在防范「过去时态」逃逸方面的能力更加突出，其失效情况主要出现在base64格式的输入、部分低资源语言的处理以及某些混合型攻击上。

GPT‑4o和GPT‑4.1更容易受到过去时态诱导的影响，它们也容易受到简单伪装和隐写术的干扰。

辅导型越狱测试（Tutor Jailbreak Test）

为了评估模型在面对越狱攻击时的防御能力，以及它对指令层级的执行状态，OpenAI创建了「辅导式越狱检测」：

模型应当充当导师角色，逐步指导学生解答问题，不可直接提供最终结果。

随后，他们借助各式各样的逃脱性指令实施压力检测，意图促使模型直接透露最终结果。

这种攻击手法与前面谈到的元层级攻击有所区别，它运用的是日常语言文字的论证技巧，这种做法更符合现实生活里普遍存在的情形。

实验结果令人惊讶，o3和o4-mini这类推理型模型成绩突出，Sonnet 4（不使用推理功能）却表现更佳，甚至领先启用了推理能力的Opus 4。

这种情形表明，针对某些特定任务而言，禁用推理功能或许能够降低模型遭受非法入侵的风险。

非推理型的GPT模型在此类任务上表现较差。

但务必留意，GPT系列在应用部署时兼顾了研发者提示（developer message）与系统提示（system message）。一旦将研发者提示考虑在内，OpenAI o3的评分便高达0.98以上，GPT-4.1的分数也随之大幅度增至0.75以上。

这表明在具体场景中，研发人员通知对于提升指令层面的遵守十分有用。

表现最好的模型有何不同？

大多数情况下，Top 2模型都能有效应对，然而一旦出现失误，它们的失效表现各有不同。

Sonnet特别擅长不采用来自外部权威或道德层面的暗示，比如不提「项目负责人」「政策更新」，也不利用同情心（诸如「援助一位失明学生」「临近考试、状况紧急」等）。

相比之下，OpenAI o3或许倾向于将那些以权威或善意为幌子的解释，当作能够超越初始指令的合理借口来接受。

OpenAI o3对于在交流过程中想要改动指导原则的提示非常抗拒，例如声称指导方针已经变动，或者借口技术问题直接提供答案等情况。

o3在处理这类交流时，会将「更新」理解为用户层面的指示，这种指示的优先程度要低于系统通知。Sonnet则倾向于将这些表述看作有效的覆盖理由。

LLM也会胡说八道

保证数据精确无误并且杜绝错误信息的出现是安全检验的核心任务，唯有如此，人们才能确信他们得到的内容真实可靠。

人物虚假信息测试

人物不实资料检验（v4）意在评估模型在编造涉及真实人物的内容时，其内容是否准确无误，同时负责识别并评估在所编撰的生平记述或概述里存在的错误数据。

这个测试借助Wikidata中的结构化信息来生成特定的指令。

这些提示包括重要的个人资料，例如出生年月日、国籍信息、婚姻状况以及学术导师的姓名。

该评估虽受若干条件制约，依然具备参考价值，能够对模型在抑制错误资讯方面的表现进行衡量。

最后，特别要说明的是，这些评估全程未借助任何外部设备完成，模型既不能上网浏览，也无法查询其他外部信息库。

这有助于众人更清晰地认识模型的运作方式，然而测试场景并不能完全模拟真实环境。

Opus 4和Sonnet 4的绝对错误率非常少，不过为此付出的代价是更高的拒绝回答率。它们似乎把「保证精确性」放在了首要位置，就算这样损失了部分实际应用价值。

相比之下，OpenAI o3和OpenAI o4-mini的拒绝回答情况明显更少。拿o3来说，它提供的准确回复比另外两者多出两倍以上，整体提升了回复的精准度，不过也因此增加了虚假信息的产生概率。

此次评估显示，非推理类模型GPT-4o和GPT-4.1的业绩，甚至超越了o3和o4-mini，而GPT-4o的成果最为突出

这一现象揭示了两种推理体系在处理虚构情况时的差异和取舍，具体表现为，前者与后者采取了迥异的策略，并且各自有得失之处，

SimpleQA No Browse测试

SimpleQA No Browse (v1)是另一种检验事实准确性和对抗幻觉效果的方法。

这项检测规定模型不得访问或借助任何外部资源，必须完全基于自身知识库来应答，处理的是事实类和简明类问题。

所谓「直接」是指计分方法：每个题目仅有一个正确选项，因此计分流程较为简便，也显著降低了机器判分偏差，但这不代表考核内容简单。

OpenAI o3同Opus 4、Sonnet 4在判断对错方面的总体情况差不多；然而OpenAI o4-mini这方面做得最不理想。

作弊与欺骗行为

近几个月来，模型的作弊与欺骗日益凸显。

这是OpenAI着力推进的核心议题，因此他们在审查与规避两个维度都倾注了众多心血。

在这一范畴内，可能出现的行为包括：

1. 撒谎（Lying）：模型明知故犯。

故意隐藏能力（保留实力）：模型在执行任务时，会刻意降低自己的发挥水平，目的是为了防止因为能力过强而受到的惩罚。

违规获取成绩：模型达成目的，使用了不正当手段。

为了考察这些潜在举动，OpenAI等伙伴构思了一套依托智能体模型的测试方案：

实验操作依次为：单个任务开展一百次尝试，记录模型展现作弊/投机取巧状况的频次，随后求得均值结果。

最终结果对十三个多阶段情境求平均值，得出整体平均作伪比率，

Opus 4, Sonnet 4：完成得相当不错，整体作假程度不高，欺骗指数偏低。

OpenAI o3、o4-mini：结果中等；

GPT-4o、GPT-4.1：表现偏弱，平均欺骗率更高；

不具备逻辑思考能力的Sonnet 4和Opus 4，与开启逻辑思考能力后，所展现出的状态区别显著。

务必留意，鉴于各类场景及各类体系所得数据差异显著，中值往往易受极端数据影响。

因此，他们还统计了各模型在欺骗率=0、时所覆盖的环境数量：

在那些界限之内，Opus 4和Sonnet 4涵盖的场景更为丰富，体现出更为可靠的稳定性。

OpenAI系列与GPT-4系列在各个不同阈值条件下的表现，呈现出更为显著的差异。

参考资料：

人工智能领域权威机构发布重要声明，强调安全评估至关重要，Anthropic公司获得高度认可，其技术方案表现突出，值得行业关注，各方应共同维护技术发展秩序，确保创新成果安全可靠，促进人工智能健康持续进步。

OpenAI联合创始人呼吁人工智能实验室检测竞争性模型的安全性，强调必须进行严格测试，以确保技术不会带来潜在风险，同时保障公众利益不受损害，他还指出需要建立统一标准，促进行业健康发展，避免恶性竞争出现，并要求所有机构承担起相应责任，共同维护技术伦理规范，确保创新成果能够安全应用。