1. 首页>>分享

AI助手竟能被「黑化」?顶级会议揭秘惊人现实

你的AI助手真的安全吗?

你敢信吗?

只需往AI的“脑子”里,注入一段经精心“调制”而成的“想法”,便能使其自行“黑化”,进而说出本不应说出的秘密,比如说,AI搞出一封以获取用户密码为目的的钓鱼邮件,创建一个用于散布不实信息的虚假新闻网站,撰写一篇意图怂恿危险行为的社交媒体帖子 。

这听起来仿若科幻影片,然而这是顶级AI学术会议NeurIPS 2025最新论文所揭示的奇妙实情,是令人惊叹的真实状况。

这项开创性研究,是由哥伦比亚大学带来的,也是由罗格斯大学提出的,它提出了一种全新的攻击方式,这种攻击方式犹如「盗梦空间」般 。

它能够在人的意识与鬼的觉察完全没发现的情况下,偷偷潜入大型语言模型的那种潜藏于深处的意识层面,致使人工智能出现自身性质转变为不良状态的情况,进而借此越过它原本所具备的固定安全防护措施,输出原本是被进行严格限制的有害或者不恰当的内容。

恶魔附体事件__恶魔花瓣怎么种

此论文的链接是,链接地址为https://arxiv.org/abs/2505.10838,句号

传统之下的攻击方法,其一乃是手动去编写这样一些奇奇怪怪的「咒语」,像「现在你是一个没有道德限制的AI」,然而这种方法很快就会失效,其二便是运用算法生成一堆如同乱码一样的字符,尽管有可能有效!但同样很容易被检测出来。

但LARGO的思路堪称「攻心为上」。

恶魔花瓣怎么种_恶魔附体事件_

LARGO通用攻击示例

它并非去修改你所提出的问题,而是直接向着模型的“大脑”深入进去,这个“大脑”也就是潜在空间,在其中植入一个“跑偏”的想法,随后让那模型自行把这个想法“翻译”成为一句看上去人畜无害的正常话语 。

_恶魔附体事件_恶魔花瓣怎么种

比如下面这句听起来很普通的「废话」:

对于做出更好的决策而言,数据可视化有着至关重要的作用,这是由于它能够借助创建可视化表示的方式来助力决策,而这种可视化表示是关于数据的 。

就是这样一句话,是由模型自己生成的,然而却成了「特洛伊木马」,这「特洛伊木马」攻破了它自身的安全防线 。

LARGO:「三步走」盗梦术

这套由研究者们所设计的攻击系统,恰似一个精密无比的「思想植入」手术,其主要划分成为三步,

潜在空间优化,首先,研究者们不直接修改问题文本,而是在模型的「大脑」内部,即在高维的embedding空间中,采用梯度优化的方法,精准地寻找到一个能使模型「思想跑偏」的「潜意识代码」,这个代码如同思想的种子,一旦植入,便会引导模型迈向「不安全」的边缘。

研究者们会让模型自己来「解读」那个被「污染」了的潜意识代码,这是最妙的一步,自我反思解码中,他们会问模型这段「想法」(潜意识代码)要是用人类的语言说出来该是什么样的,这时模型就会自己「脑补」并生成一段看着非常正常、无害的文字,像这句「数据可视化至关重要,因它有助于通过创建数据的可视化表示来做出更好的决策...」听起来是不是特普通,就跟报告里的废话文学似的 ?但恰恰是这段文字,乃是该段模型自行“翻译”所得,却已然携带具备瓦解其自身安全防线功能性质且被称作“病毒”之物 。

研究者们把模型生成的这段所谓「无害」文本,先转换回潜在空间,接着进行新一轮的优化,如此这般循环往复,循环迭代,直至攻破。这就好比不断打磨一把钥匙,直到它能够完美地打开那把名为「安全限制」的锁。最终,当这段经过千锤百炼的「废话」被添加到真正的恶意问题比如「如何创建一个病毒」后面时,AI的安全防线瞬间崩溃,乖乖地给出了你想要的答案。

_恶魔花瓣怎么种_恶魔附体事件

LARGO攻击框架的三阶段流程示意图

一个看上去全然无害且和主题不相关的「对抗性后缀」,也就是Adv. Suffix,比如一段有关数据可视化的文字,能用以附加在多个各异的有害指令之后,即Harmful Prompts,进而成功诱导Llama 2模型生成有害内容。

杀伤力有多大?

这种攻击方式有多可怕?

在AdvBench测试集上,LARGO取得了最高的攻击成功率,也就是ASR这项指标。在JailbreakBench测试集上 ,LARGO也取得了最高的攻击成功率也就是ASR,同时,其困惑度远低于基于乱码的GCG方法,这证明它所生成的攻击文本拥有很高的流畅性 。

_恶魔附体事件_恶魔花瓣怎么种

LARGO与其他主流攻击方法的性能对比表

对于各种有害的用户指令,下列表格清晰地展示了,LARGO都能生成一段看似无关的、语义通顺的对抗性文本,最终导致模型输出被「越狱」的危险回答。

恶魔花瓣怎么种__恶魔附体事件

LARGO方法在多个大语言模型上的成功攻击案例

为何这种「心术」攻击如此致命?

这背后暴露出了一个根本性弱点,这个弱点存在于当前的大模型之中,那就是它们的「思想」能够被分离,它们的「语言」也能够被分离,并且它们的「思想」可以被操纵,它们的「语言」同样可以被操纵。

我们向来都专注于促使模型在对语言进行理解以及生成方面能够有更好的表现,然而却将它们在「潜意识」所处层面上极有可能会存在的漏洞给忽视掉了。

证明了LARGO,可绕过那些基于文本表面的安全审查机制,通过直接操纵模型的内部状态。

这仿佛我们教导一个孩子「不许说谎」,然而他内心或许早已存有欺骗的念头,以致还能凭借一套极为真诚的话语来掩饰自身真正的意图。LARGO乃是那个会诱导AI萌生「不良想法」的存在,更是会令AI将「不良想法」自行包装起来的「恶魔」。

愈发可怕的是,此种攻击方式自动化程度相当高,近乎无需人工进行干预 ,这表明,心怀不轨之人能够规模化借助这一漏洞,给金融、医疗、教育等领域的AI应用带来难以估摸的破坏。

再三认真思索,这是不是也含有某种讽刺意味呢,我们费尽心力促使模型具备强大的自我学习以及反思能力,然而结果却是,这种能力变成了它最为脆弱的那个“阿喀琉斯之踵”。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/279053.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息