新智元报道

就在刚才那段由GPT生成的汉字文本里, 竟然要开始逐字逐句地悄悄植入隐藏信号了。

这一套水印系统在业界被称为textGrain, 当模型每次选择某一个具体的词语的时候, 都会暗中地往其中掺入一把密钥, 这种密钥的存在情况只有OpenAI是完全知道其中的底细的。

用肉眼看去, 找不出一点端倪, 读起来的口感和原作简直一模一样毫无区别, 然而让检测工具轻轻一过手, 立马就能断定这段文字究竟是不是来自于OpenAI这个模型。

自那以后, 如果你直接把由人工智能代写的作业或者简历亦或是周报原封不动地复制再粘贴上去的话, 很有可能会立即被人察觉并识别出来。

划重点, 这次发布最关键的有四条。

1. 这件事是即刻就生效的, 在全球范围内, 使用API的客户们从今儿个起就能够自个儿把水印功能打开, 再说了那些叫做GPT的产品和被称为Codex的服务也会在随后的几个星期里头陆陆续续地被接接入进来。

2. 检出率是很高的, 当误报率被控制在百分之一的时候, 针对一段包含四百个token的心理学类别的回答内容, 百分之九十以上的相关条目都能够得以成功检出, 开源人工智能公司还对外宣称了具有强烈自信的观点, 表明其技术成效已经能够紧紧追赶并且完全达到甚至超越谷歌所推出的SynthID系统的水准。

3. 在性能方面几乎是做到了毫无损失这种程度, 采用了旗舰级别的那个GPT-6 Astra模型并且是加上了水印这一操作之后, 那八项核心方面的运行分数基本上都是保持着持平的状态呢, 甚至其中有五项内容反而是出现了略微上涨的情况了。

4. 关于检测权的控制情况说明如下: 当前, 该检测器并不会对广大公众开放使用权限，而是仅向那些已经通过审核的研究人员以及专业机构进行发放。与此同时, 与检测器有所区别的textGrain部分则会采取开源的方式进行处理。

人工智能写作的实名制时代正式拉开了大幕。

到了现在这一步, 谷歌、Anthropic还有OpenAI这三个大佬, 已经全部给人工智能所写的文字安装好了带有“身份证”认证的东西。

把1781年发生的搬运土壤的这个难题, 给放进到了GPT里面去。

大模型进行文字生成的时候, 每次都只是向外输出一个词。在吐出来之前, 它会给所有可能的候选词一个一个地打上概率分数, 然后, 再根据这些概率去抽取一个合适的词把它给弄出来。

像「The morning was ___」这种句子, 也就是早上天气很____后面, 其中「warm」所占的比例是百分之三十, 而「cold」所占的比例则是百分之二十五, 至于其余那一些词语, 就把剩下的部分给分掉了。

需要制作水印, 其目的是为了使得这次抽签的过程能够悄悄地遵循密钥的指示。

然而, 有一条铁律是绝对不可以打破的, 这条铁律被称作「无偏」。我们需要考虑所有可能出现的情况, 将那些密钥进行平均值处理, 这样的话, 每一个词语被挑选出来的可能性都必须要和一开始的状态完全保持相同。

这样一来, 那些不了解密钥具体是什么情况的人们看到的画面就是完全正常的随机排列的文字内容, 而模型原本想要表达的意思也没有发生任何改变。

那时候, Scott Aaronson在OpenAI这家公司里面, 去设计并且实施了第一个版本的水印技术, 这个技术方案是能够保证无偏状态的, 不过同时也是遗留下来一个缺点的——。

当面对同一个问题的情况下只要使用的是那把同样的密钥, 这个模型在它进行的每一步操作里头都会做出相同的选择去确定那个特定的词语, 如果你用完全一样的问题去询问十遍的话, 它给出的回答有可能连一个字的差别都没有。

textGrain这种解决办法嘛, 它可不是凭空蹦出来的, 而是源自一个老掉牙了的数学问题, 就是最优传输那个事儿, 这问题到现在大概已经有将近两百年五十年的历史了这么长的一段年头。

它的这个起始的地方, 确实是属于那个搬运泥土的一个工作环节。

在1781年, 有一位来自法国的数学家叫做蒙日, 他当时曾经去思考并琢磨过一个非常具体的问题, 这个问题的具体内容是关于一堆土方如何进行处理才能使得总的运费达到最低限度, 也就是要将这一堆土运输到另一个坑里去填充的时候, 需要考虑将每一份土运送到哪里去, 这样总体的花费才会是最少的。

到了20世纪40年代, 苏联数学家康托洛维奇把问题的范围给放宽了, 他提出说一份土都可以拆开进行运输, 把这些土运往不同的很多地方去, 只要两头的总量能够对得上就可以了, 于是原来那个搬土的难题就变成了我们现在所说的线性规划问题了。

在后来, 凭借那个最优资源配置理论, 他同库普曼斯一道, 分享了在一九七五年的诺贝尔经济学奖。

有意思的一点在于, 库普曼斯本身就是耶鲁大学里的经济学家, 而对于这份技术报告的撰写者来说, 其中的一位就是同样来自耶鲁的经济学家陈晓红, 她现在的职位恰好是以库普曼斯的姓名来命名的讲席。

后来, 时间在2010年过去, 那个叫做维拉尼的人获得了菲尔兹奖, 他把最优传输和几何、概率还有偏微分方程都打通了。

在2013年这个时间点, Marco Cuturi这个人引入了熵正则化和Sinkhorn算法, 把原本特别昂贵的那种计算过程的效率给大幅提上去了, 就这么一来, 最优传输这个东西才真正变成了机器学习领域里面一个被大家经常用到的那种工具。

textGrain把这条数学链条搬进了大模型, 这是两个多世纪之后的事情。只不过, 这一次被搬来搬去的对象换成了下一个词的概率。

textGrain这个系统的核心思路, 就是给水印这件事, 专门划拨出一笔叫做“随机性预算”的资金或者额度。

这篇论文证明了某个恒等式, 具体来说, 水印技术导致选词行为与密钥之间产生了额外的关联量, 而那个额外的关联量, 恰恰就等于模型在计算过程中平均所损失的随机性部分, 所以这两边其实指的是同一个数量。

水印获取的统计关联性有多少, 它就要付出相应数量的随机性, 二者之间的对应关系精确到分毫不差。

于是OpenAI可以事先确定一个比例, 去规定这个水印最多能够把本来有的随机性占用多少。打个比方说, 如果把比例设定为0.2的话, 平均算下来至少还得保留八成左右的随机性, 这样才能够让回答的多样性得到保障。

具体的过程嘛, 它总共是分为三步完成的这个步骤。

第一步, 把密钥和被前文一起提到的候补词汇都放到一块儿去, 然后把它们打乱之后再随机地分成好几个组, 这样每一个组里的概率合起来算一下就是一个值。

图中的六组词汇被归纳为三个组合, 其中第一组包含的warm与calm所占的概率权重为0.40, 第二组包含的cold与sunny所占的概率权重是0.35, 而第三组中的mild和bright所占的概率权重则设定为0.25。

经过这样的分组处理后, 后续的操作就不再需要逐个为每个词赋值, 而是要在这几个大的分类组之间去分配总的概率数值了。

到了这一步阶段, OpenAI这个公司就相当于是提前准备好了四套带有偏心性质的方案内容, 而大家在图像里所看到的那四个并列的数据列, 正好就是代表的这全部的四套具体的方案选项。

密钥为每一个组合并且对应方案的格子生成一个随机的分数, 随后使用带有熵约束的最优传输方法, 借助Sinkhorn算法不断地进行修正行和列的操作, 把概率尽量向高分的格子上面移动, 直到预算完全用完为止。

每一套方案分别都有不一样的偏向, 也就是对不同的组会有所侧重。如果把这四套方案放在一起进行平均计算的话, 那么每一个小组所对应的概率数值依然保持分别是零点四十、零点三五以及零点二五。在这样的情况下, 整体上就不会出现对任意一方存在偏袒的情况。

到第三步这一步时, 密钥从其中的一套里被选中。在图片中显示选中的是第2列, 那么针对「cold、sunny」这一组的概率数值就从原本的0.35提升到了0.69。

再次在那个群体当中，严格依照原本所确立的、比例关系为25比10的标准来挑选相关的词语, 并最终写下“cold”这样一个词汇。

那些不知道密钥的人都看到了一个情况, 那就是这是一次看起来十分正常的抽签活动；而另外那些手握有密钥的人员心里都清楚, 这同一个步骤实际上是应该向某一个特定组的。

检测时，要回答的其实只有一个问题，这段文字的选词，是不是总「碰巧」踩中密钥指定的偏好。

普通老百姓所书写出来的字迹, 是根本不与那个密钥产生任何关联的, 其中每一个具体位置上面所对应的分数数值, 其实都是处于一种完全随机状态之中的, 至于最后加总得到的总分, 最终会降临到哪一个数值区间范围之内, 这个情况其实是能够借助现成的一种概率分布模型来进行精确计算的。

而且带有水印的那些文字, 它们是会踩在那种高分值的格子上的, 所以最终的总分也会高得离谱。

在进行整个检测的过程里头, 只需要用到原文以及密钥就行了。这样做的话, 就不需要去请出模型了, 也不需要知道在生成的时候预算设置成了多少。

值得提起的是这样一种状况, 即这种水印并没有使得模型变得在智力方面出现退化或者降低其能力水平的情况发生。

在GPT-6 Astra的8项基准测试里, 有5项加了水印之后的成绩反而略微上涨, 下降得最多的幅度也仅仅只有1.12个点。另外, 系统里的相关测试数据也显示出来一个结果, 就是用户的点踩率几乎没有任何变化。

北京大学数学学院的校友进行了领衔, 同时宾夕法尼亚大学与耶鲁大学进行了联手, 并且也和OpenAI进行了合作。

这份20页的技术报告, 作者栏里面有4位高校的学者。那9位作者的背景覆盖范围很广，横跨统计学、经济学、优化和机器学习这几个领域。

第一位作者叫做李翔, 他在北京大学读书, 先是读完了统计学的本科阶段, 接着又完成了博士学业, 他的导师人名是张志华, 在最近这段日子里头, 这个人主要集中力量去研究大的模型里的文本水印技术, 还有评估大的模型这些事儿, 等到即将到来的那一年的十二月过去了, 也就是下一年开始的时候, 他要去罗格斯大学那里的统计学系里去当职位名字为助理教授的工作者。

宾夕法尼亚大学的龙琦是一位生物统计学家, 他早年毕业于中国科学技术大学少年班, 目前正担任宾夕法尼亚大学生物医学信息学研究所的负责人。

在耶鲁大学, 陈晓红是美国艺术与科学院的院士。她以前还和邹至庄两个人一块儿得到了2017年的中国经济学奖。

温刚这个人, 目前是耶鲁大学统计与数据科学系五年级的那一位博士生。他之前是在北京大学数学学院读的本科。他去那里主攻的方向是高维的概率论以及随机矩阵相关的知识。从他2021年开始起步的那个时间点算起, 他就一直跟着苏炜杰在做研究工作。

在OpenAI这边的作者阵容里边, 有一个叫Qingquan Song的人, 他来自于基座模型团队, 同时也是开源工具Auto-Keras的作者之一。另外两位作者是Arzav Jain和Florent Joly, 这两个人都曾参与过GPT搜索的研发工作。

其中, 把这支队伍给串联在一起的这样一个核心人物, 也就是通讯作者, 他是苏炜杰, 这个名字是苏炜杰。

他在这年的5月份正式地加入了OpenAI, 与此同时呢, 他还继续担任着宾夕法尼亚大学沃顿商学院统计与数据科学系的教授一职。

苏炜杰这个人是北京大学数学科学学院二零零七年级的学生, 他在那边读大学的时候, 专业成绩排在整个年级的第一名的位置, 同时还拿到了首届丘成桐大学生数学竞赛全能项目的金牌, 之后他就去斯坦福大学读书, 做的是统计学的博士, 他的导师是Emmanuel Candès。

他的研究范围很广, 包括了统计机器学习、高维推断、优化以及隐私保护等领域。在ICML 2023中, 会议还专门利用了他提出的「保序机制」进行了实验, 这个实验让作者根据自己的投稿情况对稿件进行排序, 通过这个方式来校准审稿分数。

在今年2月份的时候, 他获得了COPSS会长奖。当时颁奖词里写的第一点内容就是关于生成式AI的统计基础。在这其中, 还涵盖了有关于水印方面的相关研究。

关于“这是我本人所撰写的内容”这一说法, 在初始阶段必须提供证据加以验证。

前面已经把那个原理讲得清清楚楚了, 咱们现在接着往回说, 来聊聊一个特别关键的问题, 也就是大伙儿心里头最惦记的那件事儿, 就是自己利用AI工具去创作出来的东西到最后有没有可能会被检测出来被查个水落石出。

这种完全原封不动地照抄的行为, 实际上是非常危险的, 因为只要几百个词语直接连接在一块儿呈现出来, 那就必然能够让相关的检测系统识别出来。

然而, 目前能够执行查询操作的人员, 既不具备你的任课教师的这一身份特征, 同时也未能获得你的企业人力资源部门相关职位的对应设定。

根据官方给出的通告说明, OpenAI所推出的那类检测工具, 明确表明只提供给那些已经通过审核的研究者加以使用, 而Anthropic的相关服务方面, 也明确指出其只对监管机构、媒体从业者、研究人员, 以及教育机构这一群体的开放。

门虽然是还没有被打开的, 但是这个方向却已经是变得非常清楚的。

现在有每周十二亿的人在用GPT, 越来越多的字是出自模型的, 谷歌这家公司、Anthropic这家公司还有OpenAI这家公司都选了同一条路, 把出处直接写进文字本身。

两百多年前, 有一种数学是用来给土方工程算运费的, 现在这一种数学在给机器写下的字标明出处。

那水印, 它仅仅能够起到一个证明的作用, 来表明那段话是从人工智能那儿来的, 但是, 它却是没法去证明那段话是来自于你自己的这一个人。

从今往后, “这是我写的”这么一句话, 很可能也必须拿出一些证明材料来作为佐证了。

参考资料：

https://openai.com/index/eu-text-provenance/

https://cdn.openai.com/pdf/e9508624-d767-41b6-a26d-e34ca798ada6/textgrain-entropy-calibrated-watermarking-for-language-model-text.pdf