我们三个人在约翰·霍普金斯健康安全中心研究科学技术创新如何影响公共健康和健康安全，另外两个人在非营利智库兰德公司研究和开发公共政策挑战的解决方案。

尽管我们看到人工智能辅助的生物研究有望改善人类健康和福祉，但该技术仍然不可预测，并且存在潜在的重大风险。我们敦促各国政府更快地采取行动，确定哪些风险是最令人担忧的，并为这些潜在风险确定适当的检测和缓解措施。

简而言之，我们呼吁采取更加谨慎的方法，借鉴数十年的政府和科学经验，减少生物研究中大流行规模的风险。

快速实验

GPT-4o 是“多模式”法学硕士。它可以接受文本、音频、图像和视频提示，并接受了从互联网和其他地方抓取的大量数据的训练——这些数据几乎肯定包括数百万项经过同行评审的生物学研究。 GPT-4o 的功能仍在测试中，但之前的工作暗示了它在生命科学中的可能用途。

例如，2023年，卡内基梅隆大学的研究人员发现Coscientist，一个使用GPT-4的系统，可以设计、规划和执行化学合成等复杂的实验。在这种情况下，系统能够搜索文档、编写代码和控制机器人实验室设备。

OpenAI 在 5 月份发布了 GPT-4o，预计将在未来几个月内发布 GPT-5。大多数其他人工智能公司也同样改进了他们的模型。到目前为止，评估主要集中在独立运作的个别法学硕士上。但人工智能开发人员希望，包括法学硕士、机器人技术和自动化技术在内的人工智能工具的组合，可以在最少人类参与的情况下进行实验，例如涉及候选药物、毒素或 DNA 片段的操纵、设计和合成的实验。

这些进步有望改变生物医学研究，但也可能带来重大的生物安全和生物安全风险。事实上，世界各地的一些政府已经采取措施，试图减轻尖端人工智能模型带来的此类风险。

2023 年 7 月 21 日：美国政府获得七家人工智能公司的自愿承诺，在发布人工智能模型之前测试其生物安全和网络安全风险。 （另有八家公司同意于 2023 年 9 月 12 日做出承诺）。 2023年7月26日：前沿模型论坛成立，旨在促进前沿人工智能系统的安全、负责任的发展。 2023年10月30日：美国政府签署关于开发和使用安全、可靠、值得信赖的人工智能的行政命令。 2023年11月1日：在人工智能安全峰会上，29个国家政府签署了《布莱切利宣言》，承认人工智能在“网络安全和生物技术等领域”的风险。 2023 年 11 月 2 日：英国和美国人工智能安全研究所公布。英国人工智能安全研究所随后成立，并获得近1.3亿美元资金。 （美国人工智能安全研究所随后获得了1000万美元的资助）。 2024 年 3 月 8 日：超过 170 名科学家同意自愿承诺负责任地使用人工智能进行生物设计；实施尚未开始。 2024年5月21-22日：在AI首尔峰会上，16家公司同意前沿AI安全承诺，表示将在2025年2月巴黎AI峰会之前发布“专注于严重风险的安全框架”。 11月20日2024年-21日：参加国际人工智能安全网络研究所的十国政府在旧金山举行首次会议。 2025年2月10日至11日：法国将在巴黎举办人工智能行动峰会。 （截至2024年11月底，在本次会议之前同意发布安全框架的16家人工智能公司中，已有3家发布了安全框架）。

这些都是短期内取得的令人欢迎的成就，应该得到支持。然而，目前尚不清楚所有这些活动会降低多少风险，部分原因是这些机构的大部分工作尚未公开。

安全测试

除了考虑风险之外，一些人工智能模型开发人员还尝试确定哪些因素对其模型性能影响最大。主要假设遵循缩放定律：LLM 性能随着模型大小、数据集大小和计算能力的提高而提高。然而，缩放定律无法可靠地预测哪些能力可能会出现以及何时出现。

与此同时，由于政府缺乏关于需要解决哪些风险以及如何减少风险的政策，OpenAI 和 Anthropic 等公司一直遵循其内部开发的评估协议。 （拥有人工智能系统的公司，包括 Amazon、Cohere、Mistral 和 xAI，尚未披露其模型的生物安全评估。）在这些情况下，安全测试需要自动化评估，包括使用多项选择题的评估，而人类试图从中学习评估研究在人工智能模型中引发有害能力，以及要求个人或团体在有或没有人工智能模型的情况下执行任务的对照试验。

我们认为，即使公司自己进行评估，这种评估也是有问题的。他们常常过于狭隘地关注生物武器的开发。例如，Meta 进行了研究，看看其开源 LLM Llama 3.1 是否会增加“生化武器”的扩散。同样，人类评估了克劳德回答“与先进生物武器相关的问题”的能力。

这种方法的问题在于，“生物武器”没有公开可见的、可接受的定义。单独使用时，该术语不区分小规模风险和大规模风险。各种病原体和毒素都有可能被用作武器。然而，很少有病原体和毒素能够造成影响数百万人的伤害。此外，许多病原体能够造成严重的社会混乱，但不被视为生物武器。

另一个问题是评估往往过于关注基本的实验室任务。例如，在 OpenAI 与洛斯阿拉莫斯研究人员合作进行的一项评估中，正在测试的功能可用于开发“邪恶”的东西，例如破坏农作物的病原体，但也可用于进行有益的生命科学研究。重要的步骤和研究本身并不令人担忧。

除此之外，迄今为止进行的评估都是资源密集型的，并且主要适用于法学硕士。它们通常采用问答形式，要求人类提出问题或查看模型的答案。最后，如前所述，评估人员需要检查多个人工智能系统如何协同工作——美国政府目前要求这样做，但在行业中却被忽视，因为公司只是测试自己的模型。

如何确定优先顺序？

那么更好的方法是什么？

鉴于资源有限且人工智能正在迅速发展，我们敦促各国政府和人工智能开发人员首先关注减轻那些可能造成最大生命损失和社会破坏的危害。涉及传染源的疫情爆发就属于这一类——无论它们影响人类、非人类动物还是植物。

我们认为，人工智能模型的开发人员需要与安全专家合作，明确哪些人工智能功能最有可能造成如此大规模的危害。即使他们在某些问题上存在分歧，但不同专家普遍同意的“关注能力”清单提供了比单个公司或专业学术团体制定的清单更可靠的起点。

作为原则证明，今年 6 月，我们召集了 17 名人工智能、计算生物学、传染病、公共卫生、生物安全和科学政策领域的专家，在华盛顿特区附近举办了为期一天的混合研讨会，目标是确定哪种人工智能——生物研究中的动力能力最有可能导致大规模死亡和破坏。研讨会参与者的意见各不相同。然而，大多数小组成员认为，17项人工智能能力中的7项“非常有可能”或“非常有可能”导致新的人类、动物或植物病原体在全球范围内爆发。他们是：

迫切需要指导

目前正在研究所有这些人工智能功能的潜在有益应用。因此，政府在制定政策时，在降低风险的同时保留这些好处，或者就更安全的替代方案提供指导，这一点非常重要。

然而，只有明确哪些人工智能功能会造成大流行规模的生物安全和生物安保风险，才能做出有效的评估。换句话说，正在测试的任何能力与高风险事件发生的可能性之间必须存在很强的相关性。如果通过安全测试发现了这种能力，就可以采取有针对性的措施来降低风险。

在测试阶段，尝试从人工智能模型中提取有害功能可能会产生不同的结果，具体取决于所使用的方法和所做的努力。因此，为了有效，能力验证必须足够可靠。此外，评估应该由对技术有深入了解的专家进行，但他们不应该受制于开发人工智能系统或正在评估的系统的公司。目前，这是一个相当大的困难，因为那些最了解如何测试人工智能模型的人经常参与其开发。

一些人认为，由于目前人工智能生物安全测试所需的时间和资源，小型人工智能公司和学术实验室无法进行此类测试，这是有道理的。在最近的一次 GPT-4o 评估中，OpenAI 与 100 多名外部红队成员合作，以确定该模型的潜在有害功能。然而，如果更多涉及的步骤实现自动化，人工智能系统的安全测试可能会变得简单、常规且经济实惠。这种转变已经发生在网络安全等其他领域，其中软件工具已经取代了人类黑客。

11月20日至21日，来自已经建立人工智能安全研究所或正在努力建立人工智能安全研究所的国家的代表将齐聚旧金山，讨论企业如何在实践中以安全和道德的方式开发人工智能系统。

明年2月，各国元首和行业领袖将在巴黎举行的全球人工智能行动峰会上讨论如何“基于安全和安保问题的客观科学共识”建立对人工智能的信任。

所有这一切都令人鼓舞。但第一步是通过由不同独立专家参与的积极主动的过程达成客观的科学共识。

原文链接：

编译：阮文云

如需转载或投稿，请直接在公众号留言