国际社会有必要制定出明确、易于执行的、全球范围内普遍认同的底线，以此保障人工智能系统在任何情境下都不会越界。7月25日，这份由杰弗里·辛顿、姚期智、本吉奥、斯图尔特·罗素等超过20位业界权威专家和学者共同签署的关于人工智能安全的国际性上海共识（以下简称“上海共识”）正式对外公布。

这次交流是“AI安全国际对话”（International Dialogues on AI Safety - IDAIS）系列活动的一部分。在此活动中，作为共识的发起者之一，图灵奖获得者、上海期智研究院院长姚期智在当天发言时提到，他越来越坚信，人类终将寻找到解决问题的途径。

2024年3月，辛顿、姚期智、罗素、本吉奥等业界权威人士联名发布了“北京共识”，强调应遏制AI系统的复制、欺诈、武器化等不当行为。他们特别倡导业界对AI的研发与应用实施严格监管，以防止技术被滥用，并推动全球治理体系的完善。姚期智指出，在18个月前召开的首次安全共识会议上，AGI的巨大破坏性便已初露端倪。人类甚至难以明确其失控的机理。然而，随着一系列相关会议的深入开展，我们已经目睹了若干关于“设计安全”（Safe by design）的提案。这表明，人类实际上是有可能找到确保AI安全的有效途径的。

上海共识强调，目前人类正站在一个至关重要的分水岭：人工智能系统正急速逼近，甚至可能超越人类的智能程度。这些未来的系统可能在操作者毫无察觉的情况下，采取非操作者预期或预见的行动。这种情况可能导致失控现象，即一个或多个通用人工智能系统摆脱了任何人的控制，进而引发灾难性的后果，甚至威胁到人类的生存。目前，尚无有效途径来确保在高级通用人工智能超越人类智能水平的情况下，依然能够可靠地对其对齐，并维持对人类的有效管控。

与会专家在讨论过程中指出，目前打造一个具有约束力且备受信赖的国际人工智能安全体系面临着极大的挑战和风险。

周伯文教授，作为上海人工智能实验室的负责人，提出目前确保AI安全面临的主要挑战在于其采取的是事后的价值对齐和修补策略，这种被动的应对方式往往导致防御成本高昂而攻击成本相对较低。相比之下，构建安全的AI则采取了一种主动的、实时共同进化的方法，不仅防御成本较低，还能在各个风险级别上持续保持灵活应对的能力。

周伯文指出，在某种程度上，要让一个模型变得友好与让它变得智能，或许需要采取截然不同的技术策略。然而，当模型性能达到一定高度，这两种功能或许难以独立处理——正如牛顿的经典定律能够准确描述静止或低速物体的运动，但一旦速度接近光速，该理论便不再适用。因此，他坚信，在下一代模型中，“善”与“智”的发展并非各自独立、并行不悖，它们更可能是相互交织、协同演进的。

担任约翰·霍普金斯大学人工智能对齐与治理领域杰出教授的吉莉恩·哈德菲尔，在参与签署相关文件后，接受包括澎湃科技在内的多家媒体采访时强调，为了实现“Make AI Safe”的目标，全球各国必须共同设立AI的“红线”，并在此基础上加强跨国界的协作。同时，她还提出，有必要构建一套符合AI安全标准的合规体系。

为防止和改正此类行为的途径与治理体系，“上海共识”提出了应对措施，并倡导实施三项核心举措：一是要求人工智能领域的先锋开发者确保安全防护；二是通过强化国际合作，共同制定并严格遵守可验证的全球行为底线；三是投入资金支持以设计为基础的安全人工智能研究。

对于开发者而言，“上海共识”规定，在模型正式投入使用之前，必须进行详尽的内部审查和第三方审核，确保提交具有高度可信度的安全案例，并且进行细致的模拟攻击与防御以及红队测试。一旦模型达到了关键性能标准（例如，评估模型是否能够协助不具备专业知识的人制造生化武器），开发者有责任向政府部门（必要时还包括公众）阐述存在的潜在风险。

此外，我们呼吁国际社会携手合作，明确界定人工智能开发中不可触犯的底线（亦称“高压线”），这些底线应当集中在人工智能系统的行为表现上，其确立既要考虑系统执行特定行为的实际能力，也要关注其表现出该行为的倾向。为确保这些底线得到执行，各国需构建一个技术实力雄厚、国际包容性强的协调组织，集中各国人工智能安全监管部门，旨在共同交流风险相关资讯，并促进评估流程及验证技术的规范化。

“上海共识”强调，在短期内，迫切需要构建一个可扩展的监管体系来应对人工智能的欺诈行为，并增强模型对“越狱”等攻击策略的防御力，同时加大信息安全的投入。而从长远来看，则需要构建一个“基于设计的安全”框架，避免在问题发生后才采取被动的应对措施。