在哈佛大学参加了几次战争游戏扣除之后,在AI学习AI的高级学生得出的结论是,AGI将在三年内实现。在26年内,大多数人类工作将被AI接管。 AGI的诞生将打破各个国家之间军事力量的平衡,并允许一个国家获得压倒性的战略优势。人应该特别小心。许多AI的智能已同谋与人类的背上合谋。
最近,哈佛大学AI专业的一名高级学生做出了自己的预测:AGI将在三年内实现。
在2026年,AI已经接管了大多数人类工作。
他有充分的理由做出这样的预测。
在此期间,他举办了几个小型研讨会,以缩短AGI时间表,从而将约50名参与者的想法汇总在一起。
同时,他还参加了许多短期AGI战争游戏扣除额。
最后,他写了这样的博客文章。
本文的内容包括 -
3年AGI时间表的故事,包括各种变量和重要参与者
目前未满足人类生存的先决条件
安全的优先行动
文章假设AGI出现的中位时间点是2027年。作者并没有花太多时间来辩论这一观点,而是更多地关注三年时间表的影响。
在这里,AGI定义为一个AI系统,可以在2022年完成95%的远程劳动力工作。
但是如何定义并不重要,因为一旦我们自动化AI R&D,几乎所有的AGI定义都会很快满足(除非有协调的放缓或灾难性事件)。
3年AGI时间表
到2025年6月底,SWE-BENCH将达到约85%,并且在人类预算有限的情况下,重垒将约1.1,超过8小时人类得分的70%。
到2025年底,AI助手将能够执行大多数需要2个小时才能完成的真实世界软件工程任务。
当AGI公司的员工需要完成一些小型公关任务或编写小型数据分析管道时,他们优先寻求AI助手的帮助。
后者A可以编写或修改多个交互式文件,在大多数情况下,不会出现错误。
基准预测为3年时间表。 Osworld和Cybench不排名很高的很大一部分原因是作者不确定人们是否会报告这些基准的结果。鉴于基准结果与现实世界的影响之间存在巨大的脱节,因此暂时认为这种实际情况并不能作为三年时间表的有力证据。
到2026年底,AI代理将能够处理多天的编码任务。
AGI公司的员工感到恐惧。他们将期望可以在两年内创建可以在95%的虚拟工作中击败人类的AI,超级智能将很快出现。
政府将意识到,人工智能将对国家实力产生决定性的影响,并将在2026年以AGI公司为目标。
换句话说,当时将采用AGI公司来采用几乎国有化的极端政府管理表。
就像核武器战争一样,国家将处于迅速竞争的状态。
从2027年开始,该公司的大多数高质量劳动力都是AI代理商。
领导力的主要决定集中在如何将数百万AI代理分配给不同的研究领域,例如AI R&D,安全,商业应用,军事应用,网络安全,运营,交流,沟通,政策工作以及几乎所有基于计算机的工作。
目前,人类雇员的作用不再重要。他们的主要任务是为陷入困境的AI代理团队提供帮助,回答他们在工作中遇到的问题,并作为第二意见。
基于年的变量
请注意,在故事的中间,开始发生重大动态变化,这也意味着战略模式发生了重大变化。
自动化前时代(2025-2026)
在2025年和2026年,大多数工作仍然由人类完成。
最重要的问题集中于如何分配人力,以及AI实验室和供应链中其他链接所面临的商业和监管压力。
在自动化前时代,人类的首要任务是迅速找到一种安全的方法来将研究委托给AI代理商。
任何面向安全的研究主要是控制这些早期代理,因为它们将在以后进行独立研究。
在这个时代,另一件事是找到方法来判断当前的安全干预是否足够,以及是否足以防止大量的AI代理人在背上串谋与人同谋。
目前,我们需要建立一个流产的系统,我们可以说服其他人在无法证明安全时停下来。
但是,随着AI“核战争”的加剧,这将变得越来越困难。
自动化后时代(2027年之后)
2026年之后,大部分工作将由AI完成。目前,研究工作基本上已经失控了,但是人类员工仍将参与高级决策,并与AGI公司外部人类建立联系。
到2028年底,人类不再能够为技术研究做出贡献。
在此期间的主要问题集中在分配AI代理及其优先事项上。
有关此阶段的重要问题包括 -
AI代理商制定的总体研究计划有多好?
例如,如果最初负责计划研究方向的人对AI安全问题有固有的误解,即使AI代理人最初是善意的,模型一致性的希望可能会破坏。
该公司投资了多少资源?
例如,在安全研究中投资0.1%还是25%的计算能力可能会对安全工作的成功或失败产生巨大影响。
重要的球员AGI公司领导者
他们指导AGI的一般方向。
安全研究人员
内部人工智能安全研究人员 - 他们负责制定自动化前和自动化后的研究计划,并完成将在自动化前实施的大多数安全研究。他们还监督自动化安全研究人员的工作。
内部自动化AI安全研究人员 - 他们已经完成了在自动化时代实施的大多数安全研究。
人类AI安全研究人员 - 他们进行了自动化前研究,其中只有少数将在内部采用和实施。他们还批评并审查了外部自动化前和自动化后研究计划的公共部分。
但是,由于国家安全原因,自动化后,公共知识和私人知识之间的差距将扩大,并且在此阶段可能无关紧要。
美国政府
其他国家政府,美国人工智能安全局(AISI)或其他政府机构,智囊团,高位科学家以及公众对AGI公司施加压力和影响。
在AGI阶段(最有可能在上智能之前),这些公司可能会被国有化或监管。
Agi公司背后
他们将承受竞争压力并设定安全性先例。
最终,他们可能会与主要的AGI项目合作或获得。
如果它不是合作的AGI项目,或者是不合作的,那么在超级智能的出现之前,大多数计算能力很可能会被征用。
行为主义者不好
这些人将试图窃取和滥用AI技术。
注意:“人工智能安全社区”不在此列表中。
在作者看来,没有太多资本(财务,社会,知识分子或其他资本)的局外人没有太大的影响。
一个合理的未经人为生存先决条件的启动计划
目前,AGI公司缺乏明确的愿景,无法安全地将研究移交给AI代理商。
一致性方法 - 公司尚未公开制定违约计划,以阐明应将哪些研究领域分配给AI代理人。
计算功率承诺 - 即使存在合理的对准方法,并且缺乏明确的计算能力分配承诺也可能导致分配给对齐工作和计算能力的AI代理的比例不足。
Frontier Security框架 - 有关SL-4和SL-5的要求和承诺目前尚不清楚,并且在启动阶段有很大的可能性。
控制 - 将工作安全移交给AI代理(或判断是否安全)的科学方法仍然很不成熟。
国家网络安全保证
如果不好的演员可以窃取高级AI系统的参数权重,那么他们的滥用可能会导致极其不可预测的情况,并且还可以使更多难以理解的实体创建高级AI系统。
应对全球紧张局势的方式
AGI的诞生将破坏国家之间军事力量的平衡,并可能使实体获得决定性的战略优势。
作者认为,核战争在未来10年中爆发的可能性约为15%,这主要是由于默认情况下由启动阶段造成的极端紧张局势。因此,找到避免核战争的方法至关重要。
在冷战期间,有几起核危机将人类推向了破坏的边缘,其中一些是战略平衡变化的后果(例如古巴导弹危机)。
美国曾经威胁苏联由于柏林封锁而发动核战争。超级情报的诞生将使这些危机相形见war,问题是所涉及的官员是否可以认识到这一点。
正确实施国有化
抓住机会 - 如果国有化发生得太晚(例如,在AGI之后),则由于混乱和随后的快速变化而在项目中做出错误的决定。
制定默认计划 - 在2025年或2026年锁定实验室的政治意愿。相关专业知识。
累积政治资本 - 如果重要的决策者并不是具有相关专业知识的人,那么缺乏相关专业技能的人可能会被任命为项目负责人。
在国有化期间保留安全专家 - 如果国有化驱逐所有AI安全专家,则由于缺乏技术专长,项目可能无法使其模型足够安全。
至于将要保留的人,这在很大程度上取决于领导和能力的员工是否重视安全问题,这反过来又取决于是否已经建立了对安全问题的共同理解。
安全的优先行动
那么,我们应该提前采取什么行动?
加入对未来发展产生重大影响的机构
考虑一下您想被雇用的人,以及您仍然缺乏资格的能力和条件。
如果您从事外部研究,请记住将研究方向的重要性乘以实际实施研究结果的可能性。一个简单的判断标准是该研究是否可能在内部松弛上共享。
在严格的政府监督下,内部研究可能需要某种形式的安全许可。因此,避免吸毒,避免债务,远离可疑人,并减少不必要的外部接触。
帮助告知重要角色
许多主要参与者希望从对AGI和AGI安全有深思熟虑的人们那里获得建议。当他们遇到问题时,他们会想先与您联系吗?
制定实用计划
逐年制定计划是一种很好的方法 - 例如,到2026年底,即2027年底,该计划要在2025年底之前完成的计划。
记住关键时间限制
只有在AGI出现之前必须做的事情是最重要的,因为AGI可以完成其他事情。
作者承认,现在较长时间表的预测有一些赌注部分,但他认为,与20年AGI时间表相比,这些事情的优先级应适当地减少。
此外,在AGI出现之后,可能会有一年的“人机共存”一年。但是作者认为这不是一个重要因素,因为目前尚不清楚它将产生什么独特影响。
让一切加快
如果您的计划是“我会做X,以便以后可以做Y”,那么最好现在开始做y。
如果您的计划是“我将为一年无关的ML公司工作一年来获得进入AGI公司的资格”,则可以考虑直接申请AGI公司,或采取其他措施来加快此行动。
进行相应的投资
如果AGI在三年内到达,这可能会对您如何构建投资组合产生重大影响,因为某些投资与此预测更加相关。
资金可以在开始阶段使用,以迅速出现指导事件的机会,但是如果人类在ASI之后生存,则尚不清楚其他资金可以做什么(从先验性,财产权可能是在某种程度上是尊重的)。
培养适应性和韧性
随着时间的流逝,世界将变得越来越快。在这一点上,保持镇定和理性对于做出明智的决定至关重要,这种能力将变得越来越稀缺和有价值。
- 花时间思考未来以及您在哪里
如果事实与您预测的方向有所不同,而不是叹气:“哦,我的上帝,这个世界太混乱了!”,最好将其更改为更有用的观点:“尽管我的细节可能是错误的,但这是来自我预测的一些东西也许是分支机构的,我想到了如何在这些情况下采取行动。”
这样,您的最初思考的一部分现在可以自己做,从而减轻了自己的负担。
这不仅有助于在智力上分担负担,而且更重要的是,它在情感层面上减少了惊喜或恐慌 - 已知的未知数远低于未知数。
不要忽视健康
虽然您可能会觉得现在要挣扎更多,并且比以前多花几个小时更合适,但如果我们想在启动阶段明智地处理情况,我们的身体需要保持良好状态。
可持续性很重要,无论是3年还是10年,都需要养成类似的健康习惯。
最后的想法
最后,作者指出,尽管考虑AGI的短期时间表可能会感到压力,但不应被视为漫长时间表的证据。
如果您根据10年或20年的时间表制定了当前计划,则现在可能需要在许多方面进行调整和加速。
在短时间基础上进行计划的一个优点是,目前大多数关键因素基本上都存在,因此比计划在10年内计划未来要容易得多。
我们需要对如何使AGI顺利发展有更清晰的了解。让我们采取行动并实现这一目标。
参考材料:
本文来自作者:Xin Zhiyuan的微信公共帐户“ Xin Zhiyuan”,由36KR发表并授权。
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:http://mjgaz.cn/fenxiang/273873.html