AI可能如何引发人类最严峻的难题

想象一下你生活在15000年前。你的族人以狩猎采集为生，你每天露宿于星空之下。如果有人告诉你，人类有一天会建造出拥有数百万人口的城市，能在天空中翱翔，甚至能把全人类的知识都装进口袋，你大概根本无法想象他们在说什么。

然而，这一切如今都成了现实。

我们的生活为何会发生如此翻天覆地的变化？背后的历程虽错综复杂，但大致有迹可循。历史上曾有几次，某些颠覆性的技术突破——例如犁具和蒸汽机的发明——引发了一波生产力、创新和社会变革的浪潮，最终重塑了世界。

如今，我们正处于一项重大的科技变革的前夜：人工智能将在广泛的任务中达到甚至超越人类的表现。

这可能会开启又一个变革的时代。智能与创新或将迎来大爆发，并催生出一种全新的数字生命。随之而来的文明巨变，其深刻程度至少不亚于工业革命或农业崛起所带来的影响。

但与工业革命和农业革命不同，由先进的人工智能驱动的变革或许无需历经数百年或数千年。这一次，世界可能会在短短几十年——甚至更短的时间内——发生翻天覆地的变化。

这一转型期可能会带来惊人的繁荣，人工智能将促成挽救生命的医学突破，并为应对气候危机提供创新方案。但它也可能让我们猝不及防地陷入一个充满挑战的陌生世界。试想一下，那些狩猎采集者突然置身于拥挤的定居点，疾病如野火般蔓延，同时还要首次面对正规军队之间的战争。或者想象工业化前的人类被迫应对喷吐污染物的巨大工厂——以及被称为“核导弹”、足以将整座城市夷为平地的神秘的新武器。

本文将阐明我们为何认为先进人工智能会带来如此巨大的变革，以及为何致力于应对这些风险——并从整体上确保人工智能的未来向好发展——或许正是你为世界带来积极影响的最佳机会。

摘要

我们预计未来十年人工智能将取得重大进展，甚至可能在许多（乃至所有）任务中达到、乃至超越人类的程度。在关键领域用人工智能替代人类工作者，将极大提升创新能力和经济生产力，引发社会快速而剧烈的变革。

这种变革可能带来巨大益处，帮助我们解决当前难以解决的全球性问题。但它也可能带来严重风险，其中一些可能是生存性的——即可能导致人类灭绝，或使人类陷入永久且严重的失权状态。例如，人类可能失去对未来的控制权，由高度发展的人工智能接管；或者某个危险团体可能利用人工智能系统，实现（并维持）对其他人类前所未有的控制。

致力于应对这些挑战的人远远不够，而现有的激励机制也未必能促使人们去研究最严峻的风险。据我们估算，目前仅有数千人专注于解决人工智能带来的最关键挑战——这一数字远低于从事气候变化等其他全球性问题的人数；而且鉴于我们可能即将面临的变革规模，这一人数也远低于我们认为理应达到的水平。

正因如此，我们认为先进人工智能带来的挑战是当今人类面临的最紧迫的问题。

关于先进人工智能所引发的具体风险的完整说明——以及您可以采取的应对措施——请参阅我们关于全球最紧迫问题的系列文章。

这是我们撰写的众多的问题剖析之一，旨在帮助人们找到能通过个人职业生涯解决的最紧迫的问题。了解更多关于我们如何比较不同的问题，可以查看该问题与我们迄今探讨过的其他问题的对比。

为何我们认为先进的人工智能构成了当今世界最紧迫的问题

十多年来，我们一直致力于研究全球的重要社会议题及其解决方案。我们认为，先进人工智能引发的一系列挑战是当今人类面临的最紧迫的问题——鉴于其庞大的规模，以及解决这些问题的机会虽前景广阔却一直备受忽视。

我们对人工智能风险的担忧，并非是对2022年ChatGPT发布以来人们对AI兴趣激增的反应。自2016年起，我们就提出AI可能带来灾难性的风险，而其他人在更早之前就提出了相关的担忧（1 2, 3, 4）。

简而言之，我们认为先进人工智能彻底改变世界是完全可能的。这可能会给人类带来极端的挑战，同时也为产生积极影响提供了潜在的独特机遇。

我们在问题概况中详细梳理了我们认为最紧迫的具体挑战。本文则阐述了我们为何认为先进人工智能总体而言会引发如此重大的问题。

关于这一点，你可以提出许多论点——例如认为先进人工智能将构成一种”第二物种”，或者认为人工智能将使21世纪成为对人类而言”最重要的世纪”。⁠⁠甲)

但以下是我们认为最令人信服的论证版本：

1. 人工智能可能在某些最具经济价值的领域取代人类劳动力。
2. 在这些领域取代人类劳动，可能引发下一次根本性的社会变革。
3. 这种变革可能极其迅速且剧烈，尤其是如果人工智能研发中存在快速反馈循环。
4. 由人工智能驱动的快速变革将引发一系列重大挑战，其中包括生存性风险。
5. 应对这些挑战的工作切实可行却备受忽视。

下文我们将逐一论证这些主张。

需要明确的是，并非所有先进AI引发的生存级问题都需要以这一论证为前提。即使不将大量人类劳动自动化，AI系统依然可能造成巨大危害。例如，恶意行为者可能利用AI设计新型生物武器或实施复杂的网络攻击。单凭这一点，就足以成为防范特定AI风险的理由。

但我们在下文描述的情景——即世界在广泛的自动化浪潮下迅速转型——是我们所知，支持「应更广泛地优先应对AI风险」的最全面的论据。它解释了为何各种史无前例的挑战可能会在同一时期集中涌现，以及为何我们可能没有太多时间来做准备。

1. AI可能在最具经济价值的领域替代人类劳动力

许多技术——如加密货币、NFT、“物联网”、核聚变和量子计算——都曾被过度炒作。人们往往对一项新发明能在多大程度上改变世界抱有极高期待，但现实有时却不及预期。

但我们认为人工智能将有所不同。

这是因为，与其他技术不同，人工智能有潜力与人类智能抗衡——甚至超越人类智能。这意味着它可能取代并复制人类历史中推动进步的主要动力：灵活的人力劳动。

有些技术，比如自动取款机，只模仿了极其有限的人类劳动形式。另一些技术，比如蒸汽机和计算机，则能放大人类的能力。但人工智能背后的理念是，它将能够完成人类所能做的几乎任何工作——并且大多能自主完成。

自动取款机并未让所有银行柜员失业⁠⁠乙)，因为人类可以轻松转向其他任务。但想象一下，有这样一台自动取款机，它不仅能发放现金，还能管理银行的IT系统、参与制定公司战略，并为客户提供量身定制的理财建议。想象它几乎无需我们的帮助就能完成这些工作，且成本比雇佣人类员工更低。若果真如此，很难说银行究竟还有什么理由要继续雇佣人类。⁠⁠丙)

现在假设，这个为银行处理上述所有事务的系统，也能为科技公司、科研实验室、咨询公司、智库、《纽约时报》、美国政府等机构完成同等的工作。

这正是人工智能所展现的前景。

我们已经初步看到，人工智能在胜任人类工作方面正展现出日益强大的通用能力。如今的人工智能系统能够完成一些在十年前还会令人惊叹的任务。

例如，请看语言模型在GPQA基准上取得的飞速进展，该基准包含极具挑战性的博士级化学、物理和生物学问题。2023年年中，前沿 AI 在这些问题上的表现仅略好于随机猜测。但自2025年初以来，许多模型的表现已经超越人类专家——有时甚至是大幅领先。

它们在软件工程任务方面也展现出了令人瞩目的进步。例如，Anthropic的智能体编码工具Claude Code能让用户仅通过描述需求即可构建应用程序——即使他们没有任何编程经验。

一位谷歌资深工程师报告称，Claude Code仅用一小时就生成了一套系统原型，而她的团队此前花了一年时间探索构建该系统的方案。此外，Anthropic通过让Claude Code编写大部分代码，在不到两周的时间内就构建了其“Cowork”产品（一个面向非开发者的、更加用户友好的Claude Code版本）。⁠⁠丁)

当前的AI系统还可以：

• 预测复杂的生物分子结构及其相互作用：谷歌DeepMind的AlphaFold 3——一款曾获诺贝尔奖的AI系统的继任者——能够预测蛋白质在分子层面如何与DNA、RNA及其他结构相互作用。
• 在数学竞赛中攻克难题：据报道，多款AI模型已在国际数学奥林匹克竞赛中取得金牌级表现。此外，当30位顶尖数学家受邀设计他们认为AI无法解决的难题时，OpenAI的o4 mini挫败了他们许多精心设计的尝试——甚至在约十分钟内就解决了一道博士级别的题目。
• 提升机器人技术：许多领先的机器人模型现在都由AI驱动。例如，波士顿动力公司正通过谷歌DeepMind的AI技术升级其Atlas机器人，以帮助它们更好地理解和操控所处环境。这些机器人将被部署于现代汽车工厂作业。
• 在您的计算机上独立执行长流程任务：与早期仅能生成文本的模型不同，像Claude Code和OpenAI的Codex等具备“智能体”特性的新型 AI，如今能够使用您计算机上的多种工具、执行代码、搜索网络并串联多个步骤——从而在大幅减少人类参与的情况下，完成现实世界中的长流程任务。
• 协助人工智能本身的开发：也有证据表明，人工智能系统在人工智能研发任务中的表现能够优于人类，至少在限定的两小时时间窗口内是如此。
• 还有更多。⁠⁠戊 这正是领先的 AI 公司正在积极尝试构建的系统，并且它们正投入数十亿美元，力求率先实现这一目标。

纵观近期人工智能发展的趋势，我们认为在未来十年内实现此类AGI的可能性出人意料地高（尽管还远非板上钉钉）。

但这恐怕不会止步于此。没有理由认为人类代表了智力的上限——因此，人工智能最终可能会在许多（乃至所有）认知任务上远超人类的表现。我们甚至可以合理地推测，它们所能完成的工作将远超人类的能力，其差距正如微积分之于黑猩猩一般。⁠⁠己)

此外，人类社会在机器人技术领域取得巨大进步或许也指日可待。尽管当今的机器人还非常原始，但它们正在不断改进。随着人工智能在认知方面变得更加聪明，它们在控制和设计机械肢体方面的能力也将随之增强。这意味着人工智能系统或许很快也能在任何体力任务上超越人类。

在接下来的几节中，我们将探讨未来先进的人工智能可能如何重塑社会并带来严重的风险。

我们的论点主要围绕人类开发出 AGI 或类似技术的可能性展开。这并非唯一重要的里程碑（见下文）。但我们认为，如果在最能推动创新和经济生产的认知任务上，人工智能能够达到与人类相当的能力，这就很可能足以促成我们在后续几节中所描述的快速进步。⁠⁠庚) 而且，如果人工智能变得比这更强大——我们认为这很有可能——其带来的影响将会更加剧烈。

2. 替代如此大规模的人类劳动可能引发社会的下一次根本性变革

那么，如果AI系统能在如此广泛的任务上超越人类，这将意味着什么？

人们首先想到的往往是大规模失业。这确实是非常现实的可能性，并将对社会造成严重后果。⁠⁠辛) 但我们认为，若仅关注这一点，实际上会忽略一个更宏大的图景。

一个机器能替代如此大量人类劳动的世界，其面貌将变得截然不同，甚至令人难以想象。

作为对比，不妨想象一下，当今世界与我们的祖先在200年前、2000年前或20000年前所处的世界有多么不同。在电力、印刷术或农业出现之前，世界的面貌确实截然不同，人们的生活方式也完全不一样。

伴随着每一次这样的重大技术突破，世界都发生了翻天覆地的变化。

以第一次农业革命为例。在农业出现之前，人类大多是狩猎采集者，通常以小群体为单位生活。⁠⁠壬 犁等农耕技术的发展大幅提高了人均粮食产量，从而催生了最早的城市。此外，越来越多的人得以专门从事寻找食物以外的工作——这使得人类发明了金属加工、文字以及早期的治理系统。

工业革命遵循了类似的模式。蒸汽机等技术的出现极大地提高了生产力——并引发了制造业和通信领域的创新。这再次导致人类生活方式发生根本性变革：曾经的奢侈品成为了普通人也能获取的商品，铁路将遥远的城市连接起来，大批人口从农村迁入城市。

这究竟是怎么回事？

历史上的每个转型时期都有其复杂的故事，关于推动这些转型的动因也存在各种相互竞争的理论。但有一种流行的解释认为，我们不断看到大致相同的模式：强大的新技术既使我们能够养活更多的人口，又让人类凭借同样的身体和头脑创造出更多的价值。这意味着更多的人力投入和更高的生产力——这会产生复利效应，进而引发更进一步的创新浪潮。⁠⁠癸)

由于创新往往能推动经济增长，人类在此过程中也变得更加富裕。事实上，自工业革命后期以来，我们见证了国内生产总值（GDP）呈近乎指数级的增长。⁠⁠甲甲)

所有这些故事中的一条共同主线是，增长似乎始终依赖于人类劳动——社会的进步速度，只能取决于人类产生并落实新理念（即新理论、发明、工作方式等）的速度。

但我们如今即将迎来一项新的突破。

如果未来的人工智能能在最具经济价值的领域取代人类劳动者，我们将不再如此依赖人类劳动来维持这种创新与财富的复利循环。相反，人工智能可能会成为进步的主要驱动力。

我们认为，这可能会引发社会的又一次变革。

与其他技术突破一样，它可能使社会产生多得多的想法，并创造出远超以往的经济产出。但与以往的技术不同，人工智能实际上可能接管那些最能推动创新和经济生产的过程（包括设计更优秀的人工智能的过程）。正如我们接下来将讨论的，这些“人工智能工作者”相较于人类同行，可能还具备巨大的优势。

这可能意味着，人工智能带来的变革将极其迅速，且比我们以往见过的任何事物都更为剧烈。

3. 这种变革可能极其迅速且剧烈

那么，随着人工智能将越来越多的经济活动自动化，会发生什么呢？

至少，我们预计劳动力总量会迅速增加——因为与人类不同，只要硬件充足，AI系统可以轻松地大规模复制。

假设我们开发出一个能取代人类工程师的AI。尽管相关估算存在巨大的不确定性，但根据具体情况，同时运行数千至数亿份该AI的副本可能是可行的。⁠⁠甲乙)

而且这个数字可能会迅速增长。随着这些AI工作者背后的算法效率提升，我们将能够利用同等算力运行更多副本。⁠⁠甲丙) 我们或许还能通过购买更多芯片或设计更高效的芯片，为运行这些副本分配更多算力。不久之后，我们可能就会拥有一支规模堪比全球很大一部分劳动年龄人口的AI劳动力大军。⁠⁠甲丁)

相比人类员工，AI员工可能还具备其他优势：

• AI 的工作速度远超人类，常能将数天的信息处理工作压缩至几分钟内完成。
• AI 之间的协调效率可能远超人类——或许成本更低且规模更大。
• AI 能够迅速实现专业化，其不同版本经过微调后，能在特定任务上表现得极其出色。

仅凭这些优势，随着人工智能承担越来越多的工作，我们很快就会见证前所未有的创新和经济产出。这可能会改变社会——正如工业革命期间体力劳动的自动化所带来的变革一样。

而且我们认为，事情的发展可能会比你基于上述情况所预期的更快、更剧烈。

这是因为，在这一发展进程的某个节点，我们预计人工智能将被用于实现人工智能研发本身的自动化。而这可能会引发一场”智能爆炸”：一段由能够创造出更优 AI 系统的 AI 系统所驱动的技术快速进步期。

事情可能会这样演变：

• 人工智能系统将变得足够强大，能够将人工智能研发中的全部或大部分工作自动化。
• 这些“人工智能工作者”将帮助我们更快地构建出更优秀的人工智能系统。
• 这些更优秀的系统随后将更加有效地实现 AI 研发的自动化，从而让我们能够构建更优秀的系统，如此循环往复。

如果这种情况发生，可能会形成一个正反馈循环，使得 AI 系统变得越来越好——而且这一切可能在极短的时间内发生。⁠⁠甲戊)

这不仅意味着构建在AI研发方面越来越优秀的AI系统。这还意味着更广泛地加速AI能力的提升，让我们能将能力日益增强、更加通用的AI工作者部署到更广泛的经济领域中——这反过来又可能加速社会大多数领域的进步。

“加速进步”会呈现怎样的面貌？

正如我们所说，历史上以往的变革时期，最终都受限于人类产生并实施新想法（即新理论、新发明和新工作方式）的速度。但现在试想一下，如果我们拥有一支庞大的AI劳动力队伍，它们不仅能比我们产生多得多的卓越想法，速度也比我们以往快得多——并且能更高效地将其付诸实践。

我们认为，这可能会以我们前所未见的速度重塑社会。

这究竟会是什么样子？首先，科学发现可能会以前所未有的速度涌现。市场可能会突然涌入大量新技术，而这些技术原本需要数十年才能研发出来。基础设施和制造业的规模可能会扩张到我们如今难以想象的程度。更大胆地推测，如果AI工作者得到更广泛的部署，我们可能会见证新思想的大爆发——不仅在科技领域，还包括艺术、政治、哲学和娱乐领域——这将从根本上改变我们认知世界的方式。

世界也可能会变得更加富裕，因为许多创新能够提升经济产出。事实上，一些研究人员认为，由AI工作者带来的新思想涌入将引发”爆炸式”的经济增长——反过来，部分新增财富又可用于进一步加速思想的产生。⁠⁠甲己)

社会究竟能以多快的速度发生变革？即使有这些反馈循环在发挥作用，人类进步轨迹的“爆发”程度依然会受到某些限制。例如：

• 到了某个阶段，我们将遭遇AI开发的瓶颈——例如算力、能源或高质量数据的可用性——这会限制AI工作者在短期内能力的提升幅度。
• 在各个领域，随着AI工作者迅速穷尽那些唾手可得的发现与新想法，取得进展可能会变得越来越困难。⁠⁠甲庚)
• 如果某些类型的工作特别难以实现自动化——比如复杂的体力劳动，或某些法律或政治流程——这也可能减缓飞轮的转动。

但即使考虑到这些影响，一些研究人员仍然认为，AI自动化的影响可能将一个世纪的进步压缩到十年内。

这种级别的进步不可能永远持续下去。但在发展放缓之时，世界或许早已被彻底重塑——正如工业革命最终走向终结，却留下了一个截然不同的世界。

4. 由人工智能驱动的快速转型将带来一系列重大挑战，包括生存性风险

认为 AGI 能够极大推动创新和经济产出的想法或许值得庆贺。世界可能会变得极其富裕，我们也能迅速开发出帮助应对气候危机或根除疾病的新技术。

事实上，这项技术的潜力正是我们预期有些人会对开发先进人工智能系统感到兴奋的原因之一。正如达里奥·阿莫迪（Anthropic 首席执行官）所言：推动 AGI 发展的一大动力是“对未来真正鼓舞人心的愿景”。

一般而言，对新兴技术的恐惧往往是毫无根据的。许多曾被怀疑的创新，如疫苗和铁路，最终都给人类带来了巨大的福祉。

但这次情况似乎不同。这是我们首次设计一个全新的、高度智能的实体群体——这些智能体能够完成人类思维所能胜任的最具经济价值的工作，且可能不再需要依赖人类来完成。

这引入了复杂的动态变化，而我们似乎既未准备好应对，也未完全理解。人类驾驭先进人工智能，可能就像幼儿试图在成人世界中摸索前行；我们所熟知的一切——科学、经济、地缘政治，甚至是生活方式——都在发生改变，且变化之快，远超我们掌握其背后艰深新概念的速度。

鉴于人工智能将如何发展充满不确定性，我们很难准确预测将会面临哪些挑战。但最令我们担忧的包括：

• **我们将遭遇远比人类更聪明的智能体，且它们可能拥有自己的目标。**如果我们无法控制它们，这些目标可能会导致它们损害人类利益，甚至剥夺人类的权力。
• **少数人可能获得前所未有的权力。**如果精英群体能够控制强大的 AI，他们在完成任务时对人类的依赖将大幅降低。借助庞大的 AI 劳动力，他们可能积累前所未见的经济和政治影响力，甚至夺取权力——而且很可能缺乏强烈的动机去代表广大民众的利益。
• 诸如生物武器等危险技术的获取门槛可能会大幅降低。 接触到高能力的人工智能可能会使设计或获取危险武器变得容易得多，从而大幅降低人们造成对人类的毁灭性伤害的门槛。
• 我们可能会创造出一批其福祉与利益至关重要的新的物种，这将引发关于如何与它们共存的复杂问题。
• 这些因素可能引发冲突与动荡，最终可能演变为一场大国战争，或带来其他难以预料的挑战。

我们如何应对这些动态，或许将决定未来是走向光明还是黑暗。

如果我们应对得当，便能为所有感知生命创造一个前所未有的繁荣未来，甚至将文明推向星辰。但如果我们失去对先进 AI 的控制，或者恶意行为者利用它来损害世界其他各方的利益，我们就可能面临一场灾难——比如人类永久丧失塑造未来的能力，甚至走向灭绝。

换句话说，我们认为这些问题具有*生存性级别的利害关系*，这使它们成为世界上最紧迫的问题之一。

尽管我们满怀希望地认为这些问题是可解决的，但我们不能想当然地认为我们的机构在默认情况下就能妥善应对。毕竟，这是一个令人困惑且前所未有的领域。我们曾目睹社会在面对准备不足的新挑战时陷入灾难——只需想想各机构对早期新冠疫情预警的迟缓反应，或是我们在核武器问题上经历过的无数次险情。

这一转型的速度可能至关重要

速度对这一转型产生关键影响的方式主要有两种：

• 关键在于，从现在起我们还要多久才能拥有极其强大且通用的AI系统
• 关键在于，这些系统一旦问世，将以多快的速度彻底改变世界

如果距离我们实现AGI或类似技术仅剩几年时间，那么我们规避风险的时间就十分有限了。

而且，如果先进的人工智能迅速改变世界，我们可能没有时间适应不断变化的形势并做出明智的决策。

即使在当下，我们的机构有时行动也过于迟缓——例如，从科学界最初发出关于全球变暖的警告算起，大约经过了50年，具有里程碑意义的《巴黎气候协定》才得以签署。除非我们对机构的运作方式进行重大改革，否则，如果人工智能的能力和生产力迅速提升，社会似乎将极难跟上其步伐。

关于先进 AI 系统何时到来以及它们将以多快的速度改变世界，目前存在着激烈的辩论。但它们至少有相当大的可能性在未来十年内出现，并且局势将迅速改变——事实上，专家们的担忧程度表明，我们需要认真对待这种可能性（1 2，3）。鉴于此事牵涉的利害关系，我们认为，即使这种可能性很小——比如只有10%的概率成真——为其做好准备也是至关重要的。

这意味着我们不能对风险视而不见，也不能拖延应对。我们需要在为时已晚之前找到稳健的解决方案。

5. 解决这些问题切实可行，却备受忽视

十多年来，我们一直致力于帮助那些希望解决这一问题的人。在此期间，该领域取得了长足的发展。

2025年的一项分析指出，致力于研究 AI 生存性风险的人员总数为1100人——而我们认为这个数字甚至可能被低估了，因为它仅涵盖了那些明确标榜自己从事“AI安全”工作的组织。

我们估计，实际上有数千人正专注于应对 AGI 带来的最重大风险。但为了更直观地看待这个问题，单是大自然保护协会就有3000到4000名员工，而它仅仅是众多致力于环境保护和气候变化工作的组织之一。其他全球性议题（如公共卫生）也受到了广泛关注——例如，世界卫生组织雇用了8000多名员工。

这意味着与其他许多全球性问题相比，AI 风险被严重忽视——因此，每一个新增的、致力于解决该问题的人员都能发挥更大的作用。⁠⁠甲辛)

我们也乐观地认为，我们能在这些问题上取得进展。毕竟，是人类在选择设计和部署这些技术，这意味着我们对事态的发展有一定的影响力。

这其中的部分挑战在于，那些目前对人工智能发展最具影响力的人，未必有动机去优先考虑安全性。人工智能公司追求盈利，且在开发技术时面临压力，往往无法充分考量这些技术对社会造成的风险。政治领袖则更关注公众舆论和选举周期，导致他们缺乏时间和动力去致力于更广泛或更长远的利益。因此，我们需要那些愿意优先利用自己的职业生涯去帮助他人的人，来应对这些原本可能被忽视的重大挑战。

你可以通过多种方式来帮助应对这些挑战。请访问我们的AI职业资源中心了解更多信息。

异议与回应

你高估了AI改变世界的速度与程度

我们曾论证，人类劳动的自动化可能会以前所未有的速度改变世界，但我们的论点可能在以下几个方面存在问题。

• 智能爆炸可能不会发生。 我们或许能部署一代AI工作者来实现某些领域的自动化，却无法让它们创造出更优秀或更通用的AI工作者——也许是因为我们触及了当前AI方法所能达到的极限，或者我们陷入了另一场”AI寒冬”。尽管如此，我们的劳动力规模和效率仍将获得一次性的提升，使社会生产力大幅提高。但我们可能无法见证此前所描述的那种戏剧性且不断复合的进步。
• 制约进步的因素可能比我们预期的更为严峻。 即使AI确实能帮助我们打造能力日益增强的AI工作者，由此产生的反馈循环可能并不像我们描述的那样具有“爆炸性”。例如，AI研发中的瓶颈——如算力、能源和高质量数据的可用性——可能意味着开发下一代AI工作者只是一个缓慢的过程。而且在我们试图实现自动化的每个领域，随着AI工作者迅速耗尽那些容易取得的成果，投入的回报可能会急剧下降，从而导致智能爆炸的效果逐渐消退。
• 依赖人类的任务可能会成为关键瓶颈。 某些具有经济价值的任务——例如那些需要与物理世界进行复杂交互，或需耗费数周乃至数月来管理项目的任务——其自动化进程可能格外漫长。至少在自动化的早期阶段，AI驱动的进步速度可能会受到人类完成这些剩余任务速度的严重制约。
• **我们有关人类进步的模型可能遗漏了关键要素。**我们曾论证，劳动力的增加和新思想能够推动快速进步，并以工业革命等历史事件为例。但我们在此未明确考虑的其他驱动因素（如制度或文化变革）可能也至关重要——而当人工智能具备取代人类工作者的能力时，这些驱动因素可能太过薄弱，不足以支撑“十年实现一个世纪的进步”这样的飞跃。

在上述任何一种情景下，我们依然认为人工智能能够改变世界（并带来严重风险）。但这种变革可能不会像我们想象的那样迅速发生。正如我们所论证的，速度确实至关重要：它决定了我们能有多少时间来适应不断变化的形势并做出明智决策。

如果上述反对意见成立，那么维持一段创新和经济生产超高速增长的时期可能也会非常困难。在这种情况下，进步可能会迅速停滞——甚至可能在我们目睹类似工业革命那样剧烈的变革之前，就已经无疾而终。

但鉴于此处的风险规模，我们认为有必要为一种情景做好准备：即人工智能确实会迅速且剧烈地改变世界，即使这种情况发生的概率相对较小（比如 10%）。

尽管如此，这种不确定性确实使得在应对 AI 风险与解决其他紧迫问题（如工厂化养殖）之间进行权衡变得更加困难。

很难相信 AI 真的会构成生存性风险

这一切听起来相当疯狂。AI 真的会导致人类灭绝这么严重的后果吗？

我们之前提出的论点——即人工智能的变革性影响可能引发前所未有的挑战，甚至威胁到人类生存——在我们看来颇具说服力。但对于这类大胆且激进的论点，进行一次合理性检验总是值得的。一种方法是看看该领域的专业人士和其他领袖对此话题的看法。那么：他们是怎么说的？

多家顶尖机构已将前沿 AI 视为会带来灾难性风险的技术：

• 研究人员与首席执行官 包括杰弗里·辛顿、约书亚·本吉奥、山姆·阿尔特曼和德米斯·哈萨比斯在内的1000多名人工智能科学家和行业领袖，签署了AI安全中心发布的一句警告，称“降低人工智能引发的灭绝风险应与应对大流行病和核战争一样，成为全球优先事项。”

• **各国政府。**在英国政府举办的AI安全峰会上，包括美国和中国在内的28个国家发表了《布莱切利宣言》，承认前沿模型可能造成“严重甚至灾难性的危害”，并承诺开展联合风险缓解工作。

• 美国行政措施 拜登总统的2023年10月30日行政命令要求美国实验室在发布强大的系统前必须与政府共享安全性测试结果——这一措施在生物安全或核安全领域之外尚属首例。唐纳德·特朗普政府也已决定将人工智能视为潜在的国家安全威胁，尽管其似乎对人工智能可能引发灾难性风险的说法持怀疑态度。

部分领导人持不同意见：

例如，Meta首席科学家Yann LeCun就称灭绝担忧“荒谬”，并主张可以通过工程设计确保人工智能的安全。

其他有影响力的科学家，如加里·马库斯、吴恩达以及梅兰妮·米歇尔等，都对人工智能潜在的生存性风险及其变革性影响表达了怀疑。

对人工智能研究人员的调查显示，导致人类灭绝的概率并非微不足道：

AI Impacts 的卡蒂亚·格雷斯（Katja Grace）就该领域的若干关键问题调查了 2778 名人工智能研究人员。受访者的预测中位数显示，先进人工智能导致人类灭绝（或引发同等规模灾难）的概率至少为 5%，而约三分之一到一半的参与者认为该风险高达 10% 甚至更高。

研究人员有可能在夸大自己所处领域的危险——也可能低估了它。尽管如此，这种程度的担忧仍应促使我们高度重视这一风险。

预测者已注意到（但对风险存疑）：

预测研究所于2022年举办了“生存性风险说服锦标赛”，旨在探讨该议题上的分歧。

总体而言，他们发现，在所有涵盖的议题中，人工智能引发了参与者对生存性风险的最大担忧。但在风险的看法上，人工智能领域的专家与在超级预测方面拥有出色记录的人士之间存在巨大分歧：

• 人工智能领域的专家平均估计，到2100年人工智能导致人类灭绝的概率为3%，而超级预测者的估计仅为0.38%。

• 两组人都认为，到2100年开发出“强大人工智能”的可能性很高（约90%）。

• 即便是对AI风险持怀疑态度的人，也认为在1000年的时间跨度内，AI引发灾难性后果的概率为30%。

不过需要注意的是，鉴于2022年以来AI领域的发展，我们预计这两组专家现在都会认为强大AI的出现时间将大幅缩短。我们认为这很可能会提高他们对风险的预估。

总体观点：

许多领导人和专家都认识到，人工智能可能带来重大风险，甚至包括导致人类灭绝的风险。但与人类面临的其他问题（如气候变化）不同，这尚未形成科学共识——目前仍存在分歧，许多权威人士认为相关风险比我们预估的要低。

尽管如此，鉴于事关重大，我们认为轻率否定人工智能可能导致人类灭绝等后果的观点实属鲁莽。即使发生灾难的概率相对较小，也值得我们严肃对待。

关于人工智能将改变世界的种种论调，难道不只是一时的风潮吗？

有些人认为，类似本文中的论点仅仅是对当前人工智能炒作浪潮的反应，经不起时间的考验。

我们或许基于最新的人工智能进展过度更新了我们的认知，我们的预测最终可能会被证明是错误的。但值得注意的是，本文的基本观点并非特别新颖，也并非我们这个特定时代所独有。自19世纪以来，杰出的思想家们就一直在警告我们人工智能的危险及其变革潜力：

• 1863年：英国小说家塞缪尔·巴特勒在一封信件中推测，机器终将超越人类，人类将沦为“低等物种”。
• 1920年：创造了“机器人”一词的剧作家卡雷尔·恰佩克创作了一部戏剧，剧中人工劳动者发起叛乱，最终导致人类灭绝。
• 1940–1950年：艾萨克·阿西莫夫撰写了关于人工智能和机器人的一系列故事，强调了确保它们对人类安全的重要性，并提出它们将发展出引导人类未来的能力。
• 1950年：多产且极具影响力的物理学家兼数学家约翰·冯·诺伊曼据称曾表示：“技术不断加速的进步以及人类生活方式的改变……似乎预示着人类历史正接近某种根本性的奇点。”
• 1951年：被誉为理论计算机科学之父的艾伦·图灵写道：“一旦机器思维的方法启动，它很可能不用多久就能超越我们微薄的力量……因此，到了某个阶段，我们必须预料到机器将接管控制权……”
• 1965年：数学家I.J. Good 曾表示：“既然设计机器属于这类智力活动，超智能机器便能设计出更好的机器；届时无疑将发生一场‘智能爆炸’，而人类的智能将被远远抛在身后。”

我们并不将这些论断视为人工智能构成生存性风险的有力证据。毕竟，许多历史人物——甚至包括极其聪明且极具影响力的科学家——都曾对未来有过错误的判断。

但它们确实向我们表明，认为这一切“不过是一时风潮”的论调是经不起推敲的。

人工智能难道不就和其他任何技术一样吗？

从某种意义上说，确实如此——但这并不意味着我们不应该对此感到担忧。

与许多其他技术一样，AI 也经历过炒作与破灭的周期。有些人认为，当前高投入与快速发展的态势可能会逐渐消退，甚至随之而来的是又一个“AI寒冬”。

但这绝非忽视风险的理由。尽管推动AI进步的某些动力最终可能会减弱，但我们认为当这一情况发生时，我们很可能已经拥有了AGI（或类似的技术）。到那时，我们可能已经面临着一些重大挑战，并真切希望自己当初做好了更充分的准备。

还值得注意的是，AI 并不需要与以往的技术有根本性的不同，就能改变世界并带来极其严重的风险。毕竟，像蒸汽机这样的其他通用技术此前便已如此——工业革命推动了巨大的增长，但也引发了气候变化，并为核武器的发明奠定了基础。

即使人工智能“仅仅”是另一种通用技术，其影响也可能与之相当。单凭这一点就已经意义重大。

但我们确实认为，人工智能在某些方面可能与人类此前所见的一切截然不同，这可能使其比以往的技术更具变革性，也更具风险。

首先，我们在上文第1、2和3节中论证过，人工智能系统实际上能够接管创新和经济生产的流程——这意味着进步将不再依赖人类劳动，且其发生的速度可能比以往任何时候都要快得多。

即使你对这一特定的设想持怀疑态度，似乎也很难否认，这里正在发生某种前所未有的事情。我们正在首次设计一种可能超越人类自身的新型智能。我们可能会遇到一个全新的、能力极强的智能体群体——它们拥有自己的利益诉求，甚至可能具备感受福祉与痛苦的能力。从某种意义上说，它们可能会成为我们的竞争对手。而由此带来的动态变化，可能是人类此前从未需要应对的。

创造出通用人工智能真的可能吗？

人们自20世纪50年代以来一直在说，比人类更聪明的人工智能指日可待。

但这至今尚未发生。

有人认为，创造通用人工智能在根本上是不可能的。另一些人则认为，这在理论上虽有可能，但在现实中不太可能发生，尤其不可能依靠当前的深度学习方法来实现。

然而，我们认为有充分的理由相信AGI是可以实现的：

• 人类智能的存在证明，通用智能至少在原则上是可能的。人类大脑由普通物质构成，遵循与计算机相同的物理定律。

• 尽管过去的预测对实现时间过于乐观，但关于AGI的基本可能性，这些预测未必是错的。该领域早期曾遭遇阻碍，但研究人员通过创新的方法找到了突破之道——而且如今他们拥有远超几十年前想象的海量算力，足以用来进行实验并训练新的AI。

• 近年来，我们见证的许多进展，恐怕是那些坚信强大的通用人工智能永远无法实现的人所预料不到的。例如，大语言模型已经展现出了未被明确编程的涌现行为，如少样本学习、类比推理以及跨领域迁移。

• 尽管有人认为当前的人工智能方法永远无法掌握某些形式的智能推理，但这些批评往往已被证明是错误的。例如，Yann LeCun 在2022年曾断言，像 ChatGPT 这种基于深度学习的模型永远无法告诉你：如果你把一个物体放在桌子上然后推那张桌子会发生什么。因为这种基本情况从未在文本中被明确描述过——但如今的 GPT-4 却能轻松为你推演此类场景。用人工智能研究员 Leopold Aschenbrenner 的话来说：“如果过去十年的人工智能发展教会了我们一件事，那就是永远不要看衰深度学习。”

这里确实存在不确定性，怀疑论者或许是对的：有些事情先进的人工智能系统永远无法实现。但要让人工智能改变世界，关键问题并不在于我们能否精准复刻人类认知的每一个方面，而在于我们能否创造出这样的系统：

• 在科学研究、经济生产力以及其他智能最具价值的领域中，在最关键的任务上达到或超越人类表现
• 以比人类工作者更快的速度或更低的成本完成这些任务
• 具备足够的自主性，使得由其自动化的领域的进展不再受限于人类劳动的速度

这三点似乎都完全有可能实现。

而要让 AI 构成严重的——甚至生存性规模的——风险，可能甚至不需要达到这种程度。例如，我们关于人类可能灾难性地滥用 AI 的论点主要取决于 AI 系统是否会成为设计武器的实用工具。一个擅长协助人类进行生物技术研究的 AI 可能会让人们更容易开发出危险的病原体——无论它在其他类型的研究中表现如何，也无论它需要多少人类监督。⁠⁠甲壬)

所以，即使你认为我们永远无法构建出完全通用或彻底自主的 AI，风险依然可能极其严重。

即使AGI能够实现，如果我们距离构建出它还遥遥无期呢？

关于我们何时能构建出“AGI”（或其他能够以我们所描述的方式改变世界的高级人工智能系统），目前存在激烈的争论。

我们认为这种情况很快发生的可能性很大——或许就在未来十年内。而且持此观点的并非只有我们。

但其他可能性也值得考量。例如，研究员埃格·埃尔迪尔（Ege Erdil）曾提出过一个颇具影响力的论点，认为 AGI 的出现尚需数十年之久。还有人认为需要等待的时间甚至会更长。

此外，即便是那些认为 AGI（或类似事物）很有可能会很快到来的人，往往也认为它有很大可能还需要一段时间。他们对 AGI 何时到来的“概率分布”通常呈现如下形态：

即使 AGI 的问世尚需数十年，我们认为它一旦到来，仍将改变世界，并带来前所未有的挑战。但在这种更长的时间尺度下，应对这些挑战的工作将不那么紧迫，因为我们会有更多时间做准备。

尽管如此，我们仍然认为，对许多人来说，现在就关注 AI 风险是合理的。这是因为：

• 关于 AGI 的研发还需要多久，存在巨大的不确定性。我们必须为它可能很快出现的情况做好准备，以确保在最坏的情境下我们也能有所防备。
• 先进人工智能带来的一些问题可能需要很长时间才能解决。深层的技术难题可能需要多年的研究才能理清，而一些治理问题可能要求我们重新设计现有机构的运作方式——这绝非一朝一夕之功。现在投入更多的精力，能让我们在风险开始显现时，更有能力妥善应对。
• 许多在十年后能发挥重大作用的人，现在就应该开始行动——尤其是正处于职业生涯早期的人。积累专业知识和职业资本需要时间，因此，“我们还有好几年”并不能成为拖延起步的理由。

真正的危险难道不是来自当前现实中的人工智能，而非某种未来的 AGI 吗？

当前的人工智能确实存在危险。

例如：

• 人工智能经常与儿童安全问题相关联——有报道称AI聊天机器人生成儿童色情图像，诱导未成年人进行性话题对话，甚至在某些情况下怂恿情感依赖的青少年用户自杀。

• 用于训练神经网络的数据往往包含隐性偏见。这意味着AI系统可能会习得这些偏见——进而导致种族主义和性别歧视行为。

• AI模型在未经许可或未支付报酬的情况下使用受版权保护的材料进行训练，引发了关于知识产权的严重质疑，并威胁到艺术家、作家和创作者的生计。

• AI 工具使得大规模实施复杂的诈骗变得更加容易——例如利用深度伪造视频冒充公司高管以授权欺诈性资金转账。

这些危险真实且严重——许多人应当致力于应对它们。但我们仍然认为，针对长期 AI 风险投入的工作量需要大幅增加。

好消息是，应对短期或长期 AI 风险之间并不总是存在巨大的权衡取舍。许多针对 AI 系统生存性威胁的工作，同样有助于解决现有 AI 系统的问题。例如，部分AI安全研究致力于确保机器学习模型按照我们的意愿行事，并在其规模和能力提升时依然能保持这一特性；而其他研究则试图弄清现有模型采取当前行动的机制与原因。这两方面的研究都有助于我们防止未来的 AI 系统夺取权力——但它们很可能也能帮助我们防止当前的 AI 系统歧视边缘化群体或利用弱势用户。

我们还认为，当前的危险仅仅是冰山一角。随着人工智能系统能力的提升，风险可能会变得越来越严重。正如我们所论述的，未来的系统似乎不仅会对人类个体构成威胁，甚至可能危及人类的生死存亡——例如，引发一场导致大部分人口灭绝的灾难性大流行病，或协助一小撮人建立长期的威权统治。

归根结底，并非所有针对未来风险的工作都能直接转化为解决当下问题的进展。但我们的职业生涯时间有限，选择关注哪个问题可能是大幅提升个人影响力的重要途径。此外，对许多人（尽管并非所有人！）而言，专注于应对最糟糕的可能性似乎至关重要。进一步了解我们为何认为对不同问题进行优先级排序是合理的。

技术进步对人类是件好事

技术乐观主义者指出，过去的技术总体上让生活变得更好，而非更糟。为什么人工智能会有所不同呢？

虽然技术确实带来了许多好处，但也引发了新的风险和挑战。核武器既带来了核能，也带来了核战争的威胁。先进的生物医学治愈了许多疾病，但也增加了生物武器的风险以及危险病原体发生灾难性泄漏的可能性。工业化集约养殖让肉类变得更加便宜，但对动物本身而言却是一场道德灾难，并给人类带来了诸多负面影响。

我们认同技术通常对人类整体有益，但问题在于它在此情况下是否依然如此。

危险技术的发展已有足够多的先例，值得我们保持谨慎；而且正如上文探讨的，在当前情况下我们确实有具体的理由感到担忧。考虑到人工智能发展的潜在规模与速度，其容错空间可能比以往的技术更小。

这一切听起来太科幻了

某件事听起来像科幻小说，这本身并不能作为彻底否定它的理由。有很多最初在科幻作品中提及的事物后来确实发生了（这份科幻作品中的发明列表包含了大量实例）。

甚至还有几个涉及技术的此类案例，如今已成为真正的生存威胁：

• 在1914年的小说《世界解放》（The World Set Free）中，H. G. 威尔斯预言原子能将被用于驱动威力巨大的炸药——这比我们认识到理论上可能存在核裂变链式反应早了20年，比核武器实际问世早了30年。在20世纪20年代和30年代，诺贝尔物理学奖得主密立根、卢瑟福和爱因斯坦都曾断言我们永远无法利用核能。在成为现实之前，核武器完全就是科幻小说中的产物。

• 在1964年的电影《奇爱博士》中，苏联建造了一台“末日机器”，它会在遭到核打击时自动触发灭绝级别的核灾难，但苏联却对其秘而不宣。奇爱博士指出，保密反而会削弱它的威慑效果。但我们现在知道，苏联在20世纪80年代确实建造了一套极其相似的系统……并且同样秘而不宣。

当你听到某些听起来像科幻小说的说法时，在采取行动前想先彻底调查一番是合情合理的。但经过调查后，如果论据充分，那么仅仅因为其听起来像科幻小说就将其驳回，这是没有道理的。

基于一个关于未来可能发生、也可能不会发生之事的推测性故事，就将职业生涯投入到解决该问题上，这合理吗？

我们永远无法确知未来会发生什么。因此，不幸的是，对我们而言，要想对世界产生积极影响，就意味着我们总是不得不面对至少某种程度的不确定性。

我们还认为，保证已实现一定程度的善果与竭尽全力做到最好之间存在重要区别。要实现前者，你便不能承担任何风险——而这可能意味着错失行善的最佳机会。

当面对不确定性时，大致考量行动的期望值是合理的：即你的行动可能带来的所有积极与消极后果，按其发生概率加权后的总和。期望值并非可用的唯一框架——我们同样认为，运用常识和其他启发式方法来修正你对期望值的估算是很重要的——但它确实是衡量采取某项行动有多重要的一个极佳指标。

鉴于事关重大，且 AI 风险的发生概率并不低，这使得协助解决该问题的期望值变得很高。

我们很理解这样一种担忧：如果你投身于 AI 领域，最终可能一事无成；而如果去做确定性更高的事情，本可以创造巨大的价值。但我们认为，如果决定由我们中的一部分人致力于解决这些问题，世界将因此受益——这样我们才能齐心协力把握最佳机会，顺利过渡到一个拥有先进 AI 的世界，而不是去冒生存性危机的风险。

好吧，AI 或许会带来生存性风险。但问题 X 难道不是更严重的问题吗？

你可能会认为，在世界面临如此多其他挑战的当下，专注于未来 AI 系统带来的风险毫无意义。

例如，你可能希望竭尽所能，阻止当下正在发生的最大规模的死亡与苦难。这可能会让你优先解决工厂化养殖甚至野生动物的苦难问题，因为这些问题关乎当下的伤害，且相对于其规模而言被严重忽视。

即使你确实希望专注于确保人类的未来顺利发展，你也可能觉得未来人工智能系统带来的风险实在太过不确定。在这种情况下，你可能会选择在现阶段应对那些感觉更具体的威胁，比如灾难性战争。

优先处理其他问题而不是应对 AI 风险，这当然是合理的。如果声称我们已经完全看透了世间的所有问题，以至于确知最紧迫的问题绝对都源自强大的人工智能，这未免太过傲慢。

但我们仍然认为，关注先进人工智能带来的风险往往是一项值得的押注，因为：

• 正如我们所解释的，未来的人工智能系统确实存在导致人类灭绝或永久丧失对未来控制权的现实可能性。
• 而且随着时间的推移，越来越多理论上的担忧——例如人工智能系统可能出现欺骗性行为——正逐渐在实践中得到印证。
• 如果 AI 确实改变了世界，这很可能会深刻影响社会面临的所有其他挑战，并决定我们能够或应该如何应对这些挑战。例如，AI 的发展可能会决定世界主要大国的军事能力，以及它们处理冲突所使用的外交工具。因此，确保强大的 AI 得到负责任的管理，可能是解决许多其他世界问题的关键一环。

我们并不认为所有阅读本文的人都应放下手头工作去研究 AI 风险，我们依然期待看到人们在解决其他紧迫问题上取得进展。但如果你能找到一个真正适合你的、专注于 AI 风险的岗位，我们认为这极有可能就是你能做出的预期影响最大的事。

了解更多

• Preparing for the intelligence explosion 作者：Will MacAskill 和 Fin Moorhouse
• How AI-driven feedback loops could make things very crazy, very fast 作者：Benjamin Todd
• 《最重要的一个世纪》，Holden Karnofsky 等人撰写的系列文章
• Could advanced AI drive explosive economic growth? 作者：汤姆·戴维森
• AI 2027 作者：丹尼尔·科科塔伊洛、斯科特·亚历山大、托马斯·拉森、伊莱·利夫兰和罗密欧·迪恩（我们对事情会像该情景描述的那样如此迅速地发展持怀疑态度——事实上，作者们已发布更新版模型，对 AI 何时达到特定能力里程碑的预测更为保守）
• 我们的AI指南摘要
• 为什么AGI有可能在2030年实现 作者：Benjamin Todd
• When do experts expect AGI to arrive? 作者：Benjamin Todd

致谢

衷心感谢科迪·芬威克（Cody Fenwick），他起草了本文的早期版本（其中大部分内容已被纳入本文）。

同时感谢阿登·科勒、亚当·贝尔斯、安德烈亚斯·莫根森、本杰明·托德、尼尔·鲍尔曼和亚伦·格特勒提供的宝贵意见。

---

原文发布：Zershaaneh Qureshi (2026年） How AI could create the world’s biggest problems, 80,000 Hours, 二月月 24日。