一封关于变革性人工智能的私人信件
乔治·罗森菲尔德是 Coefficient Giving 的全球灾难性风险项目的副总监，其工作涵盖应对变革性人工智能及生物安全相关的慈善基金。今年4月，他给亲友写了一封信，阐述了他为何认为人工智能会在未来几年改变世界，以及当前的发展轨迹为何令他感到担忧。
这是一封私人信件，专门写给首次接触这些论点的人。我们分享这封信，是因为我们认为应该有更多人参与此类讨论。
注：这封信分享于2026年4月初。据报道，在随后的约六周内，Anthropic 的年化营收已增长至450亿美元（高于下文引用的2025年12月的90亿美元），并宣布开发了 Mythos——一款强大的新 AI 模型，据称在收到提示词时，该模型能够发现所有主流操作系统和网络浏览器中的安全性漏洞。这封信并未纳入这些进展，但 AI 的发展仍在以惊人的速度持续推进。
————————————————————————
亲爱的家人和朋友们，
过去两年里，我一直在Coefficient Giving的应对变革性人工智能项目工作。我们的工作主要包括思考未来几年人工智能可能发生的变化，试图了解它可能会变得多么强大和具有变革性，并竭尽所能帮助世界做好更充分的准备。
我的团队所设想的情景听起来相当极端，极具科幻色彩。我们所设想的世界中，人工智能系统能够完成人类能做的几乎所有事情，且速度更快、效果更好；原本需要数十年才能取得的科学进步，只需数月或数年便可实现；在这样的世界里，我们不仅要问人工智能能做什么，更要问人类是否还能继续掌握主导权。
这些可能性究竟有多么疯狂，怎么强调都不为过。哪怕这些结果只有些许可能，我们或许也正经历着人类历史上最重要的转折点之一。
我无法确定这些事情是否真的会发生。我也不知道这些事究竟会是极好的（比如：人类空前繁荣），还是极坏的（比如：全人类灭绝或被剥夺权力），抑或是介于两者之间。
我还应该坦率地指出，这些观点并不主流。甲 认为人工智能能在短短几年内将几乎一切事物自动化并彻底改变文明的观点，目前仍是少数派立场，大多数经济学家、政策制定者以及普通大众尚未对此认真对待。从感觉上来说，这个世界显然尚未意识到这些可能性。
我个人也曾长期持怀疑态度。当我最初接触到这些论点时，它们听起来科幻且遥不可及，我花了一段时间才转变观念。但在过去几年里，我那些较为保守的预测始终低估了人工智能会取得的进步的幅度，我也越来越确信——且越来越担忧——这些情景是有可能成真的，并且它们也许离我们并不遥远。
我曾犹豫是否要分享这些内容，甚至不确定人们读到这些是不是件好事。尽管我也无法确定，但我最合理的推测是：世界正处于彻底改变的临界点——未来我们回望这段时期，就如同今天回望新冠疫情改变一切之前的2020年2月一样，乙 只不过这一次的转变将远为剧烈，而世界或许永远都无法回到从前的模样了。
这些是我在生活中真实抱有的观点，它们正日益指引着我的情绪、决策、希望与恐惧。把这些想法藏在心里，不与我关心的人分享，这种感觉既奇怪又孤独。
在接下来的内容中，我将探讨：（1）为何强大的人工智能会如此重要；（2）我们可能会以多快的速度达到那个阶段；以及（3）变革性人工智能可能会带来哪些前所未有的风险——以及益处。我还会提供进一步的资源链接，你可以借此向比我渊博得多的人学习。
为何人工智能如此重要？
我们大多数人接触人工智能主要是通过聊天机器人——这种在线界面能回答我们的问题、规划我们的假期，偶尔还能帮我们写作业。丙 有时它让人觉得很有帮助，有时又显得毫无用处。无论哪种情况，它给人的感觉并不一定比人类发明的其他技术更具突破性或更与众不同。
一个关键的区别在于，与以往的技术不同，人工智能或许能够将人类所能做的一切都自动化。以往的技术在某种程度上始终是对人类的补充。印刷机让我们能够更快地传播思想，但仍然需要有人先产生这些思想。计算机的计算速度远超我们，但它们只执行我们编程指定的任务。
相比之下，人工智能很有可能会做到人类所能做的一切，包括曾经为人类所独有的开放式思维。我们无法确定人工智能是否真能达到这一地步，但如果真的做到了，那很可能会产生巨大的影响。
首先，我们的工作将不复存在。这并非历史意义上的那种情况：即 AI 自动化了人类劳动的特定部分，人类因此重新学习技能并转而从事其他工作——这种情况在历史上已发生过多次。丁而更有可能的情况是：如今，AI 在处理几乎任何工作时都比最优秀的人类做得更好，因此根本没有其他工作可供转行。戊 目前，这在认知类工作中或许最容易想象，尽管体力劳动也可能紧随其后。在那个世界里，大多数人将如何谋生，或者经济会变成什么样，都尚不明朗。
但失业问题，尽管可能极其剧烈且足以改变世界，却未必是最关键的部分。迄今为止，人类的劳动力一直是科学和经济进步的重大瓶颈。然而，有了足够强大的 AI，我们或许就相当于多出了数十亿名顶尖科学家、企业家和其他专家，能够同时投入到每一个问题的解决之中。己
很难确切知道事情会以多快的速度发展。即使拥有超越人类的 AI，瓶颈依然会存在：物理实验需要时间进行，许多现实世界的问题本质上杂乱且复杂，而人类的制度、法规以及技术被采用都可能滞后。庚
但可以合理推测，这样的世界可能会迅速变得与今天截然不同，数百年的进步将被压缩到短短数月或数年之内。
试想一下，当今世界与1500年相比有着多么巨大的不同：现代医学、电力、互联网、核武器、太空旅行。现在设想一下，这种规模的变化不是在五个世纪内发生，而是在五年内发生。而且，与经历过此前那场变革的几代人不同，我们不会再有几个世纪的时间去适应。辛
我们现在身处何处，未来又将走向何方？
截至2026年3月，人工智能尚未彻底改变世界，也没有使大量工作岗位实现自动化。目前我还未觉得它对我的工作有多大用处。
但重要的是发展趋势。
过去几年间，人工智能系统已经取得了突飞猛进的进步。2022年，首个被广泛使用的聊天机器人（ChatGPT）能进行还算过得去的对话，但经常胡编乱造。到了2024年，最顶尖的人工智能系统已经通过了律师资格考试，并在国际数学奥林匹克竞赛中摘得银牌（随后于2025年荣获金牌）。2026年初，AI 智能体通常已经能够处理那些需要熟练人员花费数小时才能完成的、颇具规模的软件项目壬，如今甚至正被用于加速人工智能自身的发展进程癸。
要理解这些进步背后的驱动力，了解人工智能模型的开发过程会有所帮助。当我们制造汽车引擎、建造桥梁或开发网站时，我们清楚它们最终的模样，也完全理解最终产品的工作原理及原因。但人工智能不同：人工智能公司构建一个神经网络（有点像人造大脑），用海量数据对其进行训练，然后让智能从模型中“涌现”出来。工程师塑造了这个学习过程，但并不手工打造最终的结果。甲甲
在过去的几年里，推动人工智能进步的主要驱动力之一是规模：随着人工智能公司不断扩大输入（更多数据、更强算力、更大模型），甲乙他们和我们一样，目睹着更高的智能和新的能力不断涌现。人们曾多次看衰人工智能，声称它永远无法完成某些特定任务，但下一轮的规模扩张总能证明他们错了。随着模型变得越来越大，这一规律一再得到验证，没有人知道这种趋势还会以多快的速度继续，或者是否会停止。
有一张我经常看的图表很好地捕捉了这一趋势，它来自评估人工智能能力的机构 METR。他们衡量人工智能系统的“时间跨度”：即人工智能能够自主完成的软件任务的难度，以人类专家完成这些任务所需的时间来衡量。甲丙 METR 发现，在2019年至2025年间，时间跨度大约每七个月翻一番。更近期的数据表明，现在可能每四个月就会翻一番。
正如我们在新冠疫情期间所认识到的，指数级变化能迅速改变局势：倍增正在快速发生，或许只需几次倍增便足以改变世界。甲丁
评估人工智能发展轨迹的另一种方式是观察人工智能公司的营收数据，在某些方面，这是衡量其现实世界影响力的一个更可靠指标。Anthropic（开发 Claude 的公司）的年化营收从 2023 年底的 1 亿美元增长到 2024 年底的 10 亿美元，再到 2025 年底的 90 亿美元——年增长率约为 10 倍。按照某些标准，这使其跻身历史上增长最快的科技公司之列。
而投资规模更是让营收相形见绌。预计仅在2026年，五大科技巨头就将在AI基础设施上投入超过6000亿美元，主要用于数据中心和芯片。作为对比：阿波罗登月计划在其长达13年的整个实施周期内，总成本约为2500亿美元（经通胀调整后）。AI公司仅一年的投入就将是该数字的两倍多。这已经是现代历史上针对单一技术最大规模的私人投资之一。
仅凭这些数字并不能证明人工智能即将彻底改变经济；许多技术在早期都曾出现过爆发式的普及，却并未改变文明，而且这笔巨额投资也有可能是泡沫。但结合上述能力趋势来看，它呈现出一幅一致的图景：要么人工智能的进步很快就会遭遇瓶颈，要么它将成为全球经济的驱动力。如今，押注“遭遇瓶颈”正变得越来越困难。
退一步看：分享图表和趋势固然很好，但当有人告诉你即将出现一项重大的新事物时，保持怀疑是非常合理的。这也是我最初的反应：我花了很长时间，才真正相信这些情景是有可能发生的。但随着时间的推移，那些对趋势进行外推并认真对待这些可能性的人，看起来越来越正确，而我那些更为保守的预测却一次又一次被证明是错误的。甲戊
如今，当我审视这些人的预测时，我发现他们正在敲响警钟。今年1月，阿杰亚·科特拉（我的前同事，她最近在413人参与的预测AI发展的比赛中排名第3位）曾预测，到2026年底，AI将能够完成耗时24小时的软件工程任务。甲己 仅仅几个月后，她就改变了看法：她现在认为这一耗时将超过100小时，甚至可能没有上限。3月初，她写道：“这是我第一次没有看到任何确凿的证据能够用来推断[人工智能研发的全面自动化]甲庚不会很快到来。人工智能研发今年确实有可能实现全自动化。”甲辛 在阿杰亚看来，甲壬 我们或许可以预期，到2030年代初期，人工智能将在任何基于计算机的任务上超越全球顶尖的人类专家，而体力劳动的自动化可能在随后的几年内实现。遗憾的是，比这早得多的情况似乎也完全有可能发生。
这些说法听起来很疯狂，当然也完全可能是错的。发展趋势可能会趋于平稳。剩余的能力瓶颈最终可能被证明比目前看起来的更为根本，和/或更难克服。整个世界可能会迅速觉醒，并协同起来放缓发展的步伐。甲癸
但目前这些情况都还没有发生，而时间却在不断流逝。
那么风险呢？
在探讨具体风险之前，先回顾一下总体情况。
我们或许正站在创造第二个智能物种乙甲的临界点上——这种物种比我们更聪明，能在所有可能的领域中胜过我们，并且能被轻易复制数十亿次。我们可以预期，这将引发一场前所未有的技术进步大爆发，其变革世界的速度远超我们的适应能力。而且，如果这还不够的话，这一切都发生在我们尚未完全理解人工智能模型如何运作、它们可能如何表现，以及我们能否将其控制住乙乙的情况下。这一切在我看来都相当令人担忧。
事实上，该领域的许多顶尖思想家都对此忧心忡忡。三位开创现代人工智能领域的“教父”中，有两位如今认为，我们在未来几年内可能看到的人工智能，或许会对人类构成生存性威胁。乙丙 各大人工智能公司的首席执行官们自己也表示，这项技术确实有可能造成灾难性的危害。Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）曾表示，他认为情况有25%的概率会变得“非常、非常糟糕”。OpenAI首席执行官萨姆·阿尔特曼曾描述最坏的情况是“我们所有人都将面临灭顶之灾”。乙丁
然而，他们仍在竞相角逐。乙戊
我的团队主要致力于降低那些可能导致数十亿人丧生，或在其他方面造成同等严重（甚至更糟）后果的风险。这些风险包括：
-
**灾难性的AI滥用：**人类可能会蓄意利用强大的AI系统造成灾难性危害，例如设计并释放人造大流行病——若没有强大的AI，此类行为将难以实现甚至根本无法实现。更多相关内容请参见此处。
-
**权力极度集中：**AI可能使少数行为体——企业、政府甚至个人——积累人类历史上前所未有的权力，因为他们能够独占超人类的能力，而无需依赖那些原本可能予以抵抗的人的支持。在极端情况下，这可能包括AI公司首席执行官发动的全面政变乙己、国家元首实施的威权锁定，以及其他可能导致几乎所有人长期丧失政治权利的场景。更多相关内容请参见此处。
-
**AI接管：**这是所有风险中最具科幻色彩的一种。许多研究人员担心，一旦AI智能到足以脱离我们的控制，它们本身就可能追求与我们不同的目标，这可能导致人类丧失权力，甚至被彻底消灭。遗憾的是，确保比我们更智能的AI遵循我们的目标，目前被视为一个尚未解决的技术难题——研究人员或许能及时解决，但无法保证。这种风险比其他风险更难直观理解，需要更深入的解释——你可以在此处阅读更多内容。
此外，还有许多其他不那么具有末日色彩的问题值得担忧：大规模失业的速度超过社会的适应能力；传统贡献方式的消失导致意义丧失；极端的政治和社会动荡；以及跟不上时代步伐的机构遭到颠覆。
幸运的是，我认为这些结果都不是必然会发生的。至少对于我上面列出的那些最严重的灾难性风险，我猜测我们多半能够避开它们。话虽如此，这些风险似乎依然高得令人恐惧——可能比我们面临的任何其他问题都要大。
在我看来，一个明智的世界本应全力动员并协调一致，以大幅放缓发展步伐。然而，我们却在方向盘前打瞌睡。
并非全是坏事
这种对风险的关注，似乎让人觉得人工智能全是坏事。我不这么认为。恰恰相反，如果它没有引发某种灾难，乙庚 我认为超级智能AI可能会成为人类历史上最强大的向善力量之一。
我前文所述的科学与经济的极速进步，可能意味着我们能够解决原本遥不可及的科学难题，治愈疾病，乙辛 减少贫困，创造出前所未有的物质丰裕，并以今天难以想象的方式促进人类繁荣。乙壬 其潜在收益令人惊叹。
我意识到，我刚才还在呼吁世界放慢脚步，现在却又在描绘保持当前发展速度所能带来的巨大益处。这种权衡是真实存在的。乙癸 我们每推迟一年，就可能会有人死于本可被人工智能治愈的疾病；然而，我们每冒进一年，就可能造出我们无法控制的东西。这里的利害关系再重大不过了。
你能做些什么？
如果你读到这里感到不知所措——相信我，我完全能理解。我已经与这些问题相伴数年，几乎每天都在思考，但至今依然会时常感到一阵阵的压力与紧迫感，有时甚至难以置信这一切真的正在发生。
如果这一切最终被证明是正确的，未来几年可能需要我们做出人类历史上一些最具决定性的抉择：这项技术将如何发展、由谁控制，以及我们允许它以多快的速度走向社会。我们恰好生活在能够影响事态发展的最佳时机，这实在令人惊叹。
如果你被其中的某些论点说服（或者哪怕只是感到好奇），我鼓励你深入了解，形成自己的观点，并思考：如果你确信这些事情真的可能发生，那么采取哪些行动才是合理的。请准备好发出你的声音——无论是与熟人交谈、联系政治代表丙甲、更直接地参与这些议题，还是采取其他行动。
如果你还在犹豫自己是否能再多做些贡献：许多没有任何技术背景的人（包括我！）都能够迅速转入 AI 相关的工作，而且有价值的工作范围比我预期的要广阔得多。
作为深入探索的起点，我在下方列出了我觉得最有用的资源。
我在信的开头提到，独自持有这些观点却不与人分享，这种感觉既奇怪又孤独。写下这封信缓解了这种感受，希望这封信值得你一读。我不知道未来几年会如何发展，也许将来回首此文时，我会因自己错得离谱而感到尴尬。但如果这些观点哪怕只是大致正确，我想我们会希望自己能尽早开始关注这些问题。
George
延伸阅读链接
以下是一些极佳的资源，你可以从中向远比我熟悉这一领域的人学习。
重点推荐：
- AI in Context YouTube频道：视频质量极高，主要关注风险问题
- 80,000 Hours 关于寻求权力的AI、权力集中以及灾难性AI滥用的问题分析：这是理解相关风险的最佳资源之一
- 该网站还为有意通过职业生涯致力于解决这些问题的人提供了这份极佳的资源
- 《AI Doc，或：我如何成为一名“末日乐观主义者”》：一部刚刚上映的新电影，对人工智能可能的发展轨迹进行了通俗易懂且极具观赏性的总体介绍。
- 阿杰亚·科特拉播客节目：阿杰亚（我在上文中曾多次提及）最近的一期节目，探讨了截至2026年初我们所处的现状。
- 总体而言，我认为80,000 Hours是探讨这些主题的最佳播客系列
- BlueDot Impact：提供了一系列出色的免费入门课程及其他资源，非常适合想要初次了解这些主题并开始贡献力量的人。
延伸阅读/收听：
- 我们的工作如何才能不被ai取代：一篇文如其题的文章！
- The Most Important Century：一篇关于变革性人工智能的精彩博客文章，探讨了为何这可能是人类历史上最重要的时期
- AI Futures Project 的《AI 2027》：详细设想了可能在2027年发生的人工智能飞跃情景（这比我的预期要早，也早于作者们的预测中位数，但对于描绘事态可能的走向依然很有帮助）
- 《计划性淘汰》：Ajeya Cotra 和 Kelsey Piper 撰写的关于变革性人工智能的优秀 Substack 专栏，其中包括 The costs of caution（关于 AI 的益处）以及 Ajeya 关于缩短时间线预期的最新更新。
- If Anyone Builds It, Everyone Dies：埃利泽·尤德科夫斯基（Eliezer Yudkowsky）和内特·索阿雷斯（Nate Soares）近期出版的著作，重点探讨 AI 接管风险。我认为其结论过于笃定（即我不认为超级智能一定会杀光所有人），但仍是对某些潜在风险的有益描述。
- Machines of Loving Grace 和 The Adolescence of Technology：达里奥·阿莫迪（Anthropic 首席执行官）撰写的探讨强大人工智能潜在益处与风险的文章。
如果您希望采取更多行动
上述信件旨在与刚接触这些议题的人士分享乔治的观点。如果您已经熟悉 AI 风险，并希望采取更强有力的行动：
- 探索职业转型：请访问 80,000 Hours 的人工智能职业页面，这是考虑直接致力于解决这些问题的最佳起点。
- 捐款给 Longview Philanthropy 的新兴挑战基金，该基金支持致力于AI安全与治理的组织。
- 申请 Coefficient Giving 提供的职业发展与转型资助，该项目资助向AI 风险领域转型的人士。