极端权力集中
引言
当今世界，权力已高度集中：超过8亿人每天的生活费不足3美元，而全球最富有的三人身价合计约1万亿美元，更有近60亿人生活在有民主选举的国家。
这本身就是一个问题。不过，你也可以说，权力的分布仍然相当分散：全球收入不平等正在下降，超过20亿人生活在有民主选举的国家，没有任何国家的GDP占比超过全球的四分之一，也没有任何公司的收入达到全球GDP的1%。a
但在未来，先进的人工智能可能导致权力集中的程度远超我们迄今所见。
许多人认为，在未来十年内，顶尖的人工智能项目将能够运行数百万个思考速度远超人类的超级智能系统。这些系统可能会取代人类劳动者，导致绝大多数人的经济和政治权力大幅减少；除非我们采取行动加以预防，否则它们最终可能会被极少数人控制，且缺乏有效的监管。一旦这些系统被部署到经济、政府和军事领域，它们被设定追求的目标将成为塑造未来的主要力量。如果这些目标由少数人确定，那么最终，可能只有极少数人会掌握对未来做出所有重要决策的权力。b
摘要
尽管关于这一问题的范围及潜在解决方案存在高度不确定性，我们仍认为这是全球最紧迫的问题之一。
总体观点
推荐 - 最高优先级
我们认为这是全球最紧迫的问题之一。
规模
该问题的潜在规模似乎极为庞大：
- 一部分加剧“AI驱动的权力集中的风险”的机制似乎相当可能（如人工智能取代人类劳动者，以及人工智能开发中的正反馈循环使某些行为体获得巨大的能力优势）。c
- 我们认为最紧迫的问题是寻求权力的AI接管。某些可能让未对齐的人工智能系统夺权的机制，同样可能让控制人工智能系统的人类借此夺权。d
- AI驱动的权力集中将意味着几乎全人类都失去政治权力。对绝大多数人而言，这意味着他们在塑造其生活与未来的决策中将毫无实质话语权。若缺乏制衡机制，掌权者可能会做出极具危害性的选择——历史昭示我们，不受约束的权力会导致暴政与暴行。
- 更令人担忧的是，AI驱动的权力集中可能会自我强化：掌权者很可能试图进一步巩固地位，并利用其人工智能优势稳固政权，因此造成的任何危害都可能极其长久。
被忽视程度
许多人致力于应对普遍的权力集中问题，遍布于政府、法律体系、学术界及公民社会。但极少有人专注于由人工智能具体驱动的权力集中风险。据我们所知，仅有少数几家机构的几十人在致力于降低这一风险，其中全职从事此项工作的人更是寥寥无几。
可解决性
防止人工智能驱动的权力集中由于被极度忽视，其可解决性目前尚难判断。由于尝试者寥寥，我们尚不知晓有效的方案。
然而，我们仍有理由对此保持乐观：
- 阻止人工智能驱动的权力集中符合几乎所有人的利益——这也包括当今最具权势者的利益，否则他们可能会败给竞争对手。
- 尽管针对该问题的思考尚处早期阶段，但已有一些具体且颇具前景的干预措施。例如，旨在防止人们为谋取私利而训练AI的技术性缓解措施——如对齐审计和内部信息安全——似乎相当可行。
另一方面：
- 推动权力集中的结构性力量——即人工智能取代人类劳动者，以及导致巨大能力差距的反馈循环——可能非常强大且难以改变。
- 尽管防止人工智能驱动的权力集中符合大多数人的利益，但若人工智能进展极快、竞争动态恶化认知环境，或追求权力的个人采取对抗性行动蓄意混淆视听，人们理解现状并维护自身利益的能力可能会受到侵蚀。身居要职的逐权者还可能在他人为限制权力集中而设的制衡机制变得不便时，直接将其废除。
核心结论：虽然目前尚不清楚解决人工智能驱动的权力集中问题有多容易——但这显然并非无解，目前已有若干可行的切入点，且考虑到该问题的重要性和被忽视程度，显然值得投入更多精力。事实上，我们目前的观点是，这是全球最紧迫的议题之一。
鉴于目前尚处于早期阶段，且执行不当的计划可能会适得其反，我们认为现阶段大多数人应该保持风险意识而非直接介入；但如果你确实处于从事这项工作的有利位置，这很可能就是你的最佳选择。
档案深度
探索性
这是我们撰写的众多议题概况之一，旨在帮助人们找到利用职业生涯能够解决的最紧迫问题。了解更多关于我们如何比较不同议题，你可以查看该议题与我们迄今考量的其他议题相比如何。
为何人工智能驱动的权力集中可能成为紧迫问题？
我们认为人工智能驱动的权力集中问题尤为紧迫，主要原因包括：
- 历史上前所未有的自动化水平意味着自动化可能集中办事的能力，这将降低人类劳动的价值、赋能拥有庞大AI劳动力的小团体，并可能赋予单个AI开发者巨大的能力优势（如果自动化AI开发导致AI进步失控）。
- 这可能导致政治权力的空前集中。极少数人可能利用庞大的AI劳动力夺取现有机构的控制权，或通过积累巨额财富使这些机构变得无足轻重。
- AI驱动的权力集中可能造成巨大且持久的危害，因为它会剥夺大多数人的政治权力，并助长大规模的权力滥用。
- 虽有降低风险的途径，但致力于此的人寥寥无几。
本节将逐一探讨这些要点，但首先我们将提供一个说明性的场景，展示先进 AI 如何导致权力的极度集中。该场景虽经过简化，且事态发展可能还有许多其他路径，但它能让我们对所担忧的问题有更直观的感受。
人工智能驱动的权力集中的潜在情景
注：本情景及其中涉及的企业与机构均为虚构。我们旨在阐释一种假设性情境，并未针对特定的现实主体。
2029年，美国人工智能公司Apex AI取得关键突破：其人工智能开展AI研究的能力已比肩人类科学家。这引发了智能爆炸，即AI改进AI再改进AI，导致能力极速提升。但包括中国在内的竞争对手紧随其后，数月内也开启了各自的智能爆炸。因担忧中国很快将利用其工业基础实现反超，美国政府启动了“堡垒计划”——将全美人工智能研发整合至一个由政府官员和实验室高管组成的机密监督委员会之下。Apex利用早期优势获得了九个席位中的三席，并为委员会提供核心基础设施：安全系统、数据分析及人工智能顾问。
到2032年，随着人工智能系统将传统岗位自动化，人工智能企业贡献了联邦税收的绝大部分。失业率攀升。监督委员会此时指挥着数亿人工智能劳动力，掌控大部分税基，并主导军事人工智能的采购、基础设施投资及收入再分配等重大决策。唯有与委员会或大型人工智能企业有直接联系者才能使用最先进的人工智能工具，而多数公民只能接触功能受限的消费级版本。当总统提议阻止Apex与Paradox AI合并（合并后的实体将控制60%用于训练和运行美国AI系统的算力）时，委员会生成的经济模型警告称，若实施该举措将导致中国超越美国并引发经济崩溃。该提案最终悄然搁置。委员会的AI系统——全部运行于Apex架构——正潜移默化地推进Apex的利益，但技术痕迹过于隐蔽，较低级的模型难以察觉。况且多数民众已认同”战胜中国”的立场，当他们向个人人工智能顾问（通常是Paradox或Apex的低级模型）咨询合并事宜时，这些顾问总能令人信服地论证这是符合国家利益的。
到2035年，美国经济规模已增长三倍，而其他国家却陷入停滞。“堡垒计划”的决策如今主导着全球市场——决定研发哪些技术、分配哪些资源、以及哪些国家获得人工智能援助。Apex与Paradox的高管们逐步巩固了影响力：其人工智能系统起草多数提案，模型评估各项选择，安全协议则决定哪些信息能传递给其他委员会成员。当所有主要信息渠道——从人工智能顾问到新闻分析再到政府简报——都经过他们控制的系统过滤时，几乎没人能客观了解正在发生的权力集中现状。人们在社交媒体上读到或新闻中听到的一切，似乎都在强化”无需过度担忧”这一观点。
这些高管本有足够的权力单方面夺取委员会的控制权，向各国发号施令，但他们无需这样做。通过成千上万次微妙的引导——这里一份风险评估，那里一条战略建议——他们的人工智能系统确保了每一项重大决策都契合他们对人类未来的构想。
自动化可能会集中“办事”的权力
我们一直利用技术来自动化部分人力劳动：水力磨坊取代了人力研磨，印刷机取代了抄写员，珍妮纺车取代了手工纺纱。这种自动化对权力分配产生了影响，其中一些影响是重大的——印刷机促使权力从教会转向城市商人；工厂机器则将权力从土地所有者转移到了资本家和工业化国家。
人工智能的独特之处在于，它具备同时自动化多种人类劳动的潜力。顶尖人工智能研究者认为，人工智能在2047年自动化所有人类任务的概率为 50%——尽管许多人认为这一天可能更早到来（几位 AI 公司 CEO 预计 AGI 将在未来几年内实现）或更晚（同一项针对顶尖 AI 研究者的调查显示，到 2116 年 AI 自动化所有人类职业的概率为 50%）。即便完全的人类自动化需要漫长时间甚至永远无法实现，显然人工智能仍能自动化大量人类劳动——鉴于当前技术能力进步之快，这一进程可能很快启动。e
这可能对权力的分配方式产生重大影响：
- 默认情况下，流向工人的资金将减少，流向资本所有者的资金将增加。 自动化可能会降低人类劳动的价值，在极端情况下会导致工资崩跌并无限期地维持在极低水平。f 这将增加资本相对于劳动在经济蛋糕中的份额，资本持有者的权力可能会比现在更加不成比例地膨胀。
- 小团体将能完成更大的事业。 目前，大型项目需要庞大的劳动力。曼哈顿计划在高峰期曾雇佣了130,000人。仅维持亚马逊的运转就需要150万人。随着AI变得更加强大，未来将可能利用AI劳动力来完成宏大的任务，而不再需要庞大的人类团队——也就免去了随之而来的必要环节：说服这些人相信你在做的事是好的，或至少是没问题的。
- 自动化AI研发带来的失控式进步可能赋予单一开发者巨大的能力优势。 首个实现AI研发自动化的项目可能会引发智能爆炸，即AI系统改进AI系统，进而继续改进AI系统，形成正反馈循环，这意味着其AI能力可以迅速将其他人甩在身后。竞争对手可能会随之触发它们自己的智能爆炸，但如果它们起步时就远远落后于领先者，或者领先者最初的能力提升幅度足够巨大，某家公司可能就能巩固其持久的优势。
如果这些态势足够强劲，最终绝大多数赚钱和办事的能力可能都会掌握在少数组织手中——无论是拥有顶尖AI系统的科技企业g还是政府h——这意味着它们将掌控海量的智能劳动力，并可将其用于任何目的。
此外，在这些组织内部，越来越多的员工可能被人工智能系统取代，导致极少数人掌握巨大的权力。i
发展路径存在诸多变数，AI 是否必然导致此类权力集中尚未定论。或许，我们将见证重心从昂贵的预训练转向更易获得的推理扩展，前沿公司数量激增，让更多人掌握同等强大的人工智能。智能爆炸可能根本不会发生，又或许会迅速平息，让落后者得以迎头赶上。若商业竞争维持高位，消费者将获得越来越智能的模型，这可能拉平人类之间的能力差异，推动实现更加平等的社会。人工智能或许能通过聚合偏好来实现更加直接的民主，并提升透明度。诸如此类（详见下文）。
因此，既有抵制权力集中的力量，也有推动权力集中的力量。社会当然有可能自然适应这些变化，成功抵御人工智能助长的权力集中。但考虑到人工智能可能达到的进步速度，确实存在一种风险，即我们可能来不及适应。
这可能导致政治权力空前集中
因此，我们最终可能面临这样一种局面：绝大多数赚钱和办事的能力都掌握在少数人手中。
现有制度与法律或许能对这种权力施加合理限制，使针对未来重要决策的影响力仍保持分散。但不难想象，某些行为体获得的巨大能力优势，以及绝大多数人类劳动价值的削弱，可能会瓦解我们当前的制衡体系——该体系本是为依靠人类劳动运转的世界所设计，在当时，不同主体的能力水平要均衡得多。
但这究竟会如何发生？当今的掌权者必将竭力捍卫自己的权力，仅仅拥有顶尖的人工智能并不意味着能自动掌控关键机构。
我们认为，权力可能通过以下因素的某种组合而变得极度集中：
- 人工智能驱动的权力攫取，即行为体利用人工智能夺取现有机构的控制权
- 经济力量，可能使某些行为体积累巨额财富，从而轻易影响或绕过现有机构
- 认知干扰，即大多数人理解事态发展并为自身利益协调行动的能力遭到侵蚀
受访专家对上述因素中什么最为关键存在分歧。虽然仅凭单一因素就有可能最终导致人工智能驱动的权力集中，但我们尤其担忧这些因素的组合效应，因为它们可能相互强化：
- 夺取对龙头企业或政府机构的控制权，将使积累财富和控制信息流变得更加容易。
- 财富越集中，超级富豪越容易获得政治影响力，并为夺权铺路。
- 民众理解自身利益并据此协调的能力越受损，强势行为体就越容易积累财富并攫取机构权力。
下文将详细阐述这些因素——权力攫取、经济力量与认知干预——可能如何导致人工智能驱动的权力集中，使少数人垄断关于未来的重大决策权。
人工智能驱动的权力攫取
当今已存在这样的情境：某些行为体可利用金钱、武力或其他优势夺取机构控制权——全球周期性发生的军事政变和企业收购便是明证。话虽如此，这类手段仍有局限：民主国家虽偶有彻底倒退至独裁统治的情况，但这实属罕见；j而在成熟民主国家，政变几乎从未发生。
通过将庞大的人工智能劳动力置于少数人手中，先进人工智能可能使权力攫取成为可能，即便对象是极其强大且民主的机构。这将根本性地改变权力争夺的动态：不再需要大量人员支持和协助策划夺权行动，一小群人仅凭人工智能劳动力，无需任何人类协助，便可能夺取政府或其他强大机构的控制权。
但这实际上究竟会是什么样子？
利用人工智能夺取整个政府权力的途径之一是**自动化军事政变**，即某个行动者利用对军事人工智能系统的控制来夺取国家政权。行动者可能通过几种不同的方式掌控足够多的军事人工智能系统，以发动政变：
- 有缺陷的指挥结构。 军事人工智能系统可能会被明确训练为效忠于国家元首或政府官员，而非效忠法治。如果系统是以这种方式训练的，那么控制这些系统的官员就可以随心所欲地使用它们，包括用来发动政变。k
- 秘密效忠。 随着人工智能能力的提升，让AI系统对某个人或小团体秘密效忠可能成为现实。l 就像人类间谍一样，这些系统表面上会按预期行事，但暗地里却在推进其他目的。特别是如果一家公司拥有远超其他人的尖端AI技术，且只有少数行动者有权使用它，外部人员将极难察觉这种秘密效忠。m 因此，部署在政府和军队中的后续几代AI也可能怀有秘密的忠诚，并可能被用来发动政变——无论是被AI公司的领导者、外国对手，还是政府或军队内部的部分势力利用。
- 黑客攻击。 若某公司或国家在网络进攻领域拥有显著优势，便可能同时入侵多个军事人工智能系统，使其瘫痪，或利用它们发动政变。
这些设想或许听起来有些牵强。希望军方在部署自主军事系统时能保持审慎，并建立适当的保障措施以防止此类滥用。但竞争或大国冲突可能会导致仓促部署，n而且即使经过严格测试，暗中效忠也可能难以察觉。此外，成功发动政变或许只需要少量兵力，尤其是在有AI协助的情况下（历史上不乏这样的先例：仅凭几个营的兵力，通过劝说其他部队不予干涉，即便没有技术优势也能成功夺权）。o
除军事政变外，人工智能赋能的夺权还存在另一条潜在路径：压倒性的认知优势，即某个行为体在高技能的人工智能劳动力方面拥有巨大的优势，以至于可以直接压倒一个国家乃至世界其他地区。凭借极大的认知优势，它可能通过超人类的战略与说服力来迫使他人让渡权力，或者通过迅速组建一支秘密军事力量来夺取政权。这听起来更具科幻色彩，但一些人认为，如果发生足够大规模的智能爆发，这或将成为现实。
人工智能驱动的夺权——无论是通过自动化的军事政变还是通过压倒性的认知优势——并不会自动构成我们所定义的权力集中。当今世界，没有任何一个单一机构能够做出所有的重大决策——即便是世界上最强大的政府也不例外。因此，从“成功夺取单一机构的权力”到“包揽关于未来发展的所有重大决策”之间，可能还有很长的路要走。但是，在走向少数人最终掌握未来所有重大决策权的道路上，夺权可能是一个非常重要的渐进步骤p——或者，如果权力已经高度集中，夺权可能就是最后一步。
经济力量
一小部分人可通过多种不同途径积累起足以有效集中权力的财富，在极端情况下，这甚至会使现有机构形同虚设：
- 削弱政府代表人民的激励：让选民在经济上变得无足轻重。诚然，民主国家政府的使命是代表并服务于其公民的利益。但目前，政府这样做也有直接的经济激励：更幸福、更健康的民众能成为更高效的劳动者，从而缴纳更多税款（而且他们反叛的可能性也更低）。如果自动化打破了这种联系，并且 AI 公司提供了政府绝大部分的收入，政府就不再有这种出于自利的理由去促进人民的利益。
- 民主国家可能仍会举行选举，但极快的发展速度可能会使选举周期显得过于漫长，以至于无法发挥太大的影响，而错误信息和游说活动可能会进一步扭曲投票的结果。在这样的情景中，政府可能依然存在，但它们将不再发挥现有的职能，而是主要迎合大型 AI 公司的利益。q
- 超越世界，即某个国家或企业的财富远超世界其他地区的总和。上文探讨的那种智能爆炸可能会让领先的AI开发者获得（也许是暂时的）AI垄断权，使其每年能够赚取数万亿美元，r并设计和构建强大的新技术。直观来看，如果该主体能长期维持其垄断地位，并以高于世界其他地区的速度增长，它最终将掌握超过99%的资源。尽管存在许多复杂因素使得超越世界变得不太可能，s但如果某个主体享有获取全球最强大技术的特权，并通过高度集中且协调一致的努力，实现这一目标似乎仍是可能的。当今的机构或许会继续存在，但不清楚它们是否还能实施该企业或国家所反对的重要决策。
- 外层空间的先发优势，即AI领先者利用其优势攫取对太空资源的控制权。如果AI能够推动技术的快速进步，AI领先者可能成为首个开发出先进太空能力的主体。他们可能会占据地球之外的广袤资源——如果太空资源被证明是可以防御的，他们就能无限期地维持控制权。目前尚不清楚这种先发优势是否真实存在，t但如果确实存在，太空领域的先发者将能够就人类向宇宙扩张的进程做出单方面决定——这些决定可能对我们长远的未来产生极其重大的影响。
所有这些路径都带有很强的推测性，但如果我们不采取预防措施，经济力量似乎确实有可能导致某个国家或企业拥有的政治权力远超其他所有主体的总和。如果该主体本身已经高度集权（例如专制政府，或大多数员工已被自动化的企业），或者后期发生夺权事件将权力集中在一小群人手中，这可能会导致有关未来的所有重大决策都由极少数的几个人来制定。
认知干扰
攫取权力的行为和破坏现有制度的经济力量对大多数人不利，因此协调行动以阻止这些事符合大多数人的利益。但反过来说，干扰人们理解现状并阻碍他们协调反抗权力进一步集中的能力，则符合那些试图积累权力者的利益。u
在我们指出的三种因素中，这是研究最不充分的一种，但我们认为它可能非常重要。我们初步列出了若干可能侵蚀认知环境的不同因素，其中一些涉及蓄意干预，而另一些则是偏向少数人的涌现动态：
- 缺乏透明度。AI公司和政府中的强势参与者将有动机掩盖其活动，尤其是在他们为自己谋取权力的时候。在不泄露敏感信息的情况下，分享关于AI能力及其使用方式的信息在技术上也可能存在困难。AI的发展越是秘密进行，大多数人就越难抵制会导致权力进一步集中的举措。
- AI进展速度。事物的变化可能如此迅速，以至于任何人类都难以跟上。这将使那些能够使用最顶尖AI系统和最多算力的人占据优势：他们可能是唯一能够利用AI来理解局势，并采取行动促进自身利益的人。
- **带有偏见的AI顾问。**随着AI建议的改善和变革步伐的加快，人们可能会越来越依赖AI系统来理解世界。但是，这些系统给出的建议可能会微妙地偏袒开发它们的公司——这要么是因为它们被刻意训练成这样，要么是因为没有人仔细考虑过系统的训练环境会如何使它们向这个方向倾斜。如果AI系统最终偏袒公司利益，这可能会系统性地使人们的信念和行动产生偏差，使其倾向于那些有助于权力进一步集中的事物。
- 说服与操纵活动。那些掌握卓越的AI能力与算力的人，可以通过开展AI驱动的游说活动或操纵个体决策者，蓄意干扰他人限制其权力的能力。例如，AI可能会做出前所未有的密集且个性化的努力，去影响每一位国会议员，以争取他们对某些策略议题的支持，包括为他们的连任竞选提供资金和超人类水平的AI协助。目前尚不清楚这些手段会有多大威力（也许人类的认知防御已经相当完善，而且AI可能不会比人类现有的手段高明多少），但如果运气不佳，这可能会严重损害社会察觉并应对寻求权力行为的能力。
这份因素清单可能遗漏了一些重要事项，同时也可能包含了一些实际上不会成为问题的事项——再次强调，这一领域的研究仍不充分。但我们将其列出，是为了让人更具体地了解AI可能如何侵蚀（或被用来侵蚀）认知环境，使人们更难察觉正在发生的变化，并难以抵制权力的进一步集中。孤立来看，认知干扰可能不会导致极端的AI赋能的权力集中，但它可能成为一个促成因素。
AI驱动的权力集中可能造成巨大且持久的危害
从常识来看，将未来的钥匙交给极少数人显然是错的，大多数人也会对此表示强烈反对。我们相当看重这种基于直觉的论点。
我们也对一些具体的论证赋予了一定权重，这些论证阐述了 AI 动的权力集中为何会造成极其严重的危害，尽管这部分的推理感觉更为脆弱：
- 可能导致暴政。 民主制度通常要求很大一部分民众支持政府的大方向，从而阻止一小撮极端分子夺取政权并对本国人民犯下大规模暴行。如果权力变得极端集中，一小撮人就能犯下令大多数人震惊的暴行。人类历史上许多最骇人听闻的暴行，都是由对民众拥有不受制约权力的极少数人犯下的（例如红色高棉在 1975 年至 1979 年间屠杀了四分之一的柬埔寨人）。我们可以设想 AI 驱动的权力集中导致暴政的两种主要途径：
- 恶意——或仅仅是极端自私——的人类最终可能掌权。尤其是在权力通过AI驱动的夺权行为而集中的情境下，那些愿意夺取权力的人很可能会带有其他恶劣特质。他们可能会蓄意造成伤害。
- 权力导致腐败。即便掌权者初衷良善，一旦他们的权力稳固，便不再有动力去继续推动大多数人的利益。每当顾及他人的利益带来不便时，背弃初衷将成为一种强烈的诱惑，而且这样做无需承担任何后果。
- 这可能导致我们错失真正美好的未来。 AI驱动的权力集中或许不会演变为最恶劣的暴政：我们最终或许会迎来一位仁慈的独裁者，或是一个开明的掌权阶层来关照我们其余的人。但即便如此，未来仍可能远不如本可以达到的那样美好，因为将会存在：
- 不公与权力剥夺。 人工智能赋能的权力集中将使绝大多数人丧失政治权力。从某些哲学视角来看v，正义与政治赋权具有内在价值，因此这将使未来的美好程度大打折扣。
- 价值观与生活方式的多样性减少。 掌权的人越少，意味着未来能得到体现的价值观与偏好就越狭隘。同样，从许多视角来看，这种多样性本身就具有内在价值。
- 道德反思可能减少。 为未来做出明智决策，可能需要我们深刻思考自己珍视什么，以及对他人负有何种责任。如果对未来的控制权是分散的，很可能至少会有一部分人选择这样进行反思——这也会带来更多的分歧与尝试，从而促使其他人也去反思。但如果权力极度集中，掌权者可能根本不加质疑就强加其现有的世界观。这可能会导致不可逆转的错误：试想如果维多利亚时代或古罗马人的道德盲区成为了永久策略。如果掌权者碰巧在意探究何为正确，权力集中也可能比在默认世界中催生出更多的道德反思——但它将局限于狭隘的经验与视角之中，并且可能错失更广泛的人类对话中涌现的重要洞见。
由AI驱动的极端权力集中也可能难以逆转，使得由此产生的任何危害都极其持久。一如既往，掌权者必将竭力维系其权力。但AI可能会让他们能够以史无前例的、极其持久的方式实现这一点：
- 即使多数人反对由AI驱动的政权，他们推翻该政权的力量可能还不如历史上被剥夺权利的群体。如果所有的经济与军事活动都实现了自动化，人类将不再有可以作为筹码的宝贵劳动力，也不再有可以施展的强制力量，因此罢工与起义将毫无威力。
- 人类独裁者终将逝去，但由AI系统运作的政府，却可能将独裁者或其他人类领导者的价值观永久地延续至未来。
- 若权力集中到只剩下一个全球霸权的地步，那么该政权将不再面临任何外部威胁。w
这些危害需要与 AI 驱动的权力集中所带来的潜在益处（例如缓解竞争态势）进行权衡。虽然我们尚不确定这一切最终将如何演变，但直觉与上述分析均表明：AI 驱动的权力集中会对人类繁荣构成严重风险，我们应当竭力避免。
虽有方法能降低这种风险，但极少有人致力于此
许多人正致力于防范较为温和的权力集中。广义而言，政府、法律体系以及学术界和公民社会的许多领域所开展的大量工作，都在为此做出贡献。
然而，极少有人关注由AI驱动的极端权力集中风险——尽管如果上述论点成立，这将是一个非常严重的风险。据我们所知，只有少数几家机构的几十人正致力于降低这一风险，而全职从事这项工作的人更是少之又少。截至2025年9月，据我们所知，针对AI驱动的权力集中问题，唯一的公开资助项目是一项400万美元的资助计划（尽管私下还有更多的可用资金）。
尽管事实上，我们现在就可以采取一些具体措施来降低这种风险。例如，我们可以：
- 研发技术解决方案来防止人们滥用大规模AI劳动力，例如：
- 训练AI遵守法律
- 红队测试模型规范（即规定AI系统应如何表现及其在训练中需遵循的文档），以确保经过训练的AI不会协助争夺权力
- 审计模型以检测隐秘忠诚度
- 加强实验室信息安全，防止开发流程遭到篡改和未经授权的访问，从而使植入隐秘忠诚度或滥用AI系统变得更加困难x
- 制定并倡导分散AI权力的策略，例如：
- 设计实验室与政府间的合同条款，确保没有任何单一主体拥有过大的影响力
- 共享顶尖AI能力——在安全的情况下广泛开放；在不安全的情况下，则与国会及审计机构等多个可信主体共享，从而确保没有任何单一主体拥有远超其他人的强大能力
- 在美国以外的民主国家建设数据中心，将运行AI系统的权力分散给更多主体
- 强制要求对AI能力、其使用方式、模型规范、安全保障及风险评估保持透明度，以便更容易识别令人担忧的行为
- 引入更完善的吹哨人保护机制，使内部人员更难串谋，或使公司高管更难压制员工的担忧
- 上述所有技术解决方案
- 构建并部署AI工具，提升人们的推理与协作能力，使其能够抵御认知干扰
需要明确的是，关于如何防止AI驱动的权力集中，目前的探索仍处于非常早期的阶段。当前致力于此的人员未必都支持列表中的所有干预措施，而且即便我们实施了全部措施，也不清楚究竟能在多大程度上解决问题。推动AI驱动的权力集中的结构性力量可能过于强大而难以遏制。
但权力极度集中的局面似乎绝非必然：
- 阻止AI促成的权力集中符合几乎所有人的利益——包括当今大多数权势人物的利益，因为如果他们在竞争中落败，将会蒙受巨大的损失。
- 令人充满希望的是，尽管关于如何解决这一问题的思考仍处于极早期阶段，我们已经能够列出一些具体的、有望实现的干预措施。
这一领域还有大量工作要做，而目前参与其中的人手却远远不够。
反对致力于解决这一问题的主要论点有哪些？
我们在本文的其他部分已经提及过这些论点，但在这里将它们集中起来，以便更清晰地看出“主张优先关注AI造成的权力集中问题”的论点中最薄弱的环节是什么，并进行更深入的探讨。
AI造成的权力集中可能会降低AI的其他风险
某些形式的权力集中可能会降低AI带来的其他各种风险：
- 如果AI开发领域没有竞争，唯一的AI开发者就不会面临因竞争压力而在安全性上偷工减料的情况，这可能会降低AI接管的风险。这些竞争压力正是人们担心AI公司在未采取充分的AI安全预防措施的情况下就盲目竞相发展的主要原因。
- 如果权力完全集中在一个国家，大国战争的风险就会随之消失。
- 若仅有一个主体能获取危险能力，生物武器和其他危险技术发生灾难性滥用的风险将大幅降低。AI可能使生物武器等极端危险技术的获取途径普及化，这正是引发滥用担忧的主要原因之一。
话虽如此：
- 管理这些风险还有其他途径。我们并非只能在接受仁慈的独裁与遭受其他 AI 风险 带来的生存性灾难之间二选一。将国内监管、国际协调、对齐与控制方面的技术进展，以及用于保障认知安全的AI工具结合起来，将足以让我们应对所有这些风险。
- AI驱动的权力集中前景，可能还会加剧其他AI 风险。设想一个权力已然高度集中的世界是一回事。但通往该世界的过程可能会极大地推高竞争的利害关系，并促使强大的行为体为避免淘汰，更愿意进行冒险押注并采取对抗性行动。
- 许多减少AI驱动的权力集中的干预措施，也有助于降低其他风险。 实践中并非总是存在权衡取舍。例如，对齐审计通过让人类和AI都更难篡改AI系统的目标，有助于同时降低权力集中和AI接管的风险。更广泛地共享能力既能缩小权力差距，又能让社会防御性地部署AI：如果我们能充分保障AI模型的安全，这便不必增加灾难性滥用的风险。
权衡这些风险相当复杂，我们并非否认其中存在权衡取舍。目前我们认为，AI驱动的权力集中对其他AI风险的净影响究竟是有益还是有害，尚不明确。鉴于权力集中本身就是一个重要且被忽视的问题，我们认为它仍然非常值得投入精力去解决。（但我们鼓励那些致力于应对AI驱动的权力集中问题的人们牢记，他们的行动可能会影响这些其他问题，并应努力避免使其恶化。）
即使存在AI驱动的权力集中，未来依然可能一切安好
基于我们在前文探讨的原因，我们认为极端的权力集中很可能会带来糟糕的后果。但即使你认同这一点，仍有一些理由让人相信，在某些指标上，一个存在AI驱动的权力集中的未来依然可能一切安好：
- 物质 丰裕：AI可能创造极其巨大的财富，使得大多数人的物质生活条件远远好于当今最富有的人。在一个存在AI驱动的权力集中的世界里，人们在政治上将被剥夺权力，但只要当权者允许，他们在物质上依然可以十分富足。
- 减少压迫与暴行的动机：专制政权压制民众的部分原因在于统治者试图巩固自身权力。如果权力集中到足以确保领导人永久掌权的地步，那么限制言论自由或对异见者施以酷刑等行为将不再具备理性动机（但出于怨恨或狂热意识形态等非理性动机依然会存在）。
- 选择效应：尽管也许不太可能，但最终掌权的人确实有可能真心希望改善世界。或许登上如此权力高位会筛选出能力极其出众的人，又或者他们只是勉强掌权，因为当时人们正竞相开发不安全的AI，而权力集中似乎成了两害相权取其轻的选择。
我们要再次强调，虽然我们并不觉得这些论点特别有说服力，但认为它们具有足够的合理性，值得予以考量与权衡。
减少AI驱动的权力集中的努力可能适得其反
AI驱动的权力集中是一个敏感议题，防范它的努力极易适得其反。AI驱动的权力集中的风险越是凸显，就越容易引起追求权力的行为体的注意。致力于减少AI的权力集中可能会：
- 激起有望从权力集中获益的人对干预措施的反对。
- 通过生成并公开关于小群体如何最终获得大量权力的信息，直接为追求权力的行动者提供思路。
- 引发对权力的争夺。如果大家都认为其他人正试图巩固权力，他们可能更倾向于为自己夺取权力，以此先发制人。
某些干预措施也可能降低某个主体最终获得过多权力的概率，但代价是增加了另一个主体获取过多权力的概率。例如，加强政府对 AI 企业的监督可能会使企业夺取权力变得更加困难，但同时也会让政府官员更容易策划夺权。
我们确实认为，防范 AI 引发的权力集中有些像踏入雷区，这也是为什么我们认为，目前大多数人应该保持风险意识，而不是直接投身其中。但也有一些方法可以降低这项工作适得其反的风险，例如：
- 谨慎行事，警惕适得其反的风险。如果你觉得自己在这类事情上判断力不足（或者身边没有判断力较好的人能为你提供反馈），最好还是去做些别的事情。
- 使用对抗性较弱的框架与措辞。例如，在设定框架时，“权力攫取”听起来就比“权力集中”更具挑衅意味。
- 专注于寻求权力的行为体难以滥用的工作类型。例如，相比于详细的威胁建模，开发和实施透明度措施或对齐审计等缓解措施，更难以被寻求权力的行为体利用。
权力可能默认保持分散
我们在前文论证了权力可能会极度集中。但这并非不可避免，相关论点最终也可能被证明是错误的。例如：
- AI 能力或许根本达不到如此强大的程度。也许像说服力或 AI 研发等关键能力的上限相当低，导致 AI 的变革性影响在各个领域全面受限。
- 其中一种尤为重要的可能是：自动化 AI 研发带来的自我强化可能较弱，在此情况下，可能不会出现智能爆炸或仅引发小规模爆发。这意味着任何单一的 AI 开发者都无法在能力上获得并保持对其他开发者的巨大领先优势。
- 默认的监管响应（以及美国等地的制度设置）或许足以重新分配自动化带来的收益，并防止大规模 AI 劳动力被滥用。当今掌握权力者——在民主国家包括选民、公民社会和媒体——若能看清事态发展，必将竭力抵御新势力以维护自身权力，而多数人都将因 AI 引发的权力集中而蒙受损失。
- 若人们担忧AI未对齐，即它无法可靠地实现用户或制造者期望的目标，这既可能削弱AI的经济影响（因为部署会减少），也可能降低寻求权力者利用AI夺权的意愿（因为AI可能会反噬他们）。
我们认为，权力极度集中的概率已经高到足以令人非常担忧。但我们也认同，这种情况远非必然。
阻止AI驱动的权力集中可能过于困难
另一方面，致力于解决AI驱动的权力集中问题或许并不值得，因为它太难遏制了：
- 推动AI驱动的权力集中的结构性力量可能极其强大。例如，如果发生巨大的智能爆炸，使得某个AI开发者独占神级的AI能力，那么接下来的事态发展可以说将完全由其自行决定。
- 大多数可能从AI驱动的权力集中获益的行动者本身就已经非常强大。他们可能会反对缓解风险的努力，混淆视听，并干扰他人协调对抗权力集中的能力。
话虽如此，我们认为现在还不应放弃：
- 我们尚不知道结构性动态将如何演变。我们或许正处于一个极有可能限制权力集中的世界。
- 防止AI驱动的权力集中符合几乎所有人的利益——包括当今大多数当权者的利益，因为如果一小群人获得了对大多数重要决策的控制权，他们中的大多数都将蒙受损失。我们或许可以通过协调来防止权力集中，并使背叛的代价变得极其高昂。
- 目前已经有一些干预措施在防止 AI驱动的权力集中方面展现出良好前景（详见上文）。如果该领域能获得更多关注，我们很可能会找到更多对策。
你能做些什么？
由于迄今为止关于防止 AI 驱动的极端权力集中的专项工作寥寥无几，我们尚无足够把握去引导大量人员参与某些干预措施。此外，直接致力于解决这一问题的工作岗位无疑更是少之又少！
目前我们对多数人的主要建议是：
- 时刻牢记AI驱动的权力集中风险。 如果理性人士能意识到这一风险并致力于防范，我们就更有可能避免AI导致的权力集中。如果您在AI公司工作，或从事AI治理与AI安全领域的工作，这一点尤为重要：策略或新技术往往会对权力集中产生连锁效应，意识到这一点，您或许就能避免在无意中加剧该风险。
- 保持敏锐，意识到降低此风险的努力可能会适得其反或增加其他风险。
此外还有一些很有前景的早期议程，我们认为一些人现在就可以开始在此开展有益的工作。我们非常期待看到更多人致力于以下方面：
- 守法的AI。训练AI系统遵守法律及其他约束，将使利用AI系统夺权变得更加困难。Law-following AI: Designing AI agents to obey human laws是关于该主题的核心论文，其中包含了一份供进一步研究的议程。y
- 对齐审计与防止篡改的系统完整性。 这将使恶意行为者更难植入秘密的忠诚机制，或以其他方式滥用AI系统来攫取权力。IFP关于防范AI潜伏智能体的简报提供了一份概述；这篇关于AI驱动的政变的论文中提供了另一份概述。
- 开发提升人类推理与协作能力的AI工具。此类工具可帮助人们理解权力集中的动态，并协同维护自身利益。AI tools for existential security对此领域进行了综述，我们关于AI增强决策的文章也有涉及（但提出了更多注意事项）。更多构想参见此处与此处，生命未来基金会近期还举办了关于AI辅助人类推理的研究员项目。
- 制定并倡导分散AI权力的策略。该议题的范围不如上述议程明确，但可涵盖旨在更广泛地共享AI能力与算力、提高AI能力及其使用的透明度以及提供吹哨人保护的策略。
欲了解更多思路，您可以参阅探讨AI驱动的政变、渐进式权力削弱以及智能诅咒等论文中的风险缓解章节；另可参考关于渐进式权力削弱项目的这些清单。该领域仍处于非常早期的阶段，因此目前的重点可能仅仅是关注在这一领域开展工作的组织和研究人员aa，并寻找参与的机会。
了解更多
AI驱动的权力集中问题
- 权力夺取：
- AI-enabled coups: How a small group could use AI to seize power，作者：汤姆·戴维森、卢卡斯·芬维登和罗斯·哈德沙尔
- 播客：Tom Davidson on how AI-enabled coups could allow a tiny group to seize power
- How an AI company CEO could quietly take over the world，作者：亚历克斯·卡斯特纳
- Secretly loyal AIs: Threat vectors and mitigation strategies，作者：戴夫·班纳吉
- 经济主导权：
- The Intelligence Curse，作者：卢克·德拉戈与鲁道夫·莱恩
- Could one country outgrow the rest of the world after AGI?，作者：汤姆·戴维森
- Error: no children passed to this tooltip，作者：扬·库尔维特等人（以及我们的摘要和对大卫·杜维诺的访谈）
- AGI, governments, and free societies，作者：Justin Bullock 等人
AI 驱动的权力集中可能带来多大危害
- AGI and lock-in，作者：Lukas Finnveden、Jess Riedel 和 Carl Shulman
- 我们的问题剖析：稳定极权主义
- Reducing long-term risks from malevolent actors，作者：David Althaus 和 Tobias Baumann
- Human takeover might be worse than AI takeover，作者：Tom Davidson
针对AI驱动的权力集中的若干缓解措施
- Law-following AI: Designing AI agents to obey human laws，作者：卡伦·奥基夫等人
- Auditing language models for hidden objectives，作者：塞缪尔·马克斯等人
- AI tools for existential security，作者Lizka Vaintrob与Owen Cotton-Barratt，或我们撰写的类似文章AI增强决策，该文涵盖了大部分相同的内容，但更深入地探讨了对在这一领域开展工作的反对意见
- 关于AI驱动政变、渐进式权力削弱以及智能诅咒等主题论文中的缓解措施部分
- Gradual disempowerment: Concrete research projects，作者Raymond Douglas
- The best approaches for mitigating “the intelligence curse” (or gradual disempowerment)，瑞安·格林布拉特 著