利用AI提升人类社会的决策质量
摘要
AGI 的到来可能”将一个世纪的进步浓缩于十年之内”，人类可能将被迫做出许多高风险的决策——可与此同时，留给我们做出正确决策的时间也更少了。
但AI的发展也带来了机遇：我们可以构建并部署AI工具，帮助我们更清晰地思考、更明智地行动、更有效地协调。如果我们能足够迅速地开发出这些决策工具，人类就能做更充分的准备，去应对即将到来的关键时期。
我们非常期待看到更多人致力于加速这些工具的开发与应用。我们认为，对于合适的人选而言，这条职业道路将产生极其深远的影响。
话虽如此，这并非一个成熟的领域。究竟哪些工作真正最有用，目前还存在显著的不确定性，且参与其中也伴随着潜在的负面风险。
因此，我们推测，在现阶段，如果能有几百名深思熟虑且富有开拓精神的人致力于利用AI来改善社会的集体决策，那将非常理想。如果该领域被证明大有可为，他们就能为日后更多人的参与铺平道路。
我们的总体观点
有时推荐
我们非常希望看到更多人致力于解决这一问题。不过，如果您选择专注于我们的最高优先级问题领域之一，或许能发挥更大的作用。
文章深度
中等深度。甲
为何推进AI决策工具可能意义重大
人类常常犯下重大错误。
数十年来，我们的各类机构无视气候科学家的呼吁，对新冠疫情的早期预警应对不力，并仓促卷入了无数场后来令各方都追悔莫及的战争。有时，我们的实际决策与事后看来显而易见的必要举措之间，差距之大令人震惊。
为何这种情况屡屡发生？有时是我们误解了事实，或未能预见前方的挑战。另一些时候，我们虽知问题存在，却未能采取充分行动或协调应对。乙
我们正在快速开发可能彻底改变社会方方面面的先进 AI 系统，这使得做出明智决策变得更为关键。不久之后，我们可能需要应对：
- 一大批能力极强的全新智能体，其目标和利益可能与人类不同
- 彻底重塑的劳动力市场，其中， AI 系统（而非人类！）将驱动大部分甚至全部的经济发展
- AI 开发新的先进技术——包括武器——的速度快于我们研究其风险的速度
- 围绕由谁控制先进 AI 或享有其利益而引发的社会及地缘政治紧张局势，且可能升级为冲突
先进的AI系统还可能以远超人类的速度迭代创意和生产力，甚至可能将一个世纪的进步浓缩至十年——这意味着曾经需要数年时间来推进的决策，可能需要在短短数月内做出。
因此，犯错的可能性很高。正如我们在其他文章中所论述的，这可能关乎人类文明的生存性风险。
若想顺利度过这一时期，我们需要比以往更清晰地思考、更明智地行动，以及更有效地协调。这绝非易事。
AI工具或能助我们做出更明智的决策
先进AI的发展既可能使决策变得更加艰难，也可能使人类未来的决策更加利害攸关。但AI并非铁板一块，并且——这或许有悖直觉——我们认为某些AI工具实际上可以成为解决方案的一部分。
AI系统具备人类无法企及的能力——它们能吸收远超人类的信息量，以极高的速度进行处理，并通过数百万次重复练习同一任务来提升表现。
它们已在围棋等策略游戏中击败了顶尖人类选手，如今在复杂的推理和问题求解任务中也有令人瞩目的表现。如果你曾使用过OpenAI和Google DeepMind等AI公司的“深度研究”工具，就会知道，当前的模型能够将海量信息转化为连贯的结论，其处理速度甚至远超最顶尖的人类大脑。
鉴于此，我们认为，能够大幅提升人类决策水平的AI工具已近在咫尺——其中一些甚至利用当今技术即可构建。
其中两类工具似乎尤具前景：丙
- 认知工具，帮助我们理解什么是真实的以及什么可能发生。例如：
- 协调工具，旨在帮助群体协同合作并做出更优的集体决策，即便各方存在利益冲突。例如：
我们认为这些应用针对的是人类决策中最常见的一些缺陷。我们常因虚假信息而误入歧途，对事态发展做出错误预测，或因无法合作而未能阻止谁都不愿看到的后果。
这些应用的另一个优点在于，总体而言，它们似乎更有利于促成好的结果而非坏的结果。作为一条经验法则，赋予人们更好地理解世界并相互协作的能力，通常是对人类有益的——至少当人们普遍心怀善意的时候。戊
当然，这一假设并非总是成立。我们确实认为存在一定的风险，即人们甚至可能会蓄意利用这些AI工具来造成伤害——我们将在后文中探讨这种可能性。
我们或许能够差异化地加快AI决策工具的推广
目前，仅有少数项目在开发上文提到的这类AI工具——与投入数十亿资金开发能力更广泛的 AI 智能体相比，这不过是沧海一粟。
此外，在社会具备开发某款产品的能力与该产品实际被开发出来并成功推广之间，往往存在时间差。以新冠疫苗为例：尽管这些疫苗所用的底层mRNA技术早在2000年代中期就已得到验证，但它们直到2020年底才真正面世——此时疫情已持续了近一年。
这揭示了一个机遇：我们或许能够加速AI决策工具的开发与应用，这意味着人类社会能更快从中获益。即便是微小的提速也可能产生重大影响——例如，仅仅提前几个月获得先进的验证工具，就意味着关键的安全性承诺能在我们开发出危险的AI系统之前敲定，而不是姗姗来迟、于事无补。
我们在此指出的是一种”差异化技术发展”：通过影响不同技术的出现顺序来让世界变得更安全。在这种情况下的核心思路是，加速开发某些能促进安全性的AI能力，使其在我们不得不应对其他风险更高的AI能力之前就已可用。己
鉴于目前在这个方向上的项目寥寥无几，依然有大量低垂的成果可以摘取。在后文中，我们将介绍一些我们认为可能有用的工作。
反对致力于推进人工智能决策工具的论点有哪些？
尽管如此，我们认为在决定是否投身这一领域时，人们确实应该认真考虑一些反对意见。
“无论如何，这些技术可能自然而然就会被开发出来。”
大型人工智能公司正竞相开发擅长各类复杂推理的模型——而且它们进展迅速。与此同时，为特定且具有商业价值的任务开发人工智能产品的市场激励正日益增强，其中可能就包括上述的部分应用。
因此，无论如何，AI决策工具都可能会被那些想要赚钱的人开发出来——这意味着，对于希望通过职业生涯造福社会的人来说，把时间花在这上面可能并不划算。为何不干脆静待其成，将时间用于其他事务呢？
这种观点在某种程度上确实有道理。通常而言，专注于那些已具备商业激励的领域，很可能会降低你工作的反事实影响。
但我们认为，你仍有办法在此产生有意义的影响——特别是在决定推进哪个项目时，着眼于市场空白。
首先，你的工作仍能帮助社会比原本更早地享受到这些工具带来的益处。
你或许能直接加速这一进程（例如，抢在其他人之前成功开发出特定工具）。而且，即使你的工作被其他项目赶超，它仍可能产生累积效应，从而加速未来工具的问世。例如，如果它吸引了更多投资或积累了相关知识，你的项目就能帮助他人更快地达成某个里程碑——进而促使下一个里程碑提前实现，以此类推。
正如我们所说，哪怕是微小的提速，在这方面也可能产生巨大的影响。
重要的是，尽管我们认为前沿模型最终将在认知和协调任务上表现卓越，但仅仅等待优秀的决策工具问世，可能意味着要等到 AGI 降临时才能拥有这些工具。到那时，再想利用它们来避免灾难恐怕已为时过晚。
其次，你或许可以专注于那些市场激励较弱的产品。
例如，虽然先进的AI预测工具可能顺理成章地被开发出来用于金融交易等有利可图的用途，但要开发擅长预测其他事物的AI系统，或是构建用于伦理推理的复杂工具，其面临的商业压力就要小得多。庚
“这难道不会让危险的AI能力更快到来，而我们本应放缓这一进程吗？”
加速这些工具的研发，可能也会在更广泛的层面上增加AI研发领域的知识积累、市场炒作和资金投入。这可能会使AGI更早到来，从而缩短我们的准备时间。
你的工作也可能增强某些危险的能力。例如，我们认为在规划/计划能力方面表现卓越的AI系统存在削弱人类权力的风险——而开发出擅长预测的系统，可能会大幅提升AI的规划/计划能力，从而带来危险。
我们已经在其他文章中探讨过这些担忧，关于这个话题还有很多可说的。但在当前语境下，需要记住的是：
- 尽管该领域的项目可能在某种程度上助长了AI的炒作，但与已经投入到AGI建设中的数十亿美元相比，这些影响恐怕微不足道。相比之下，你可能对人类做出明智决策的能力产生巨大的影响。
- 你或许能够（且理应尝试）聚焦于那些不会直接助长危险能力发展的低风险应用。例如，开发 AI 事实核查工具显然比开发增强AI战略规划/计划能力的工具要安全得多。
- 如果这些工具能切实提升我们应对全球重大挑战的能力，那么即使危险的 AI 能力因此提前实现，从整体来看仍可能是值得的。
旨在延缓危险技术进展的干预措施也大有可为——无论是通过法规，允许企业在不承担单方面放缓成本的前提下、更多推进安全性工作，还是甚至发起运动以彻底暂停前沿 AI 的开发。但与此同时，加速促进安全性技术的进展也完全可以同步进行。这或许也更容易实现：放缓进展需要官员或企业达成共识，而开发新工具只需自行决定，无需共识。而且你面临的阻力可能更小，因为你的策略既不意味着放弃或延迟未来 AI 带来的益处，也不会威胁到大企业的利润底线。
“人们可能会以危险的方式使用这些工具。”
与许多技术一样，用于认知与协调的AI工具也可能被用来造成伤害。
毕竟，更好地理解世界并与他人协调，通常会让你更善于实现自己的目标。而且由于人们有时会抱有伤害他人的目标，这些工具有时也会帮助人们更有效地做坏事。
例如，能够接触到增强自身谈判或预测能力工具的群体，可能会利用这些工具，相对于缺乏此类工具的人不正当地获取战略优势。在极端情况下，这甚至可能促成危险的权力夺取。
我们推测，真正怀有恶意的行为者其实并不常见。辛 总体而言，大多数有害的决策并非源于人们真的想要造成伤害，而是因为我们误解了局势、未能意识到自身行动可能带来的后果，或是未能找到对所有相关方代价更小的解决方案——这些缺陷正是AI决策工具能够帮助我们克服的。
正如我们之前所言：这里有一个普遍的常识性经验法则，那就是赋予人类更好地理解世界和协调行动的能力，对人类而言通常是一件好事。
因此，我们推测，总体而言，人工智能决策工具帮助我们预防不良结果的次数将多于助长不良结果的次数。这也是我们对这些工具普遍充满期待的关键原因之一。
但这只是一种概括，并不适用于你可能创造的每一款人工智能决策工具。壬 因此，如果你正在决定是否开发或推广某项新工具，你应当将其具体的滥用风险纳入考量——并评估它实际上是否更容易被用于有害目的而非有益目的。这些都是棘手的问题，所以在尝试解答时，你应该寻求帮助。
这里最极端的风险——例如为攫取权力提供便利的可能性——也突显了让人工智能决策工具掌握在足够多人手中的重要性。在默认情况下，最有权势的群体总是比其他人能获得更先进的技术。但如果我们能让决策工具广泛普及，并赋能关键机构去使用它们，就能防止任何单一群体获得凌驾于他人之上的危险优势。
我们可能需要付出专注的努力来实现这一点——因此，如果你决定投身于此，我们鼓励你付出这份专注的努力。
那么，你应该投身于此吗？
归根结底：情况很复杂，但如果你适合，投身于此将大有可为。我们鼓励所有感兴趣的人去探索这是否适合自己——例如，申请与我们的顾问交流。
基于上述原因，该领域的一些工作似乎最终会收效甚微——有些甚至可能产生负面影响。
若能优先考虑符合以下特征的AI决策项目，你将更有可能避开这些陷阱：
- 市场激励不足
- 不太可能推动其他危险的AI能力的开发
- 在有益用途上的效用大于有害用途，或者对滥用具有更强的鲁棒性
但以此为基础决定该推进哪些项目，说起来容易做起来难。而且由于该领域的具体就业机会不多，与解决许多其他紧迫问题相比，在此领域工作可能也需要采取更具创业精神的方式。
因此总体而言，我们认为无法像推荐那些更成熟的领域那样，广泛地推荐这项工作，因为在那些成熟领域中，实现影响的路径已经过更充分的验证，规划也更加清晰。
尽管如此，我们认为致力于推进AI决策工具的发展，对于合适的人选来说可能会产生巨大的影响。如果你特别擅长应对不确定性，具备创业心态，并且对确定项目优先级有极强的判断力，那么这或许非常适合你。现阶段，我们期待看到能再有几百人投身于这一领域。
如果你有兴趣成为其中一员，我们建议你先建立AI安全领域的人脉网络，并寻找那些能够帮助你深入思考具体项目构想的人。
还值得注意的是，一些研究人员——比如这篇来自 Forethought 的文章的作者——对于有更多人投身这一领域比我们更为乐观。因此，我们可能低估了这一点！
无论如何，我们也建议大家及时关注不断演变的 AI 挑战格局，并做好准备，以便在其他需求变得更为紧迫时及时调整方向。
如何在这一领域开展工作
对于希望加速人工智能决策工具开发与普及的人士，以下是我们整理的首要建议。
参与开发人工智能决策工具
最直接的途径是进入直接开发这些工具的机构工作。您可以在下方的招聘看板中找到正在招聘的相关机构与研究项目。不过，由于该领域目前规模较小，您也可以考虑创办自己的项目。
无论选择哪种方式，都有大量工作要做——不仅包括核心工程工作，还包括制作演示、争取利益相关者的支持、设计吸引决策者的用户界面、开展市场调研以根据用户需求定制产品，以及确保项目高效运行。
这意味着你无需成为技术专家即可加入或创办此类项目：这些项目同样需要优秀的运营人员、产品经理等人才。
Jungwon
Jungwon曾在金融服务行业工作多年，随后对高级AI的变革潜力——及其风险——产生了兴趣。她意识到，自己能产生最大影响的途径或许在于利用AI来增强人类的知识与决策能力。2019年，她联合创立了Ought：一家致力于大规模提升优质推理能力的研究实验室。同年，她接触到了80,000 Hours的网站和播客，这帮助她迅速加深了对AI安全和生存性风险的理解。
Jungwon目前担任Elicit的首席运营官，这是一款由Ought推出、后来分拆为公益主体的AI研究工具。她已帮助数百万研究人员更有效地理解世界并进行推理。
补充性工作
您还可以通过其他方式支持这些工作，而无需直接参与工具的开发。例如，您可以：
- 衡量并引导这些有益的能力：
- 为最有助于决策的AI能力设计基准测试或评估。
- 致力于支持性技术与基础设施建设：
- 开发有助于消除采用障碍的配套技术——例如，解决用户的隐私或安全性顾虑。
- 整理并管理可用于训练专门的AI决策工具的数据集——例如，有关过去在预测或谈判中失误的数据，或是来自专门的决策工具可能大有裨益的领域的高质量研究笔记。
- 创建基础设施——例如在线数据库或目录——以帮助人们共享资源并就项目开展协作。
- 协助实施：
- 协助将这些工具整合到关键机构的现有决策过程中，包括培训利益相关者如何使用它们。
为未来提供帮助做好准备
如果你目前无法参与上述任何工作——或者只是觉得这并非当下的最佳选择——你依然可以通过以下方式为未来提供帮助做好准备：
- 在任何（无害的）公司工作或创办公司（尤其是科技公司），从而学习并实践创立项目的技能——或者参考我们的创始人档案中列出的积累职业资本的步骤。
- 在这些 AI 工具可能产生重大影响的领域培养专业技能，例如预测或外交。
- 加入可能从 AI 决策工具中获益良多的关键机构（如政府部门或国际组织）——并在任职期间紧跟技术的发展，以便日后协助推动这些工具的整合。
有哪些机会？
该领域目前规模尚小，但我们的招聘板块提供了一些相关机会——包括职位空缺、资金支持和奖学金。
了解更多
- AI tools for existential security 由 Forethought 发布，及其 附录
- Design sketches for a more sensible world，由 Forethought 撰写的系列文章
- What’s important in “AI for epistemics”? 作者：Lukas Finnveden
- The most interesting startup idea I’ve seen recently: AI for epistemics 作者：Ben Todd
- Security without dystopia: Structured transparency 作者：Eric Drexler
- Open problems in cooperative AI 作者：Allan Dafoe、Edward Hughes、Yoram Bachrach、Tantum Collins、Kevin R. McKee、Joel Z. Leibo、Kate Larson 和 Thore Graepel
关于具体的项目构想，我们推荐 Lukas Finnveden 的AI“认识论”项目构想列表，以及 Forethought “设计草图”系列（见上文链接）中重点介绍的选项。我们还认为生命未来基金会（Future of Life Foundation）研究员项目页面上列出的示例非常出色，不过该项目的申请现已截止。
您还可以阅读我们关于改善关键机构决策的相关文章。该文最初发表于2017年，即生成式AI兴起之前——因此它虽未专门探讨 AI 工具，但为改善社会决策提出了更广泛的论证。
致谢
本文大量参考了 Forethought 的文章《保障生存安全性的AI工具》。
衷心感谢 Arden Koehler、Lizka Vaintrob、Niel Bowerman、Max Dalton 和 Rose Hadshar 提供的宝贵意见。