宏观策略研究
摘要
简而言之:
对于人类面临的最大威胁是什么、未来几十年哪些工作最为重要,甚至“一切顺利”究竟会是什么样,我们都还有许多尚未解答的问题。宏观策略研究人员正试图解答此类重大问题,探索这些崭新且充满不确定性的领域。
我们对聚焦人工智能未来的宏观策略研究感到尤为兴奋。如果没有此类工作,我们将极易无法预见先进人工智能发展所引发的严重问题,也会错失在拥有变革性技术的世界中实现繁荣的机会。
优势:
- 真正有机会帮助塑造人类的长期发展轨迹
- 极其有趣且富有创造性的工作,处于当今一些最棘手问题的前沿
- 极度受忽视:全球可能仅有数十名专职研究人员,因此额外的投入将产生深远影响
缺点:
- 相关机构和岗位极少
- 难以确信自己取得了进展,因为结论往往无法在现实中得到验证
- 与(例如)AI治理或技术AI安全研究等职业相比,对决策者的直接影响力可能较小
关于适配性的关键事实:
你需要擅长开展原创性研究,能够从容应对错综复杂且定义模糊的问题,并能独立推动研究取得进展——这通常是在缺乏明确框架或既定方法的情况下进行的。出色的写作能力同样必不可少。最优秀的候选人往往富有创造力、分析敏锐,且擅长在不确定性中进行推理。
如果您希望从事聚焦于AGI未来的宏观策略研究,那么您还需要对AI及其发展动态有深刻的理解。
过往的研究经验将大有裨益。但即使您之前担任过研究职位,我们也建议您在求职前,先评估一下自己是否适合这种类型的研究——请参阅下文的建议。
推荐
如果你非常适合这一职业,这或许是你发挥社会影响力的最佳途径。
评估状态
基于深入的调查。甲
什么是宏观策略研究,为何要从事这项工作?
我们的网站涵盖了世界上许多最重大的挑战——但这并非全貌。这是因为:
- 从现实来看,我们不可能已经发现了人类即将面临的所有重要问题或机遇。
- 对于我们已经识别出的问题,我们可能也未能以最佳方式进行优先级排序。毕竟,对各项问题进行排序需要对一些高度不确定的议题做出判断。
- 作为一个社会,我们对真正美好的未来究竟是什么样还没有具体的图景——甚至在如何评估不同结果的优劣上也未能达成共识。因此,我们并不确切知道自己究竟该以何为目标。
一些研究者正试图通过探索新议题、提出优先事项,并构建关于我们应追求怎样的未来的理论,来填补这些空白。这一系列松散关联的努力就是我们所称的“宏观策略研究”——尽管(遗憾的是!)目前尚无统一的术语来指代它。
先进人工智能将以前所未有的方式改变世界,且可能以极快的速度实现的前景,意味着“宏观策略研究者”可能会产生非同寻常的巨大影响。他们的工作有助于我们预判未来人工智能系统带来的严重威胁,并避免错失在人工智能时代蓬勃发展的机遇——或许还能塑造未来所有世代的生活图景。
如今,一位宏观策略研究者可能会专注于:
- 勾勒人类的关键时期(如智能爆炸)可能会如何展开——AI Futures Project 在这一方向上已开展了大量工作。
- 探寻那些可能对世界产生重大影响,却被忽视或刚刚涌现的挑战(例如智能诅咒,以及如果文明向太空扩张,应如何管理资源)。
- 论证应如何优先处理那些已确定的、最重要的社会问题(例如尼克·博斯特罗姆那篇颇具影响力的2013年论文,该文主张我们应优先关注涉及人类文明的生存性风险的问题)。
- 探索对文明而言“发展顺利”或“发展不顺”可能意味着什么——包括判断发展有多“顺利”的正确道德理论是什么,如果我们试图让未来变得更好,避免不良结果是否真的应该成为我们的重点,以及一个“好”或“坏”的世界具体可能具备哪些特征。
- 发掘引导我们迈向繁荣世界所需的新工具与概念(例如非因果交易的理念,或针对数字生命的全新治理结构)。
这些研究均开拓了崭新且充满不确定性的疆域,通常距离那些可立即应用于政策或付诸行动的理念尚有数步之遥。这意味着它们往往需要更宏观、跨学科的战略性思维——以及直面未知的意愿。
显然,宏观策略研究的覆盖面非常广泛。(它甚至与传统上所谓的“全球优先事项研究”有显著重叠。)但我们最期待看到的是人们开展与人工智能未来相关的宏观策略研究。乙 我们所知的最鲜明的例子是Forethought正在开展的工作(该研究团队致力于应对“爆发式”AI进步所带来的全方位挑战)。
事实上,如果不将部分注意力投入到人工智能领域,开展严肃的宏观策略研究正变得越来越困难。人工智能未来的发展轨迹——它将如何被开发与应用,以及随之而来的风险与机遇——可能会决定上述任何问题的答案。
为何从事宏观策略研究?
有几个理由让人相信,如果你很适合这项工作,将职业生涯投入到宏观策略研究中会是一个很好的选择:
- 它有着产生影响力的切实记录。 事实上,对于许多我们视为最紧迫的全球性问题,若非研究人员五到十年前就着手探索那些当时被认为与政策无直接关联的宏观问题,人们可能根本不会去思考。(当时我们称这项工作为“全球优先事项研究”。)例如:丙
- 人工智能系统可能具有意识或值得受到道德考量这一观点,最初是由卡尔·舒尔曼(Carl Shulman)和尼克·博斯特罗姆(Nick Bostrom)等研究人员提出的,他们当时致力于寻找那些被忽视但潜在影响规模极大的问题。如今,“AI福利”已被列入Anthropic的议程,其他主要AI公司的研究人员也正在考量AI具有意识的可能性。
- 在比较不同的全球性问题时,将所有后代的利益纳入考量的重要性最初是由哲学家威尔·麦克阿斯基尔(Will MacAskill)和托比·奥德(Toby Ord)强调的,他们当时正在思考让世界变得更美好究竟意味着什么。
- 野生动物福利这一领域的兴起,是因为像莫纳什大学经济学教授黄有光(Yew-Kwang Ng)这样的研究人员开始思考:与现有的工作领域相比,它是否蕴含着能够产生巨大影响的罕见机遇。
- 这一领域确实被严重忽视了。 尽管有如此多亟待探讨的重要问题,但目前专门从事与人工智能相关宏观策略研究的人可能只有几十位。丁 这意味着额外的投入将大有可为。
- 这确实非常有趣——对合适的人来说! 如果你热衷于深入思考世界、探索大量新想法并开拓未知领域,那么几乎没有比这更令人着迷的职业了。
从事宏观策略研究有哪些弊端?
你可能难以找到工作
目前专门从事宏观策略研究的机构寥寥无几——而且这些团队的规模通常都很小。我们在下方的招聘版块中重点列出了相关的职位和资助机会,但我们真希望能有更多机会可以推荐!
人们可以独立开展宏观策略研究,也可以在学术界内部研究相关问题。但我们猜测,这些通常并非最有效的方式,因为缺乏机构支持意味着你的工作将无法获得像在智库或其他专门机构里那样的反馈(或产生影响的途径)。
总而言之,这意味着相关职位并不算多——且这些机构的雇主筛选标准极为严格。
取得进展可能会很困难
你可能会认为,专门的宏观策略研究很难在这些问题上提供比我们当前最佳认知更好的答案。人工智能发展的轨迹及其将如何改变世界存在着巨大的不确定性,且没有多少历史先例可供借鉴。此外,你经常在理论推演中涉及的AI系统以及社会或政治动态甚至还不存在,这使得你很难验证自己的结论是否真正契合现实。
这种担忧不无道理。但即便存在这种极度的不确定性,我们依然认为针对AI的宏观策略研究已经对世界产生了积极影响。
部分受宏观策略研究的推动,人们积极应对的AI风险范围已远远超出了该领域最初聚焦的未对齐。例如,目前已有研究致力于防止AI系统被用于制造大流行病,以及衡量AI在社会中导致的权力失衡。鉴于我们对AI系统实际会带来哪些风险缺乏确切把握,这些进展显得极具价值——通过采取更全面的防范措施,我们正为未来可能出现的各种发展走向做好更充分的准备。
我们满怀希望,相信进一步的宏观策略研究能够持续强化我们在全球性议题上的行动组合。
随着用于研究和预测的先进人工智能工具不断发展,未来我们在宏观策略问题上取得进展或许也会变得更加容易。
影响决策者可能颇具挑战性
除了开展出色的研究,你还需要让你的研究产生实际影响。
这在宏观策略研究中可能尤为困难,因为相关议题往往更为抽象,且未必总能直接提供政策解决方案。
与担任AI治理研究员相比,你可能较少参与政策圈。而与在大型AI公司从事技术AI安全研究相比,你在技术的发展方式上话语权也会更小。
话虽如此,此前已有政策制定者和人工智能公司基于宏观策略研究采取行动的先例,戊我们也确实预期未来会出现更多此类情况。
而且,“影响决策者”并不一定意味着直接向政府或人工智能公司建言献策。作为一名宏观策略研究者,你的工作可能会吸引更广泛的群体,即那些关注并致力于让人工智能走向美好未来的人——包括资助者、领域建设者以及非营利组织创始人。这些人正在塑造最终会向上传递给决策者的理念与优先事项,即使他们并不直接制定政策。
或许以后再聚焦更具推测性的问题会更好
研究人员已识别出的一些风险似乎正开始显现。例如,我们已经看到了AI系统可能试图从人类手中夺取权力的早期预警信号、AI被用于实施复杂网络攻击的案例,以及企业与政府之间围绕谁拥有AI最终控制权而产生的冲突。
你或许认为,我们首先应专注于确保人类在这些威胁中生存下来,之后才开始探索新领域。当我们仍在设法避免灭绝或陷入巨大倒退时,提出“我们作为一个社会该如何繁荣发展?”这类问题,确实会让人感到奇怪。
也有可能,未来在宏观策略问题上取得进展会比现在更容易:我们将掌握更多信息,从而帮助我们对AI的未来做出更好的预测,甚至可能拥有非常先进的AI工具来协助我们进行最复杂的推理。
关键在于:没有人真正知道哪些风险最终会变得最紧迫,也不知道针对每个问题采取行动的最佳窗口期是什么。我们目前关注的挑战最终可能根本不是问题;而如今看似纯属臆测的风险,却可能突然降临。(事实上,宏观策略研究的部分作用,正是为了让我们更清晰地了解什么才是真正最紧迫和最重要的。)此外,鉴于人工智能的发展往往起伏不定,指望很快就能轻松有效地实现宏观策略研究的自动化,似乎并不明智。
尽管许多宏观策略问题或许并非人类亟待解答的当务之急,但我们仍然认为,让部分人着眼于未来是件好事。在为先进人工智能做准备时,采取管理“组合策略”是明智之举,而不是把所有鸡蛋都放在一个篮子里,仅仅寄希望于我们做出了正确抉择。
你适合从事宏观策略研究吗?
成功需要具备哪些技能和特质?
以下是我们认为成为一名优秀的宏观策略研究员最重要的特质:
- 你需要非常擅长开展原创性研究。这包括:
- 拥有极佳的研究品味——即具备发现哪些问题真正重要的能力。
- 能够应对棘手且定义模糊的问题,并运用多种研究方法得出合理的评估。(阅读更多关于预测研究能否成功的内容。)
- 你需要乐于把时间投入到抽象的思辨性工作中,这类工作通常缺乏明确的反馈循环(即你往往无法用现实来检验自己的结论)。
- 由于这些研究问题尚未被广泛探索,你未必总能找到经验更丰富的研究人员提供指导。因此,你需要具备强大的内驱力,能够在主要依靠独立工作的同时坚持攻克难题。
- 为了有效传达你的研究思路,你需要具备出色的写作能力。
- 对于聚焦人工智能未来的宏观策略研究,你需要对人工智能及其发展动态具有深刻的理解。
- 定量分析或预测技能可能会有所帮助(具体取决于你试图解答的问题类型),但并非总是必不可少。
- 最优秀的候选人还应:
- 极具创造力、充满好奇心,并乐于接受不同寻常的想法。
- 具备超乎寻常的分析能力。
- 面对新的、令人信服的证据或论点时,愿意改变自己的想法。
- 善于察觉自己何时对某事缺乏把握,并在得出结论时将这些不确定性纳入考量。
- 坚定致力于让世界变得更美好。
如果您尚未准备好申请职位,我们建议您先测试一下自己的适配度。您可以在下方找到一些建议,或进一步了解如何评估个人适配度。
哪些经验有用?
成为宏观策略研究员并没有什么硬性的先决条件,除非你打算在学术界工作——那样的话你需要拥有博士学位。招聘此类职位的机构通常采取“非资历主义”的招聘方式,它们更关注你是否符合上述的技能要求。
但有些经历可以证明你的契合度。其中包括:
- 过往的研究经验——例如,获得过竞争激烈的研究奖学金、攻读过研究生学位,或曾在智库或研究机构工作(如果你曾在跨学科环境中开展研究,或习惯于在推测性较强或人们知之甚少的领域工作,则是加分项)
- 过往的写作记录,无论是博客文章、学术论文、新闻报道还是其他形式
- 学术成就——例如,曾就读于任何领域的顶尖研究生项目
至于你的学术背景:
- 相比任何特定的学术背景,具备我们上文描述的特质要重要得多。但在任何高度相关的学科领域——如哲学、经济学、物理学、数学、国际关系、政治学、历史学,或(当然!)人工智能——拥有深厚的积累都可能会有所帮助。
- 如果你想作为学者从事宏观策略研究:
- 理论上,你可以在多种学科领域内尝试解答宏观策略研究问题——但你需要找到一位能帮助你探索这些非传统想法的导师,而这可能很困难。
- 阻力最小的切入点或许是攻读哲学博士学位,这通常能提供相当大的灵活性。请谨记,学术研究可能是一条充满挑战的道路。
非研究路径
加入从事宏观策略工作的机构,并不一定非得成为研究人员。这类机构通常需要研究经理、运营人员、传播专家等各类人才。
在我们的职业指南系列中,您可以找到专门的文章,了解在其他此类岗位上取得成功所需的技能与经验。
注:即使您打算在开展宏观策略工作的机构寻找非研究类职位,对他们所从事的研究有一定的了解仍会很有帮助。
人物示例
顶尖机构
你可以通过多种机构平台开展宏观策略研究——包括学术界、非营利研究机构、智库、资助机构,甚至某些人工智能公司的“预备度/准备度”团队。不过,在这些岗位上,你未必总能完全专注于宏观策略研究。
以下是我们所知的一些可供你从事宏观策略研究的机构:
- Forethought(这是目前专注于AI宏观策略的机构中最典型的例子)
- The AI Futures Project — 该项目已有旨在预测人工智能未来的现有研究,并即将推出关于AGI积极愿景的研究。
- ACS Research,其研究人员致力于探索诸如渐进式权力削弱等被忽视的问题。
- Redwood Research — 尽管该组织主要致力于控制与对齐人工智能系统,但其研究人员也发表了一些探讨对齐策略宏观问题的研究。
- 长期风险中心,目前正在其“战略准备度”议程下开展宏观策略工作
- 宏观风险投资——针对权力集中与避免最坏未来等议题开展研究与资助工作
- 长远视野慈善组织,特别是其针对“更美好的未来”所开展的资助研究
- Coefficient Giving,特别是其短期时间线特别项目团队
- Coefficient Giving欢迎对宏观策略研究感兴趣的人士提交意向书。
- 生命未来研究所的未来团队
- 远见研究所的存在性希望团队
- Rethink Priorities:
- 世界观研究团队(尽管其工作并不以人工智能为主,而是更接近传统的“全球优先事项研究”)
- Rethink 的新AI战略团队(该团队似乎专注于AI宏观策略,但尚未发布任何成果)
请注意,许多机构不会使用“宏观策略”一词来描述其工作,因为针对此类研究目前还没有统一的术语!
下一步行动
如果您已准备好求职
您可以在下方的招聘板块中找到一些正在招聘的相关机构和研究项目。
或者,如果您心中已有项目构想,曾在该领域或相关领域工作过,并对开创新事物充满热情:您可以考虑创立自己的组织。
如有需要,可先评估自身契合度或积累职业资本
我们建议从以下方面着手:
- 广泛阅读并形成自己的见解。 例如,尝试就以下问题形成观点:智能爆炸可能会如何展开、要让 AI 的未来向好发展最关键的是什么,或者目前关于这些话题的思考还有哪些不足。构思一些值得探究的研究问题。
- 进行一些写作。 开设自己的博客或 Substack 专栏,或者考虑在其他宏观策略研究者活跃的论坛上发表文章(例如 EA 论坛和 LessWrong)。
- 尝试做一个小项目。 你可以挑一个研究问题,花上10到20个小时努力取得一些进展。你可能不会得出什么颠覆性的见解,但你能借此体会宏观策略所需的思维方式——说不定还能因此写出一篇有趣的博客文章。
- **主动联系该领域的人士。**向他们征求对你的研究构想、文章或做过的任何小项目的反馈。你可以在这里找到结识他人的技巧,并在这里获取主动联系他人的建议。
如果你更确信自己想走这条路,可以尝试以下这些需要更高投入的选项来积累职业资本:
- 申请研究员项目。MATS项目的“前瞻”方向直接聚焦于AI宏观策略。由Constellation、未来影响集团以及Foresight运营的研究员项目,也可能提供围绕人工智能、生存性风险以及构建繁荣未来等相关主题的研究机会。即使是那些与AI宏观策略关联度不那么直接的研究项目,也能帮助你培养宝贵的研究技能。
- 参加课程。 例如,为了更好地理解人工智能的战略格局,我们推荐BlueDot的AGI战略课程。如果你热衷于深入思考美好的未来会是什么样子以及如何实现它,可以尝试世界构建课程。
在申请宏观策略职位之前,尝试其他与AI 风险相关的研究职位或许也大有裨益——例如担任AI治理研究员或技术AI安全研究员——在这些职位上,你将处理更具体的研究课题,并获得更好的工作反馈循环。
如果你想了解更多
近期 AI 宏观策略研究示例
- 我们建议查阅 Forethought 网站上的资料,特别是标记为“宏观策略”的研究(你可以在此页面按主题进行筛选)。部分示例如下:
- Preparing for the intelligence explosion 指出,我们需要立即做好准备,以应对除未对齐之外一系列广泛且被忽视的 AI 挑战。
- 《美好未来》系列 重点探讨真正美好的后 AGI 未来可能呈现的样貌,以及我们现在能做些什么来提高实现这一未来的几率。
- AI Futures Project 的研究,例如 AI 2027 以及2025年12月发布的更新模型——这两项工作均致力于勾勒 AGI 发展的宏大图景。
- ACS Research 研究人员的工作,例如 Gradual disempowerment——这是另一项旨在探查被严重忽视的 AI 风险的工作。
- 这篇Redwood Research的Ryan Greenblatt撰写的博文概述了根据现有政治意愿水平应对未对齐风险的不同高层策略。
- 长期风险中心(Center on Long-Term Risk)各类标有“优先级排序与宏观策略”的出版物。
- 我们还建议关注一些独立研究者的工作,例如尼克·博斯特罗姆、埃里克·德雷克斯勒、理查德·吴以及乔·卡尔史密斯。
具有影响力的早期宏观策略研究
- 尼克·博斯特罗姆:Superintelligence、Existential risk prevention as global priority 以及 Crucial considerations and wise philanthropy
- 埃里克·德雷克斯勒:Reframing superintelligence: Comprehensive AI services as general intelligence 以及这场关于帕累托乌托邦目标对齐的演讲
- 与数字⼼灵共享世界,由卡尔·舒尔曼与尼克·博斯特罗姆合著,是探讨数字心智道德地位的早期研究范例
- The Most Important Century,由霍尔登·卡诺夫斯基及其他作者撰写的系列文章
研究议程与研究进展报告
- 这份Forethought 研究议程的简要概述,不过您也可以在 Forethought 网站上了解更多信息。
- 全球优先事项研究所的2024年研究议程,发布于该机构关闭之前。
- 人类未来研究所的研究贡献回顾报告——尽管该研究所也已关闭,但其过往研究项目的案例能让您了解当今的宏观策略研究人员正在思考与借鉴的内容。
从事宏观策略研究
播客节目
- 威尔·麦克阿斯基尔谈人工智能引发的“十年抵百年”巨变——以及我们为何完全未作准备
- 卡尔·舒尔曼论 AGI 出现后的经济、政府与社会——第一部分与第二部分。