AI治理与政策
2022年末至2023年间，随着人工智能能力的进步引发广泛关注，社会对于治理和监管AI系统的关注度持续攀升。关于未对齐或失控的人工智能可能引发的灾难性风险的讨论日益凸显，这可能为制定缓解这些风险的政策创造机会。
关于何种AI治理策略最为有效，目前仍存在诸多不确定性。许多人提出了旨在降低最大风险的政策和策略，我们将在下文探讨这些策略。
但目前，整个领域尚无明确的路线图。关于具体需求仍存在广泛辩论，可能尚未出现一个保证安全的最佳方案。无论如何，有前景的政策与策略如何落地实施仍需大量探索。我们期待更多人投身此领域，发展专业知识与技能，为能降低风险的AI治理与AI政策贡献力量。
总结
简而言之： 先进的人工智能系统可能对人类产生深远影响，并潜在引发全球灾难性风险。在广阔的AI治理领域，存在着很多机遇，能帮助整个社会更好地应对与准备技术变革的挑战。
考虑到这个议题的重要性，对许多人而言，这可能是最具社会影响力的职业道路。但从业者须格外谨慎，避免在缓解风险时反而加剧威胁。
推荐
若你非常适合这一职业，这可能是你产生社会影响力的最佳途径。
文章可信度
基于深度调查。a
你们所做之事蕴含巨大的潜力与巨大的风险。——美国总统乔·拜登致顶尖人工智能企业领袖
为何这可能是影响力极高的职业选择
人工智能发展迅猛。2022至2023年间，新型语言与图像生成模型因其突破性的能力而引发广泛关注，其表现远超以往的基准。
这些模型的应用尚处萌芽阶段；随着持续优化与社会融合，现有的AI系统或将更易用、更普及。
我们无法预知这些发展将去向何方。我们也许有理由乐观地认为，AI终将助力解决诸多全球性难题，提升生活水平，助力构建更繁荣的社会。
但同时也存在重大风险。先进人工智能也可能被用于造成巨大危害。我们担忧它可能意外引发重大灾难——甚至可能导致人类丧失权力或灭绝。我们在这个深度问题剖析中讨论了这些风险存在的论据。
鉴于这些风险，我们鼓励人们通过技术研究与工程，探索降低风险的方法。
但我们需要多元化的消减风险的策略。公共政策与公司治理尤为关键，以确保先进人工智能能广泛造福人类，且风险较低。
治理 - 通常指组织和社会用以进行高层决策的流程、结构和系统。就人工智能而言，我们认为最重要的治理结构是国家政府、开发人工智能的机构——以及一些国际组织，或许还有地方政府。
AI治理工作的一些目标可能包括：
- 阻止部署任何构成重大且直接灾难性风险的人工智能系统
- 减轻人工智能技术对核武器、生物技术等其他灾难性风险的负面影响
- 引导人工智能技术以降低危害、惠及全民的方式融入社会经济体系
- 降低国家间与企业间的“AI军备竞赛”风险
- 确保先进AI开发者有动力进行合作并重视安全性
- 若技术进步可能超越我们确保其安全可控的能力，则放缓新系统的开发与部署。
我们需要一个专家社群，他们应通晓现代人工智能系统与AI政策，亦能洞悉严峻的威胁和潜在的解决方案。该领域尚处萌芽阶段，诸多路径尚未明晰，成效亦未可知。但存在相关职业路径，可为各类岗位与角色提供宝贵的职业资本。
本文余下的部分将解释该领域可能涉及哪些工作、你该如何积累职业资本并检验自己是否适合，以及一些有前景的工作去向。
哪些工作能为AI治理作出贡献？
AI治理策略的实施路径多样，随着该领域日益成熟，发展路径将日益清晰、成熟。
我们认为职业生涯初期的从业者不应直接瞄准高影响力岗位，而应着力积累技能、经验、知识、判断力、人脉及资质——即我们所称的职业资本——以便日后用来发挥影响力。
这可能意味着遵循标准的职业轨迹，也可能需要在不同岗位间转换。有时必须广泛尝试各类职位，通过实践验证自身适配度，方能发现自己真正擅长什么。最重要的是，你应当努力在某个与自身个人适配度高度契合的领域做到卓越，并借此为解决紧迫问题贡献力量。
在AI治理领域，我们认为至少有六大类工作至关重要：
思考不同类型的职业资本对你有何助益，或许能为你的职业道路指明下一步。（下文将探讨如何评估个人匹配度并进入该领域。）
在职业生涯的不同阶段，你可能需要在这些工作类别间转换。通过实习、研究员职位、初级岗位、兼职工作甚至独立研究，你都能检验自身与各类角色的契合度——这些经历都将成为通向多元职业道路的资本。
我们还梳理了AI安全研究与工程、信息安全以及人工智能硬件专业知识等领域，这些领域对降低AI风险至关重要，也可能在有效的治理议程中发挥重要作用。致力于投身AI治理事业者，亦应熟悉这些领域。
政府工作
在有影响力的政府机构任职，有助于你在AI政策的制定、颁布和执行中发挥重要作用。
我们普遍预期，在可预见的未来，美国联邦政府将成为AI治理领域最具影响力的参与者。这源于其全球影响力及其对人工智能产业的管辖权——包括Anthropic、OpenAI、以及谷歌DeepMind等顶尖企业。其管辖权还延伸至人工智能芯片供应链的关键环节。本文主要聚焦美国政策与政府。b
但其他政府及国际机构同样举足轻重。例如，英国政府、欧盟、中国等也可能为有影响力的AI治理工作提供机遇。一些美国州级政府（如加利福尼亚州）也可能提供施加影响和积累职业资本的机会。
具体工作内容包括哪些？下文将探讨如何进入美国AI政策领域以及可以作为目标的政府领域。
2023年，美国与英国政府相继宣布成立AI安全研究所——这两家机构都将为一个人积累职业资本和创造潜在影响力提供了宝贵机会。
但从宏观层面而言，致力于积极影响AI政策的人士，应在与AI或新兴技术政策相关的政府领域积累工作技能与经验。
这可以包括在以下领域的职位**：立法机构、国内监管、国家安全、外交事务、拨款与预算及其他政策领域。**
若能获得一个直接参与此议题的职位，例如在某个 AI 安全研究所工作，或为专注人工智能的立法者工作，那将是一个绝佳的机会。
如果不行，你应该尽可能多地了解政策的运作方式，以及哪些政府职位能让你发挥最大的影响力。努力将自己打造成 AI 政策领域的专家。拥有任何一段涉及人工智能的重要政府岗位的经历，或一些亮眼的 AI 相关资历，可能都足以让你走得很远。
在政府中，就特定议题推动职业发展的方法之一，是“提升可见度”。这包括利用你的职位了解宏观格局，与政策领域的行动方和机构建立联系。你需要在政策领域与他人社交，争取被邀请参加与其他官员和机构的会议，并在决策时被征求意见。如果你能在一个重要但被忽视的议题上，将自己塑造成一位备受推崇的专家，你将更有机会参与关键的讨论和活动。
政府内部的职业发展路径大致可分为以下几类：
- 标准政府晋升路径： 指从较低层级进入政府体系，并逐步攀登职级阶梯。为发挥最大影响力，理想情况是通过长期任职、建立人脉、积累技能经验并获得晋升，最终进入高层。你可能会在不同机构、部门或分支之间调动。
- 专业化职业资本： 职业生涯中亦可自由进出政府部门。此路径的从业者也活跃于非营利组织、智库、私营部门、政府承包商、政党、学术界等其他组织。但他们主要专注于成为特定领域的专家——例如人工智能。此途径可能更难获得资历，但专业知识的价值有时会大于资历。
- 直接影响力工作： 部分人进入政府岗位并非出于积累职业资本的长远计划，而是看重能产生直接、即时影响的机会。这可能包括被选中领导一个重要委员会，或为紧急项目提供宝贵的意见。此类机会未必能作为职业规划的核心策略，但值得将其视为一个未来可能把握的选项。
欲了解如何评估自身适配度并着手积累相关职业资本，请参阅我们关于政策与政治技能的文章。
AI政策与战略研究
AI 治理战略与实施仍需大量研究。世界亟需更具体的政策来应对最重大的威胁；制定此类政策，并加深对 AI 治理领域战略需求的理解，优先级很高。
其他相关研究也包括：公众与专家意见调查、拟议政策可行性的法律研究、算力治理等技术议题，乃至针对先进人工智能的社会影响的抽象理论探索。
部分研究（如Epoch AI所开展的）专注于预测人工智能发展轨迹，这将影响AI治理决策。
然而多位受访专家警示，大量AI治理研究可能最终徒劳无功。因此需保持反思态度，积极寻求领域内人士的意见，以明确自身可作何贡献。我们列举了若干研究机构，这些机构在该领域开展的研究颇具潜力，也能提供重要的导师支持。
检验自身适配性的方法——尤其在起步阶段——是撰写对现有AI政策研究的分析与回应，或探索该领域尚未受重视的议题。随后可广泛分享成果，向业内人士征求反馈，评估自身对工作的喜爱程度及可能的贡献方向。
但不要在测试适配度上进展甚微的时候耗费过多时间，同时要注意有些人只有在团队协作中才能发挥最大价值。因此不要过度投入独立工作，尤其当你尚未看到显著成效时。这类项目最多持续一个月左右尚可接受——但若缺乏资金支持或该领域从业者的积极反馈，继续投入更多时间恐怕并非明智之举。
如果你有受聘为研究员的经验，可以在学术界、非营利组织和智库从事 AI 治理工作。一些政府机构和委员会也在开展有价值的研究。
需要注意的是，大学和学术界有其自身的优先事项和激励机制，这往往与产出最具影响力的工作并不一致。如果你已是拥有终身教职的资深研究者，转向 AI 治理工作将极具价值——你的地位能为你提供一个可靠的平台来倡导重要理念。
但如果你刚刚开启研究生涯，并希望专注于这一议题，则应仔细考虑你的工作在学术界内部是否能得到最好的支持。例如，如果你知道某个具体的项目有特定的导师，能帮助你寻求该领域关键问题的答案，那么这或许值得一试。对于那些还不清楚如何进行重要的 AI 治理研究的人，我们不太鼓励他们去追求普通的学术职位。
不过，攻读政策或相关技术领域的高级学位可能很有价值——更多相关讨论请参见如何评估自身适配度并着手准备一章。
你也可以在我们的文章如何成为研究者中了解更多信息。
业界行动
大型人工智能企业自身的内部政策与公司治理，对于降低人工智能风险也至关重要。
在最高层面，由谁担任董事会成员、董事会拥有何种影响力以及组织面临的激励机制等决策，都能对一家公司的选择产生重大影响。许多此类职位由具备丰富管理及组织领导经验的人士担任，例如企业的创始人与经营者。
如果你能加入一家大公司的政策团队，就可以进行威胁建模，帮助制定、实施和评估风险削减方案。你还可以围绕最佳实践建立共识，例如加强信息安全、利用外部评估员发现人工智能系统中的漏洞和危险行为（红队测试），以及试验 AI 安全领域的最新技术。
此外，正如我们所预期的，如果人工智能企业面临日益加强的政府监管，确保合规将成为一项首要任务。与政府进行沟通，并从企业内部促进协调，可能会是一项颇具影响力的工作。
总体而言，人工智能企业之间c加强合作，同时与寻求将风险最小化的外部团体保持高度协作似乎是明智的。这并非异想天开——众多行业领袖已对灾难性风险表达担忧，甚至呼吁监管他们正在开发的前沿AI技术。
话虽如此，合作仍需付出巨大努力。开发强大AI系统的企业可能抵制某些降低风险的策略，因为他们存在强烈的商业化动机。因此，争取关键参与者的认同、增强信任，促进信息共享、围绕高级安全策略达成共识都至关重要。
倡导与游说
政府及AI企业之外的群体，可通过倡导与游说，影响公共政策和公司治理的走向。
倡导是推动特定理念、塑造公共话语的统称，常围绕政策议题展开。游说则是更具针对性的行动，旨在通过接触立法者及其他官员来影响立法与政策。
若您认为人工智能企业可能倾向于倡导对于社会有积极影响的监管，可与其合作推动政府采纳具体政策。人工智能企业对技术本身及其风险、失效模式和最安全的实施路径有着最深入的理解——因而最能为决策者提供有效参考。
另一方面，人工智能企业可能因在监管形式方面有过多既得利益，而难以可靠地倡导广泛有益的政策。若此看法成立，或许更应加入或创建独立于行业的倡导组织——可能依靠捐赠支持——以采取与商业利益相悖的立场。
例如，有人主张应刻意延缓或停止日益强大的AI模型开发。倡导者可向企业或政府提出此要求。但对参与先进AI系统研发的企业相关人员而言，推动此举恐非易事。
或许，最佳结果也源于行业内外视角的平衡。
倡导行动还可：
- 凸显研究中发现的被忽视但极具潜力的治理方法
- 通过展示公众对治理措施的支持，促进政策制定者的工作
- 以通俗易懂的方式传达复杂理念，搭建研究者、政策制定者、媒体与公众间的桥梁
- 敦促公司更谨慎地行事
- 改变公众对人工智能的看法，并遏制个别行为者的不负责任行为
然而，请注意倡导有时会适得其反，因为信息的接收效果难以预测。请注意：
- 聚焦特定议题可能引发反弹
- 某些修辞风格会疏远人群或使舆论两极分化
- 传播错误信息将损害自身及他人信誉
务必谨记这些风险，并与他人商议（尤其是那些你敬重但在策略上可能持不同意见的人）。向公众阐释前，务必对该议题进行深入研究。
更多内容可参阅下文造成危害一节。我们同时推荐阅读善意的人如何无意间加剧问题及应对策略一文。阅读我们关于重要理念传播技巧的文章或许也会对您有所帮助。
案例研究：AI安全中心声明
2023年5月，AI安全中心发布了一份仅有一句话的声明：缓解源于人工智能的灭绝性风险，应同大流行病、核战争等其他社会级风险一样，成为全球优先事项。
值得注意的是，该声明获得逾百位签署者支持，包括OpenAI、谷歌DeepMind、Anthropic等主要人工智能公司的领导者，以及该领域顶尖研究人员杰弗里·辛顿和约书亚·本吉奥。签名者还包括美国国会议员、其他政府官员、经济学家、哲学家、商界领袖等。
该声明当时引发媒体关注，英国首相里希·苏纳克和白宫新闻秘书均对此表达关切。此后英美两国政府相继采取行动，着手应对相关风险。
该声明还表明，担忧人类灭绝规模的灾难并非是一种边缘的立场，从而澄清并丰富了关于AI风险的讨论。
第三方审计与评估
若实施监管措施以降低先进人工智能风险，则需由特定机构及外部组织对企业与系统进行审计，确保法规得到遵守。
政府监管常依赖第三方审计，因其缺乏私营部门拥有的专业知识。目前此类AI模型审计岗位机会有限，但这类角色对构建有效的AI治理框架至关重要。
出于安全性考量，人工智能公司及其开发的系统可能面临审计与评估。
非营利组织模型评测与威胁研究（METR，原名 ARC Evals）一直是评估先进 AI 模型能力的前沿机构。d 2023年初，该组织与两家领先的 AI 公司 OpenAI 和 Anthropic 合作，在它们最新版本的聊天机器人模型发布前，对其能力进行了评估。他们希望在受控环境中确定这些模型是否具备任何潜在的危险能力。
这些公司是自愿与 METR 就此项目展开合作的，但在未来，这类评估可能会成为一项法律要求。
可能还需要进行其他类型的审计和评估。METR 表示计划开发一些方法，用于在模型发布前确定其是否已适当对齐——也就是说，其行为是否符合用户预期。
政府也可能希望聘请审计员来评估 AI 开发者可获得的算力、其信息安全实践、模型用途、训练模型所用数据等。
掌握执行此类评估的技术技能与知识，并加入受托执行评估的机构，将成为开启高影响力的职业生涯的基石。这类工作还需依靠能协调产业界与政府间的复杂关系的人来推动。兼具双领域经验的人将大有可为。
此类角色的部分工作与AI技术安全研究可能有所重叠。
国际事务与协调
中美关系
对于合适的人选而言，致力于改善中美在人工智能安全发展方面的协调，可能是一条极具影响力的职业道路。
中国政府是人工智能领域的主要资助方，中国拥有可能推动技术进步的巨型科技企业。
鉴于中美之间的紧张关系以及先进人工智能带来的风险，加强两国间的信任、理解与协调将大有裨益。若能避免大国间爆发重大冲突，且新兴技术领域的主要参与者能够避免加剧任何全球风险，世界可能会变得更加美好。
我们另有一份职业评估报告，深入探讨了与中国相关的 AI 安全与治理路径。
其他政府与国际组织
正如前文所述，我们主要关注美国的政策与政府角色。这主要是因为我们预计，在 AI 监管领域，美国目前是、且未来可能仍将是最关键的参与者，但中国是一个重要的例外（如上一节所讨论）。
不过，许多关注这个议题的人无法或不愿从事美国的政策工作——或许因为他们居住在其他国家，且不打算移居。
上述大部分建议对这类人群仍然适用，因为 AI 治理的研究与倡导工作可以在美国境外开展。e 虽然我们认为其预期影响力通常不及美国政府的工作，但其他国家政府及国际组织提供的机会可与美国的工作形成互补。
例如，英国可能为 AI 政策工作提供了另一个重要机会，可与美国的工作形成互补。英国高级官员已表示对制定 AI 政策、建立新的国际机构以及降低极端风险感兴趣。英国政府于 2023 年宣布成立一个新的AI 基础模型工作组，以推动安全研究。
欧盟已证明其数据保护标准——《通用数据保护条例》（GDPR）——对企业行为的影响远超其地理边界。欧盟官员还推进了AI 监管，一些研究也探讨了欧盟 AI 监管的影响将远远超出欧洲大陆的假说——即所谓的“布鲁塞尔效应”。
任何相对富裕的国家都可以资助一些 AI 安全研究，尽管其中大部分研究需要顶尖人才和最先进的技术。AI 安全研究的任何重大进展，都可以为致力于开发最强大模型的研究人员提供参考。
其他国家也可能为 AI 系统的开发者制定法律责任与标准，以激励企业在发布模型前审慎行事。
届时，可能出现人工智能条约和国际法规，正如国际社会为协调应对其他全球性灾难性风险而创建了国际原子能机构、《生物武器公约》和政府间气候变化专门委员会。
在某些未来情景中，协调全球各国政府理解并共享人工智能的风险信息，可能极其重要。例如，经济合作与发展组织已设立AI政策观察站。
第三方国家或许也能促进中美合作，缓解两国在人工智能或其他潜在冲突点上的紧张关系。
哪些策略与实践能降低最大的风险？
随着AI系统日益强大，AI政策从业者已提出多种降低风险的方案。
我们未必认同以下所有观点，但下列是若干旨在降低人工智能最大的风险的重要策略：f
- 负责任的扩展策略：部分大型人工智能企业已着手构建内部框架，以评估其系统在规模与能力扩张过程中的安全性。这些框架设置的防护措施将随系统潜在危险性的提升而逐步强化，确保人工智能能力发展不会超越企业的安全性管控能力。尽管许多人认为此类内部策略尚不足以保障安全性，但它们可能是降低风险的有益尝试。相关策略版本可参见Anthropic、谷歌DeepMind和OpenAI。
- 标准与评估：政府可制定全行业基准测试协议，评估AI系统是否存在重大风险。非营利组织METR与英国 AI 安全研究中心正在研发一些评估方法来在 AI 模型发布之前测试他们的安全情况。这可能包括开发一些标准化的指标来测试AI的能力与造成伤害的可能性，以及这些模型试图寻求权力或者未与人类价值对齐的概率。
- 安全论证：该实践要求人工智能开发者在系统部署前提供全面论据，证明其安全性与可靠性。该方法类似于航空或核能等高风险行业采用的安全论证。g 相关理念可参见Clymer等人的论文及英国人工智能安全研究所Geoffrey Irving的博文。
- 信息安全性标准：我们可建立鲁棒规则，保护人工智能相关数据、算法及基础设施免遭未经授权的访问或篡改——尤其是人工智能模型的权重参数。兰德公司发布了深度报告，分析了主要人工智能企业面临的安全风险，特别是来自国家行为体的威胁。
- 法律责任：现行法律已对制造危险产品或对公众造成过重大伤害的公司提出了部分法律责任，但这些法律如何具体适用于 AI 模型及其风险尚不明确。明确法律责任如何适用于开发危险 AI 模型的公司，可以激励他们采取额外措施来降低风险。法学教授加布里埃尔·韦尔曾就此观点撰文详述。
- 算力治理：政府可以监管训练大型 AI 模型所需的高性能计算资源的获取和使用。此外，政府还可以要求公司在 AI 芯片或处理器中直接内置硬件级别的安全功能，这些功能可用于追踪芯片，验证其未被不应持有者获取，或用于其他目的。您可以通过我们对伦纳特·海姆的采访以及新美国安全中心的这份报告了解更多相关内容。
- 国际协调：在 AI 治理方面促进全球合作，以确保标准的一致性，这一点可能至关重要。这可以采取多种形式，如条约、国际组织，或关于人工智能开发和部署的多边协议。我们在关于中国相关 AI 安全与治理路径的文章中讨论了一些相关考量。
- 社会适应：让社会为人工智能的广泛普及及其带来的潜在风险做好准备，这一点可能至关重要。例如，在一个存在由 AI 助力的黑客攻击的世界里，我们可能需要制定新的信息安全措施来保护关键数据。又或者，我们可能希望实施强有力的控制，以防止将关键的社会决策交由 AI 系统处理。h
- 适时暂停规模扩展：一些人主张，鉴于该技术带来的危险，我们目前应暂停所有更大型 AI 模型的研发。我们曾在播客节目中讨论过这一想法。目前似乎很难判断这是否是个好主意，或者何时才是合适的时机。若要实施，可能需要通过全行业协议或监管指令来暂停开发工作。
这些方案的具体实施细节、利弊权衡尚未充分厘清，因此亟需开展更深入的研究并广泛征求知情利益相关方的意见。本清单亦非穷尽——可能还存在其他值得探索的重要政策干预与治理策略。
您也可查阅Open Philanthropy的卢克·穆勒豪瑟撰写的[潜在政策方案清单]i、Vox的迪伦·马修斯撰写的[关于AI政策提案的文章]，以及一份关于[AI安全与治理最佳实践]的专家意见调查。
践行此路径的代表人物
海伦·托纳
海伦攻读工程学后，先后在 GiveWell 和 Open Philanthropy 担任研究工作。此后她探索了多个公益领域，最终移居北京研究中国与人工智能的交汇点。当安全与新兴技术中心（CSET）创立时，她受邀参与机构建设。如今 CSET 已成为华盛顿特区新兴技术与国家安全交叉领域的重要智库。\ 了解更多
本·加芬克尔
本于 2016 年毕业于耶鲁大学，主修物理、数学与哲学。毕业后，本成为有效利他主义中心的研究员，随后加入人工智能治理中心，并担任主任。您可在此查看 GovAI 的招聘信息。\ 了解更多
如何评估适配度与入门
若您正处于职业生涯早期，应优先积累技能及其他职业资本，从而成功地为人工智能的良性治理与监管做出贡献。
积累职业资本的途径多样。总体而言，在政治、法律、国际关系、传播学及经济学等领域工作或深造，均有助于进入政策工作领域。
而在机器学习和技术性AI安全，或计算机硬件和信息安全等潜在相关领域学习和工作所获得的 AI 专业知识，也可以为你带来巨大优势。
评估适配性
尝试寻找相对”低成本”的测试方式来评估你对不同路径的适配性。例如：参加政策实习、申请学者项目、开展短期独立研究，或选修机器学习或计算机工程的技术课程。
也可通过与从业者交流，了解日常工作体验及所需技能。
所有这些因素都难以预先预测。虽然我们在上文将”政府工作”归为一类，但这个标签涵盖了广泛的职位类型。找到合适的岗位可能需要数年时间，且取决于诸如紧密合作的同事等不可控因素。这正是构建广泛适用的职业资本以拓展选择空间的意义所在。
切勿低估在目标领域广泛投递相关职位的价值——通过实践检验可能性。此策略虽可能遭遇大量拒绝，但通过观察申请进程的推进程度，你将更准确评估自身与岗位的契合度。这比凭空猜测是否具备相应经验更能提供有效信息。
若发现某些工作类型与你高度不匹配，应果断排除。例如，若你倾注大量精力试图进入知名大学或非营利机构从事AI治理研究，却始终未获有前景的录用机会且鲜少得到鼓励，这很可能意味着你在此领域难以有所建树。
这并非否定你的价值，只是你的比较优势或许存在于其他领域。
职业资本类型
AI治理需要兼具技术专长与政策经验的人才——其中部分人应同时掌握两者。
虽然该领域从业者都应兼顾技术与政策细节，但职业生涯初期通常需专注于政策或技术能力以积累职业资本。
本节涵盖：
本指南多数建议针对美国职场，但其他地区亦具参考价值。
通用型职业资本
《八万小时》职业指南中关于职业资本的章节列出了适用于任何职业路径的五大要素**：技能与知识、人脉、资质、品格及发展空间。**
对于涉及策略的多数岗位，社交能力、人脉拓展以及——姑且称之为政治技巧——都将成为巨大优势。这些能力或许能通过学习获得，但有些人可能发现自己缺乏这类技能，且无法或不愿习得。
这完全没问题——通往充实而有影响力的职业道路还有许多，这条路径中或许存在对这类技能要求较低的工作岗位。因此测试自身适配性至关重要。
政策相关职业资本
要掌握政策技能，可攻读政治学、经济学、法学等相关领域学位。
众多硕士项目开设公共政策、科学与社会、安全研究、国际关系等专项课程；拥有研究生学位或法学学位将助您在诸多职位中脱颖而出。
若想在联邦政府体系中晋升，硕士、法学或博士学位尤为重要。我们关于美国政策硕士学位的专题文章详解了如何评估各类选项。
在华盛顿特区实习，是检验自身与政策领域契合度并积累职业资本的理想途径。众多学术机构现提供战略性“华盛顿特区学期项目”，助你探索国会、联邦机构或智库的实习机会。
虚拟学生联邦服务(VSFS)同样提供兼职远程政府实习岗位。参与该项目的学生可在学习期间同步工作。
具备相应背景后，你可进入政府部门担任初级职位，在培养核心技能的同时建立职业人脉。在美国，你可成为国会工作人员，或进入商务部、能源部、国务院等联邦部门任职。此外，若你具备研究才能，在智库积累经验也是一个极具前景的选择。部分政府工作的承包商也是一个很好的选择。
许多人认为华盛顿特区拥有独特的文化，尤其体现在联邦政府及相关领域的工作者身上。这里高度注重人脉网络、官僚政治、地位攀附与权力运作。我们也了解到，尽管才干在美国政府工作中具有一定价值，但它并非决定成功与否的核心要素。若你认为自己无法长期适应此类环境，不妨考虑其他发展路径。
但若你发现自己能享受政府与政治工作，赢得同事认可并获得职业发展，或许你正是合适人选。仅凭在政府工作中如鱼得水的能力，便可成为宝贵的比较优势。
美国公民身份
你的国籍可能会影响你获得的机会。美国境内许多至关重要的AI治理职位——尤其是在行政部门和国会——仅向美国公民开放，或至少会极大地偏向美国公民。所有关键且可能尤其重要的国家安全职位均限定由美国公民担任，因为获得安全许可需要美国公民身份。
这意味着非美国公民可以考虑避开要求公民身份的职位，或规划移居美国并经历漫长的入籍流程。有关非公民移民途径及策略工作类型的详细信息，请参阅外国公民在美国策略领域就业一文。若您来自符合资格的国家，还可考虑参与年度多样性签证抽签。该项目投入的精力很少，幸运中签即可获得美国绿卡。
技术职业资本
在机器学习、人工智能硬件及相关领域的技术经验，对AI治理职业而言是宝贵资产。因此若您拥有相关本科或研究生学位，或曾进行过富有成效的自主学习，将极具优势。
我们提供技术类AI安全职业指南，详解机器学习基础学习路径。
在人工智能公司或实验室担任技术职位，或在其他使用先进人工智能系统和硬件的公司工作，也可能为投身 AI 政策领域积累重要的职业资本。请阅读我们的职业评估，其中探讨了在顶尖人工智能公司工作的利弊。
我们另有一份职业评估报告，其中阐述了成为人工智能硬件专家如何能为治理工作带来巨大价值。
许多政治家和政策制定者都是通才，因为他们的职位要求他们涉足多个不同领域并处理各种问题。这意味着，在制定和实施关于 AI 技术的政策时，他们需要依赖那些自己不完全理解的专业知识。因此，如果您能提供这些信息，特别是如果您善于清晰地传达，您就有可能担任有影响力的角色。
部分原先有志于从事 AI 安全技术工作的人，如果后来发现自己对该道路不再感兴趣，或在政策领域看到了更有前景的机会，也可能会决定高效地转向以政策为导向的职业。
拥有STEM背景的人进入美国政策领域并取得成功，是相当常见的。那些可能自认为技术资历平平的人——例如仅有计算机科学学士或机器学习硕士学位——往往会发现，他们的专业知识在华盛顿特区备受重视。
华盛顿多数职位并无特定学位要求，因此无需政策学位即可在此从业。科技政策相关岗位尤其适合技术背景人才，而招聘方更看重硕士学位等更高学历，博士或医学博士这类终端学位则更具优势。
众多专项资助计划致力于帮助STEM背景人才进入政策领域，部分项目详见下方。
政策工作并非适合所有人——许多技术专家可能缺乏所需的性格特质或技能。政策从业者通常需要具备出色的写作能力与社交技巧，同时能从容应对官僚体系，并与动机和世界观迥异的人群协作。
欧内斯特·莫尼兹：从科学专家到政治领袖
欧内斯特·莫尼兹以物理学家身份开启职业生涯，1970年代成为麻省理工学院教授。他通过担任系主任及麻省理工学院研究委员会负责人积累管理经验，1990年代出任白宫科技政策办公室科学事务副主任。
此后他成为能源部副部长，这为他最终在贝拉克·奥巴马总统任期内担任能源部长奠定了基础——这是一个极具影响力的职位，他在国际核武器谈判中充分发挥了其技术专长。
莫尼兹部长的事迹证明，技术背景人士在策略制定领域能产生多大影响力——当然，要发挥影响力，你未必非得是麻省理工学院教授或联邦机构负责人。
其他特定形式的职业资本
也可通过其他途径，积累适用于此职业路径的有用职业资本。
- 若你已具备或能掌握卓越的沟通技巧——例如作为记者或活动家——这些技能在AI治理的倡导与游说工作中将大有裨益。
- 鉴于人工智能议题的倡导工作仍处于早期阶段，因此很可能需要具备其他重要事业领域倡导经验的人士来分享其知识与技能。
- 具备相关技能的学者有时会被政府短期聘用，在诸如美国科技政策办公室等机构担任顾问。这未必能奠定长期政府职业生涯的基础，但能让学者更深入地洞察政策与政治。
- 你可以选择在人工智能公司或实验室担任非技术岗位，从而深入了解相关技术、商业模式及企业文化。
- 你亦可投身政治竞选活动并参与政党政治。这是参与立法、学习政策、协助有影响力的立法者的途径之一，同时也有可能帮助塑造关于AI治理的公共讨论。但需注意，此举有潜在的负面影响，可能会加剧公众在AI政策上的意见分歧（详见下文讨论）；并且，一旦所属政党失势，你在政党政治中的影响力可能会受限。
- 你甚至可以尝试竞选公职，尽管竞争激烈。若选择此路，务必寻找值得信赖且知识渊博的顾问来积累人工智能专业知识，因为政治人物肩负多重职责，无法专注于任何单一议题。
- 你可以专注于培养在AI治理中可能具有价值的特定技能，例如信息安全、情报工作、对华外交等。
- 其他技能：组织建设、创业、管理、外交及官僚技能也将在该职业道路上大有可为。可能需要建立新的审计机构或实施策略体系。曾在高风险行业担任要职、创立过有影响力的公司或协调过复杂多方谈判的人士，将带来关键技能。
是否需要一对一职业规划指导？
由于这是我们的重点发展方向之一，若您认为此路径适合自己，我们将特别乐意提供一对一职业规划指导。我们可协助您评估职业选择、对接同领域从业者资源，甚至可能为您对接职位或资金机会。
可以在哪里从事这类工作？
鉴于成功的AI治理需要政府、行业及其他各方共同参与，该领域将为从业者创造大量潜在岗位与工作场所。随着时间推移，行业格局可能发生变化，因此若你刚踏上这条道路，当你准备运用职业资本来推动这个问题取得进展时，那些看似最重要的领域可能已然不同。
例如在美国政府内部，五年后哪些部门将在AI政策领域最具影响力尚不明确。这很大程度上取决于期间做出的决策。
话虽如此，了解当前政府中哪些部门在技术治理领域具有普遍影响力且参与度最高，对你把握方向仍颇有裨益。若你未来希望在最具影响力的工作领域变得更清晰后，转入一个影响力更强的AI相关岗位，那么当下在政府积累AI相关经验仍将大有裨益。
我们还将分享当前对政府外部重要参与者的看法，在这些地方，你们可以积累职业资本并可能产生重大影响。
需注意：本清单目前对美国政府内部工作场所的描述最为详尽。我们希望逐步扩展更多选项。（注：未列入本清单的选项不代表我们不推荐，亦不意味着其影响力必然弱于所列机构。）
其他选项的详细分析见独立（且较早）的职业评估报告，包括：
以下是一些能开展有前景工作或积累宝贵职业资本的领域：
美国国会
在国会，你可以直接为立法者工作，或在立法委员会担任幕僚。委员会的幕僚职位通常对立法更具影响力、也更有声望，但正因如此，竞争也更为激烈。如果经验不足，可以先从议员的入门级幕僚做起，日后再争取转入委员会任职。
我们接触过的部分人士预计，以下众议院和参议院委员会（及其部分下属小组委员会）将在人工智能领域最具影响力。你可以争取在这些委员会任职，或为对这些委员会具有重大影响力的议员工作。
众议院
- 能源和商业委员会
- 司法委员会
- 科学、空间和技术委员会
- 拨款委员会
- 众议院军事委员会
- 众议院外交事务委员会
- 众议院情报常设特别委员会
参议院
- 参议院商务、科学与交通委员会
- 参议院司法委员会
- 参议院外交关系委员会
- 参议院国土安全与政府事务委员会
- 参议院拨款委员会
- 参议院军事委员会
- 参议院情报特别委员会
- 参议院能源与自然资源委员会
- 参议院银行、住房与城市事务委员会
国会研究服务处作为无党派的立法机构，亦提供能影响各领域政策设计的研究机会。
美国行政部门
总体而言，我们不建议从行政部门的低级别职位走上这条职业道路，因为在这一层级的官僚体系中晋升极为困难。更好的选择是攻读法学学位或相关的研究生学位，这能让你有机会以更高的职级起步。
各机构对AI监管的影响力可能会随时间变化。例如，2023年末，联邦政府宣布成立美国人工智能安全研究所，这或许是一个特别有前景的工作单位。
无论未来哪个机构最具影响力，在政府部门高效工作、建立专业人脉、了解日常政策工作并深化对人工智能的全面认知，都将积累宝贵的职业资本。
尽管我们对这个话题尚有诸多不确定，但截至本文撰写时，以下机构可能在AI政策的至少一个关键维度上具有显著影响力：
- 总统行政办公室（EOP）
- 管理和预算办公室（OMB）
- 国家安全委员会（NSC）
- 科技政策办公室（OSTP）
- 国务院
- 关键与新兴技术特使办公室（S/TECH）
- 网络空间与数字政策局（CDP）
- 军控核查与合规局（AVC）
- 新兴安全挑战办公室（ESC）
- 联邦贸易委员会
- 国防部（DOD）
- 首席数字与人工智能办公室（CDAO）
- 新兴能力策略办公室
- 国防高级研究计划局（DARPA）
- 国防技术安全管理局（DTSA）
- 情报界（IC）
- 情报高级研究计划署（IARPA）
- 国家安全局（NSA）
- 情报界各机构内的科学顾问职位
- 商务部（DOC）
- 工业与安全局（BIS）
- 国家标准与技术研究院（NIST）
- 美国人工智能安全研究所
- CHIPS项目办公室
- 能源部（DOE）
- 人工智能与技术办公室（AITO）
- 高级科学计算研究（ASCR）项目办公室
- 国家科学基金会（NSF）
- 计算机与信息科学和工程理事会（CISE）
- 技术、创新和合作伙伴关系理事会（TIP）
- 网络安全与基础设施安全局（CISA）
读者可在联邦政府招聘平台USAJOBS查阅这些部门和机构的职位列表；80,000 Hours招聘平台上则有一份更为精选的职位列表，涵盖了具有高影响力潜力且有助于积累职业资本的职位。
若您有志于从事AI政策方面的事业，我们目前不建议通过参军途径加入美国政府。该路径晋升层级繁多、竞争激烈，并且在初期您必须将所有时间都投入到与人工智能无关的工作中。
然而，已有的军事经验可以成为宝贵的职业资本，有助于在政府中担任其他重要职位，尤其是在国家安全岗位。我们认为，对于毕业于西点军校等精英军事院校的军人，或军衔达到O-3级及以上的军官而言，这条路会更具竞争力。
美国策略研究员项目
策略研究员项目堪称进入策略领域的重要通道。它们提供许多福利，如第一手的策略工作经验、资金支持、专业培训、导师指导，以及拓展人脉的机会。虽然多数项目要求申请者具备研究生学历，但也有部分项目向本科毕业生开放。
美国智库
- 安全与新兴技术中心 (CSET)
- 新美国安全中心
- 兰德公司
- MITRE公司
- 布鲁金斯学会
- 卡内基国际和平基金会
- 战略与国际问题研究中心（CSIS）
- 美国科学家联合会（FAS）
研究型非营利机构
- Alignment Research Center
- Coefficient Givingj
- Rethink Priorities
- Epoch AI
- 人工智能治理中心（GovAI）
- 人工智能安全中心（CAIS）
- Legal Priorities Project
- Apollo Research
- Centre for Long-Term Resilience
- AI Impacts
- Johns Hopkins Applied Physics Lab
人工智能企业
- Anthropic 是一家 AI 安全公司，致力于构建可解释且安全的人工智能系统。他们专注于实证的AI安全研究。Anthropic联合创始人Daniela和Dario Amodei在生命未来研究所播客中接受了关于该实验室的访谈。在我们的播客中，我们采访了领导 Anthropic 可解释性研究的克里斯·奥拉，以及在 Anthropic 负责系统基础设施的 Nova DasSarma。
- 谷歌DeepMind可能是开发通用人工智能规模最大、知名度最高的研究团队，以其开发的AlphaGo、AlphaZero及AlphaFold而闻名。该机构并非主要专注于安全，但设有两个专注AI安全的团队：可扩展对齐团队专注于对齐现有前沿的AI系统，而对齐团队则专注于为未来系统的对齐进行探索性研究。
- OpenAI成立于2015年，是一家致力于构建安全且惠及全人类的通用人工智能的公司。OpenAI以其GPT-4等语言模型而闻名。与DeepMind类似，该公司并非主要专注于安全，但设有安全团队和治理团队。其对齐团队负责人Jan Leike曾做客80,000 Hours播客，探讨他对人工智能对齐的看法。
（请阅读我们的职业评述，了解在顶尖AI公司工作的利弊）
国际组织
- 经济合作与发展组织 (OECD)
- 国际原子能机构（IAEA）
- 国际电信联盟（ITU）
- 国际标准化组织（ISO）
- 欧盟机构（如欧盟委员会）
- 西蒙长期治理研究所
我们的招聘平台提供AI安全与政策领域的职位：
此职业道路的潜在风险
造成危害
正如我们在无意伤害一文中所述，当你试图行善时，反而可能以多种方式给你所在的新兴领域造成阻碍，这意味着你的影响可能是负面的，而非正面的。（你或许也想阅读我们关于有害职业的文章。）
在 AI 治理这个新兴领域，存在许多无意间造成伤害的可能。我们在倡导与游说一节中探讨过一些可能性，其他可能性还包括：
- 为推行某项策略而牺牲更优策略
- 以加剧地缘政治紧张局势的方式沟通 AI 风险
- 实施与预期效果相反的策略
- 建立未来可能被危险势力利用的策略先例
- 资助后来发现具有危险性的人工智能项目
- 传递信息，暗示或明示风险已得到管理（实则不然），或声称风险低于实际水平
- 压制对社会极具裨益的技术
我们必须在信息不完整的情况下行动，因此可能永远无法明确判断AI治理何时或是否陷入这些陷阱。但认识到这些潜在危害途径有助于保持警觉；若发现自身行为可能造成损害的倾向，应随时准备调整方向。
此外，我们建议参考关于意外伤害的文章中提出的以下通用指南：
- 理想情况下，应消除可能造成重大负面影响的行动路径。
- 避免成为天真的优化者。
- 保持谦逊的态度。
- 发展专业能力，接受培训，建立人脉，并学习你所在的领域积累的知识。
- 遵循合作规范。
- 让能力与项目和影响力相匹配。
- 避免难以逆转的行动。
职业倦怠
我们认为这项工作尤为紧迫且价值非凡，因此鼓励感兴趣的读者尝试评估自己是否适合治理工作。但进入政府部门尤其困难。我们曾建议过的一些人，怀着产生影响的希望进入政策岗位，最终却因职业倦怠而离职。
与此同时，许多政策从业者却发现工作极具意义、充满趣味且内容丰富。
政府某些岗位可能因以下原因尤为艰难：
- 工作节奏极快，伴随较高压力与长时间工时。国会及行政部门高层岗位尤甚，智库或基层机构岗位则相对缓和。
- 获得较高自主权或决策权的职位往往需要漫长等待。
- 所关心的议题进展可能缓慢，且常需处理其他优先事项。国会幕僚尤其需要应对极其广泛的策略事务。
- 官僚体系内的工作面临诸多限制，令人沮丧。
- 与价值观相左的人共事可能会让人灰心。但要注意的是，政策领域往往能筛选出利他主义者——即便他们在如何行善的理念上存在分歧。
- 与政府外的同类职位相比，这类工作的薪酬通常不高。
因此我们建议与目标职位的从业者交流，以判断这条职业道路是否适合你。若你选择投身其中，请留意工作是否对你产生负面影响，并向理解你所在乎的事情的人寻求支持。
如果你最终想要或需要离开并转换赛道，这未必是损失，也无需遗憾。你很可能会建立起重要的人脉，并学到大量有用的信息和技能。当转型到其他岗位时，这些职业资本将派上用场——或许能让你以一种互补的方式继续投身AI治理领域。
我们对人工智能关注度不断提升，这意味着什么
多年来，我们始终关注人工智能带来的风险。考虑到这项技术可能引发全球性灾难、并对后世产生颠覆性的影响，我们建议更多人致力于降低AI的风险的工作。
在我们看来，风险论点尚不完全确凿，但值得严肃对待。鉴于全球鲜少有人投入精力评估AI可能带来的威胁的规模，或制定缓解风险的方案（与此同时，人工智能系统正加速变得更加强大），我们最终将AI治理列为我们的首要议题之一。
如今人工智能获得更多关注，有人或许认为其已不再被忽视，因而相关工作的紧迫性降低。然而，这种关注度的提升也使许多干预措施较以往更易实施——政策制定者等群体对制定AI监管的接受度已显著提高。
尽管当前人工智能获得了更多关注，但尚不确定这些关注是否会聚焦于最重要的风险。因此，在积极塑造AI政策发展方面，仍有大量重要且紧迫的工作可做。
后续阅读
若您对这一职业路径感兴趣，我们建议您继续阅读以下文章。
-
US policy master’s degrees
这些学位对希望在美国联邦政府担任重要职务的人士具有极高价值。
-
Working in US AI policy
美国政府很可能在先进人工智能的社会发展与应用中扮演关键角色，无论是直接还是间接。
-
Should you work at a frontier AI company? - Career review
在顶尖人工智能企业任职是值得考虑的重要职业选择，但具体岗位的影响评估颇为复杂。
-
Preventing an AI-related catastrophe
人工智能可能带来巨大益处——前提是规避风险。
了解更多
精选推荐
- AI治理课程——AGI安全基础（BlueDot Impact 出品）
- 播客：Tantum Collins on what he’s learned as an AI policy insider at the White House, DeepMind and elsewhere
- 美国AI政策资源、智库、研究员项目等
更多推荐
80,000 Hours 资源
- 文章：Working in US AI policy
- 播客：Tom Kalil on how to do the most good in government
- 播客：Holden Karnofsky on how AIs might take over even if they’re no smarter than humans, and his four-part playbook for AI risk
- 播客：Nick Joseph on whether Anthropic’s AI safety policy is up to the task
- 播客：Carl Shulman on the economy and national security after AGI及Carl Shulman on government and society after AGI (Part 2)
- 播客：Zvi Mowshowitz on sleeping on sleeper agents, and the biggest AI updates since ChatGPT
- 播客：Lennart Heim on the compute governance era and what has to come after
- 播客：Sella Nevo on who’s trying to steal frontier AI models, and what they could do with them
- 播客：Nathan Labenz on the final push for AGI, understanding OpenAI’s leadership drama, and red-teaming frontier models
- 播客：Vitalik Buterin on defensive acceleration and how to regulate AI when you fear government
- 职业评估：China-related AI safety and governance paths
- 播客合集：《80,000小时播客》人工智能专题
外部资源
- 新兴科技政策职业
- Jobs that can help with the most important century 霍尔登·卡诺夫斯基著
- 12 Tentative Ideas for US AI Policy 开放慈善的卢克·穆勒豪瑟著
- Why and How Governments Should Monitor AI Development 杰斯·惠特尔斯通与杰克·克拉克合著
- AGI safety career advice 由OpenAI的Richard Ngo撰写
- The longtermist AI governance landscape: a basic overview 发布于有效利他主义论坛
- Four Battlegrounds 保罗·沙雷著
- The New Fire 本·布坎南与安德鲁·因布里著
- 智库报告，如CSET、CNAS、CSIS等
- 政府战略文件，如白宫2023年的National Artificial Intelligence Research and Development Strategic Plan: 2023 Update、NIST 2023年的Artificial Intelligence Risk Management Famework: Generative Artificial Intelligence Profile、国防部2022年的Responsible Artificial Intelligence Strategy and Implementation Pathway，以及2021年的Final report
- Lessons from the development of the atomic bomb 托比·奥德著
- Collection of work on “Should you focus on the EU if you’re interested in AI governance for longtermist/x-risk reasons?” 发表于有效利他主义论坛
延伸阅读
-
The highest-impact career paths our research has identified so far
想要探索更多路径？请参阅我们研究得出的高影响力职业路径清单。