arXiv:2505.04592v1 公告类型: cross 摘要：人类似乎即将开发出在所有认知领域和活动中显著超越人类专家的人工智能系统。我们认为，这种默认轨迹有很大概率导致灾难，包括人类灭绝。风险来自于无法控制强大人工智能系统，恶意行为者滥用人工智能，大国之间的战争，以及专制者的锁定效应。这项研究议程有两个目标：描述人工智能开发的战略格局，并列出重要的治理研究问题。这些问题的答案将提供关键的见解，以成功减少灾难风险。 我们描述了四种高级的地缘政治应对先进人工智能发展的场景，并列出了每个场景下最相关的研究问题。我们偏好的场景涉及建立国际上限制危险人工智能开发和部署所需的技术和法律基础设施（我们称之为“断开开关”），这将导致在未来某个时候进行国际协调的人工智能前沿活动暂停。我们描述的第二个场景是美国的人工智能国家项目，其中美国政府将以开发先进人工智能系统并建立全球人工智能开发单边控制为目标进行竞争。我们还描述了另外两种场景：一个类似于今天的轻触式世界，以及一个破坏威胁局面，其中各国通过破坏和威慑来减缓人工智能开发。 在我们认为，除了断开开关和暂停场景之外，所有这些轨迹似乎都存在不可接受的灾难性伤害风险。美国国家安全部门和人工智能治理体系需要紧急采取行动，回答关键的研究问题，建立停止危险人工智能活动的能力，并为国际人工智能协议做准备。