arXiv:2502.06656v3 公告类型: 修订 摘要：最近强大的人工智能系统的发展突显了在人工智能行业中需要可靠的风险管理框架的重要性。尽管公司已经开始实施安全框架，但当前的方法往往缺乏其他高风险行业所具有的系统严谨性。本文提出了一种全面的人工智能风险管理框架，通过将成熟的风险管理原则与新兴的人工智能特定实践相结合，为前沿人工智能的发展填补了这一空白。该框架包括四个关键组成部分：(1) 风险识别（通过文献综述、开放式红队测试和风险建模），(2) 使用定量指标和明确定义的阈值进行风险分析和评估，(3) 通过缓解措施如控制、部署控制和保证流程来处理风险，以及(4) 风险治理，建立清晰的组织结构和问责制。借鉴成熟行业如航空或核能的最佳实践，同时考虑到人工智能的独特挑战，该框架为人工智能开发者提供了实施稳健风险管理的可操作指南。论文详细说明了在人工智能系统生命周期——从规划到部署——的每个阶段，各组成部分应该如何实施，并强调在最终训练运行之前进行风险管理工作的重要性，以最大限度地减少与它相关的负担。