arXiv:2502.07974v1 安全类型: cross 摘要：随着机器学习（ML）组件被越来越多地集成到软件产品中，它们的复杂性和内在的不确定性往往会带来意想不到且有害的后果，这对个人和社会都构成了威胁。尽管存在这些风险，从业者通常很少在问题发生之前采取主动措施来预见和减轻危害。传统的安全工程方法，如故障模式和影响分析（FMEA）和系统理论过程分析（STPA），提供了早期风险识别的系统框架，但这些方法很少被采用。这篇立场论文主张将危害分析整合到任何受ML驱动的软件产品的开发中，并呼吁提供更多的支持，以便开发者能够更容易地访问这一过程。通过使用大型语言模型（LLMs）在关键步骤引入人类监督，部分自动化修改后的STPA过程，我们期望解决两个关键挑战：对高度经验丰富的安全工程专家的高度依赖性和传统危害分析耗时且劳动密集型的性质，这通常会阻碍其在实际开发工作流中的整合。我们通过一个运行示例说明了我们的方法，证明了许多看似不可预见的问题其实是可以预见的。