LLM2D
AI保障可能出错的地方:从关键系统工程中汲取的初步教训
Where AI Assurance Might Go Wrong: Initial lessons from engineering of critical systems
作者: Robin Bloomfield, John Rushby
发布日期: 2/7/2025
arXiv ID: oai:arXiv.org:2502.03467v1

摘要

arXiv:2502.03467v1 安全类型:交叉 摘要:我们总结了在社会重要的系统和软件保障与评估方面的工作经验,概述了传统关键系统(如飞机飞行控制)中的安全工程如何进行。我们分析了这种关键系统视角如何支持AI安全框架的开发和实施。我们将分析分为三个方面:系统工程、安全与风险分析,以及决策分析与支持。 我们考虑了四个关键问题:系统是什么?它需要达到什么样的水平?关键性对系统开发的影响是什么?我们应该对其信任多少?我们识别出值得进一步讨论的主题。特别是,我们担心系统的边界不够广泛,对可容忍度和风险的本质的阐述不够充分,以及保障方法缺乏能够使行为得到充分保障的理论。 我们主张使用基于Assurance 2.0的保障案例来支持决策制定,在这种情况下,关键决策和系统的关键性都会被评估。我们指出,关键系统与日常生活系统相比,所需的信心强度存在数量级的差异,而日常生活中的技术无法在严谨性上进行扩展。 最后,我们将我们的发现详细映射到FAISC组织者提出的问题中的两个,并指出关键系统工程的演变是通过开放和多样化的讨论实现的。我们希望这里识别的主题将支持FAISC之后的讨论。