arXiv:2502.14870v1 宣告类型: cross 摘要: 人工智能（AGI）的发展很可能是人类最具有决定性的技术进步之一。领先的人工智能实验室和科学家们呼吁全球优先考虑人工智能的安全性，指出其存在风险与核战争相当。然而，有关灾难性风险和人工智能对齐的研究常常受到专家甚至是其他人的怀疑。此外，有关人工智能存在风险的在线辩论开始变得部落化（例如，使用诸如“绝望论者”或“加速主义者”等贬义术语进行人身攻击）。直到现在，还没有系统性研究探讨专家们对人工智能安全性的信念模式和对人工智能安全概念的熟悉程度。我对111位人工智能专家进行了调查，了解他们对人工智能安全概念的熟悉程度、对人工智能安全的主要反对观点以及对安全论点的反应。我的研究发现表明，人工智能专家分为两种观点——“人工智能作为可控工具”和“人工智能作为不可控代理”的视角——在对人工智能安全性的重视程度上存在分歧。虽然大多数专家（78%）同意或强烈同意“技术人工智能研究人员应该关注灾难性风险”，但他们对具体的人工智能安全概念并不熟悉。例如，只有21%的受访专家听说过“手段趋同”这一基本概念，这一概念预测先进的AI系统倾向于追求一些共同的子目标（如自我保存）。最不关心安全的参与者对于这类概念最不熟悉，这表明有效的人工智能安全交流应从构建该领域的清晰概念基础开始。