arXiv:2502.10434v1 宣告类型: 新 摘要：人们普遍担心当前的人工智能(AI)研究将会导致产生有意识的AI系统，而这些系统可能会对人类构成生存威胁。但为什么这些有意识的AI系统不能反而对人类有益呢？本文致力于将这个问题简化为可处理的形式。我询问一个假定的AI系统是否会发展出对社会的利他或恶意倾向，或者其机构的本质是什么？鉴于AI系统正被开发成为强大的问题解决者，我们可以合理地期望这些系统优先采取人类问题解决中的有意识特征。我指出了人类问题解决中相关现象特征的机构方面。意识机构的功能方面可以通过由意识的功能主义理论提供的工具进行监控。Butlin等人(2023)的一项最新专家报告基于这些理论识别了功能主义的机构特征指标。我展示如何使用意识的整合信息理论(IIT)来监控这种机构的现象性质。如果我们能够监控AI系统在其发展过程中的机构，那么我们可以遏制它们成为社会祸害的同时，鼓励它们成为一种帮助。