arXiv:2401.11817v2 宣告类型: replace-cross 摘要：幻觉已被广泛认为是大型语言模型（LLMs）的一个重大缺陷。有许多试图减少幻觉程度的研究工作。然而，这些努力大多是经验性的，无法回答是否可以完全消除幻觉这一根本问题。在本文中，我们形式化了这个问题，并证明了在LLMs中完全消除幻觉是不可能的。具体来说，我们定义了一个形式世界，在该世界中，幻觉被定义为计算型LLM与可行的基准函数之间的一致性差异。通过应用学习理论的结果，我们证明了LLMs不能学习所有可行的函数，因此作为通用问题求解器时不可避免地会存在幻觉。由于形式世界是更复杂现实世界的部分，因此现实世界的LLMs也会不可避免地出现幻觉。此外，对于受限于可验证时间复杂性的现实世界的LLMs，我们描述了容易产生幻觉的任务，并且实证验证了我们的论点。最后，使用形式世界框架，我们讨论了现有幻觉抑制器的可能机制及其有效性，以及它们对LLMs安全部署的实用影响。