arXiv:2403.14562v2 宣告类型: replace-cross 摘要：近期研究表明，将大规模语言模型（LLM）、人类输入以及各种工具相结合来应对LLM固有局限性的想法具有巨大的潜力。我们提出了一种新的视角，称为语义解码，它将这些协作过程视为语义空间中的优化过程。具体而言，我们概念化LLM为语义处理器，它可以操作我们称为语义令牌（已知想法）的有意义信息。LLM与其他语义处理器，包括人类和工具（如搜索引擎或代码执行器）一起，处于一个大型的语义处理器池中。集体而言，语义处理器通过动态交换语义令牌以逐步构建高价值输出。我们将这些协调的语义处理器之间的交互，以及在语义空间中优化和搜索的过程称为语义解码算法。这一概念直接类比于已研究透彻的句法解码问题，句法解码涉及构建算法以最大限度地利用自回归语言模型来提取高价值的句法令牌序列。通过专注于语义层面，忽略句法细节，我们获得了一种新的视角来工程化AI系统，使我们能够设想具有更大复杂性和能力的系统。在本文中，我们形式化了从句法令牌到语义令牌的过渡以及句法解码和语义解码之间的类比。随后，我们探讨了通过语义解码算法在语义令牌空间中优化的可能性。最后，我们列出了从这一新视角引发的研究机会和问题。语义解码视角提供了一种强大的抽象，可以直接在有意义的概念空间中进行搜索和优化，将语义令牌作为新型计算的基本单元。