arXiv:2505.02072v1 交叉类型公告 摘要：语言模型的概念在近年来逐渐从有限长度字符串的分布转变为针对文本输入和输出的一般预测模型，遵循适当的对齐阶段。本文分析了在大规模语言模型（LLMs）上下文中分布估计与响应预测之间的区别及其经常冲突的目标。我们探讨了LLMs的训练阶段，包括预训练、上下文学习和偏好调整，以及它们输出概率的常见应用场景，包括完成概率和显式概率输出。我们认为不同的设置导致了三种不同的预期输出分布。我们证明，许多NLP工作假设这些分布应该相似，这导致了对实验结果的误解。我们的工作为LLMs的解释奠定了更坚实的正式基础，这将指导对LLMs诱导分布的解释和使用的研究。