arXiv:2402.12170v3 Announce Type: replace-cross 摘要：大型语言模型需要进行更新以保持最新或通过使用新文档进行微调来适应新的领域。关键在于以一种可以通过查询提示提取的方式记忆最新的信息。然而，尽管在微调过程中尽力减少文档困惑度，语言模型在通过提示句提取信息时仍然存在困难。在新的知识获取与提取中，我们发现了一个非常有趣的事实：语言模型能够准确回答关于第一句话的问题，但在微调过程中使用的文档中间或末尾描述的信息提取方面却存在问题。我们的研究建议自回归训练导致了这一问题；每个标记依赖于所有之前的标记进行提示，这妨碍了模型通过问题提示回想起训练文档中的信息。为了进行深入研究，我们公开了合成和真实数据集，使我们能够评估答案在文档中的相应位置与QA性能的关系。我们的研究显示，即使大型模型也遭受困惑度诅咒，但诸如去噪自回归损失的正则化措施可以增强对不同位置信息的提取。这些发现将是（i）提高从语言模型中提取知识的关键，以及（ii）讨论在将语言模型适应新领域时RAM和微调之间的权衡时的新元素。