arXiv:2406.17746v2 宣告类型: replace-cross 摘要：语言模型中的记忆通常被视为一种同质现象，忽略了记忆数据的具体性。相反，我们将记忆建模为一组复杂因素的效果，这些因素描述每份样本并与模型和语料库相关联。为了对这些因素建立起直观理解，我们将记忆分为一个分类体系：高度重复序列的背诵、固有可预测序列的重建以及既非重复也非可预测序列的回忆。我们通过使用该分类体系构建记忆的预测模型来展示其有用性。通过对预测模型的依赖关系进行分析并检查其权重，我们发现不同因素会根据分类体系的类别不同地影响记忆的可能性。