arXiv:2407.06071v2 Announce Type: replace-cross 摘要：大型语言模型（LLMs）经常表现出不良行为，如幻觉和序列重复。我们提出将这些行为视为模型在认识不确定性下表现出的退步，并探讨了它们之间的联系。我们将退进步行为分类为序列重复、退化文本和幻觉，并在预训练令牌数量、参数数量或包含指令跟随训练的不同家族模型中对其进行了广泛的分析。我们的实验揭示了退进步行为在所有这些轴上的清晰且一致的排序：一个LLM越先进（即，训练更多令牌、更多参数或指令调整），其退进步为会从序列重复转向退化文本，最终转向幻觉。此外，在生成单一序列时，即使对于表现最佳的模型，也观察到了相同的排序；随着不确定性增加，模型会从生成幻觉转向生成退化文本，最终转向序列重复。最后，我们展示了虽然常见的解码技术，如随机采样，可以缓解如序列重复等不良行为，但它们会增加更难以检测的幻觉。