arXiv:2501.19383v1 宣告类型：交叉 摘要：语言模型最近被证明能够在数值预测作为解码字符串表示的情况下执行回归任务。在本文中，我们为这一能力提供了理论基础，并进一步研究了因果自回归序列模型在应用于任何特征表示时的实用性。我们发现，尽管这些模型是通过交叉熵损失进行通常的下一个令牌预测训练的，但基于解码的回归与传统的表格回归方法在表现上相当，同时具有足够的灵活性以捕获任意分布，例如密度估计任务中所需的分布。